Abstract
Цифрлық платформаларда киберэкстремистік контенттің таралуы ақпараттық қауіпсіздік пен қоғамдық тұрақтылыққа әсер етеді, сондықтан мұндай контентті автоматты түрде анықтау және идеологиялық бағыттар бойынша жіктеу өзекті ғылыми міндет болып табылады. Қазақ тіліндегі киберэкстремистік мәтіндерді автоматты жіктеу кезінде бір мәтіннің мазмұны бірнеше класқа мағыналық жағынан жақын болуы мүмкін. Бұл пропаганда, рекрутмент және радикализация санаттарының мағыналық шекаралары қабаттасқан кезде бірнеше аннотатордың бір мәтінге әртүрлі белгі беруінен көрінеді. Көпшілік дауысқа негізделген дәстүрлі тәсіл мұндай айырмашылықтарды бір ғана қатаң белгіге біріктіреді, соның салдарынан аннотациядағы белгісіздік туралы ақпарат жоғалуы мүмкін. Зерттеудің мақсаты — қазақ тіліндегі киберэкстремистік мәтіндерді жіктеу кезінде көпаннотаторлы бағаларды сақтайтын стратегияларды салыстыру және оларды модельдеу сапасын кешенді бағалау. Зерттеуде VK, Telegram және YouTube ашық цифрлық платформаларынан жиналған мәтіндерден тұратын көпкласты корпус пайдаланылды. Корпус пропаганда, рекрутмент, радикализация және бейтарап кластарды қамтиды. Аннотациялау бірнеше сарапшының тәуелсіз бағалауларына негізделді. Көпаннотаторлы ақпаратты өңдеудің төрт стратегиясы салыстырылды: көпшілік дауысы, ықтималдыққа негізделген өңдеу, ансамбльдік біріктіру және нұсқаулыққа негізделген стратегия. Қорытынды класты болжау сапасы Macro-F1 метрикасы арқылы, ал модельдің ықтималдық үлестірімдерінің аннотаторлар белгілерінің үлестіріміне сәйкестігі Cross-Entropy (CE), Kullback–Leibler divergence (KL), Jensen–Shannon divergence (JS) және Manhattan Distance (MD) метрикалары арқылы бағаланды. Қарастырылған тәсілдердің ішінде ансамбльдік біріктіру стратегиясы жіктеудің ең жоғары нәтижесін көрсетті. CE, KL және JS метрикалары бойынша да осы стратегия ықтималдық үлестірімдерінің жақсырақ сәйкестігін қамтамасыз етті. Көпшілік дауыс әдісі MD көрсеткіші бойынша ең жақсы нәтижеге қол жеткізді. Көпшілік дауыс әдісімен салыстырғанда ансамбльдік біріктіру жіктеу сапасын жақсартып, ықтималдық сәйкестігін бағалайтын метрикалар бойынша төмен мәндер көрсетті. DART шеңберіндегі LCE + LKL + LMD комбинациясы жіктеу сапасын сақтай отырып, модель болжамдарын аннотаторлар бағаларының үлестіріміне жақындатуға мүмкіндік берді. Нәтижелер көпаннотаторлы идеологиялық мәтіндерді модельдеу үшін бір ғана қатаң белгі жеткіліксіз екенін, ал аннотаторлар арасындағы пікір айырмашылықтарын ескеру неғұрлым тиімді әрі ақпаратты тәсіл екенін көрсетті.