Abstract
Зерттеу барысында федеративті оқыту әдісі мен BERT, ALBERT және DistilBERT модельдерінің жұмыс істеу өнімділігін қарастырдық. Эксперимент кезінде деректер жиынтығын 3, 5, 7, 11 клиентке бөлу арқылы деректердің екі түрлі таралу әдісін қарастырдық. Біріншісі IID, яғни деректер жиынтығының біркелкі бөлінуіне негізделген әдіс. Екіншісі Non-IID, яғни керсінше деректер жиынтығының біркелкі емес бөлінуін сипаттайтын әдіс. Зерттеудің негізгі мақсаты федеративті оқыту әдісін қолдану арқылы агрессивті мазмұнды анықтау және классификациялау. Берілген модельдерді оқыту үшін English Profanity Words деген деректер жиынтығы пайдаланылды. Деректер жиынтығының сипаттамасы «Әдістер мен материалдар» бөлімінде ұсынылған. Эксперимент кезінде алынған модельдердің дәлдігі және оқу жылдамдығының нәтижелеріне талдау жұмыстары жасалды. Сонымен қатар деректер жиынтығын екі әдіс бойынша бөліп, клиент санын біртіндеп арттырып модель дәлдігінің өзгерістерін зерттедік. Нәтижесінде ALBERT моделі клиент саны артқан кезде жақсы көрсеткіш берді. Ал BERT моделі тұрақты нәтижелерге қол жеткізетінін және DistilBERT моделі басқа модельдермен салыстырғанда жоғары оқу жылдамдығына ие болғанымен дәлдігі төмен көрсеткіш берді. Алынған нәтижелер құпия деректермен жұмыс істегенде және федеративті оқыту модельдерін қолданған кезде қолайлы модельді таңдауға көмектеседі.