Аңдатпа
Соңғы жылдары жасанды интеллект және үлкен тілдік модельдер (LLM) қарқынды дамуда. Бұл модельдердің тиімділігі оларды үйретуге пайдаланылған деректер сапасына тәуелді. Қазақ тіліне арналған құрылымдалған мәтіндік ресурстардың тапшылығы LLM дамытуда қиындықтудырады. Мақалада қазақ тіліндегі мәтіндерді OCR технологиясы арқылы цифрландыру және олардан JSON форматында сапалы датасет жасау қарастырылады. Жұмыстың мақсаты –қазақ мәтіндерін автоматты өңдеп, LLM оқытуға жарамды құрылымдалған деректер дайындау. Бұл үшін сканерленген құжаттар жиналып, Tesseract OCR арқылы танылып, JSON құрылымына келтірілді. Нәтижесінде 37 062 құжат өңделіп, LLaMA3.2 3B моделін қазақ тілінде оқытуға қолданылды. Модель ұлттық стильді меңгеріп, поэтикалық мәтіндер құра алды. Train/loss графигі оқыту тұрақтылығын көрсетті.