Аңдатпа
В данной работе предлагается эффективный метод классификации научных текстов на основе модели SciBERT, дополнительно обученной с использованием техники LoRA с целью снижения вычислительных затрат. В ходе исследования была рассмотрена задача классификации научных абстрактов, при этом использовались два набора данных: PubMed-RCT20k — для биомедицинских текстов и SciCite — для классификации целей цитирования. Производительность базовой модели на основе логистической регрессии и TF-IDF была сопоставлена с результатами улучшенной модели SciBERT + LoRA. Результаты исследования показали, что модель SciBERT + LoRA превосходит модель логистической регрессии по показателям точности (Accuracy), макро F1-мере (Macro F1 score) и функции потерь (Loss), при этом требует значительно меньших вычислительных ресурсов. Проведённые эксперименты доказали, что адаптация модели SciBERT с помощью LoRA является эффективным подходом в задачах классификации научных текстов, особенно в условиях ограниченных вычислительных ресурсов. Кроме того, метод LoRA позволяет достигать высокой производительности без дорогостоящей вычислительной инфраструктуры, что делает его оптимальным решением для исследовательских групп с ограниченными вычислительными возможностями.