Abstract
В статье предложен KPI-ориентированный каскадный марш-рутизатор для задачи многоклассовой классификации текстов, последовательно использующий лёгкую, среднюю и тяжёлую модели в зависимости от уровня уверенности предсказания. Актуальность работы определяется необходимостью согласованного управления точностью классификации и вычислительными за-тратами в прикладных NLP-системах, где применение только наиболее точных моделей часто оказывается неэффективным по времени ответа и стоимости ин-ференса. Эксперименты выполнены на корпусе WOS-11967, содержащем 11 967 научных текстов. Для корректной настройки и независимой оценки использо-ван двухэтапный протокол с раздельными подвыборками VAL и FINAL. Лёгкая, средняя и тяжёлая модели различаются способом представления текста и вычис-лительной сложностью, а маршрутизация между ними осуществляется на основе порогов уверенности. Для лёгкой и средней моделей уверенность определялась как разность между двумя наибольшими значениями функции решения. Подбор порогов выполнялся на VAL с учётом бюджетного ограничения, задаваемого параметром α. Полученные результаты показывают, что предложенный каскад позволяет ускорить инференс по сравнению с тяжёлой моделью при умеренном снижении точности, сохраняя управляемый компромисс между качеством и вы-числительной стоимостью. Практическая значимость работы состоит в возмож-ности применения предложенной схемы в системах, где важен баланс между точностью, скоростью и ресурсными ограничениями.