Аңдатпа
Фундаментальными ограничениями для LLM остаются их статичные знания и, следовательно, риск генерации недостоверной информации, “галлюцинаций”. Технология Retrieval-Augmented Generation (RAG) была предложена для преодоления этих проблем путем интеграции с внешними базами знаний с проверенной актуальной информацией. Однако стандартные RAG парадигмы на основе векторов оказались неэффективны для сложных запросов, в которых необходимы более глубокие размышления или синтез информации из нескольких фрагментов. Как перспективная альтернатива рассматривается GraphRAG, вид RAG использующий структурированное представление знаний в виде графов. Но вопрос сравнительной эффективности, баланса качества и ресурсов для GraphRAG против векторных систем, особенно в специфических направлениях (как правовая система Казахстана), исследован еще недостаточно. Данная работа представляет количественный эксперимент: мы сравнили базовый векторный RAG с двумя конфигурациями Microsoft GraphRAG (локальным/глобальным поиском), используя gpt-4.1-nano и text-embedding-3-small для создания индексов. Эксперимент проводился на корпусе 15 НПА РК (10.1 млн. символов, 1.24 млн. слов, ~28,700 фрагментов). Был создан синтетический датасет из 250 вопросов - 50 одношаговых, 100 многошаговых, 100 тематических. Для оценки применялся комплекс метрик: качество поиска (NDCG@10, Context Recall/Precision), качество ответа (LLM-as-Judge оценка по релевантности, точности, полноте, обоснованности) и ресурсы (стоимость/задержка). Результаты (p<0.05) свидетельствуют: GraphRAG с локальным поиском (оптимально при доле извлечения текста 0.50) статистически превосходит векторный RAG по качеству извлечения в multi-hop задачах (NDCG@10: 0.657 vs 0.555, +18.6%; Context Recall: 0.710 vs 0.544, +16.6%, при пиковой Context Precision 0.784). GraphRAG с глобальным поиском лидирует по качеству итоговых ответов для тематических вопросов (Quality Score: 3.89; +22.3% vs векторного RAG). Анализ параметров локального поиска GraphRAG подтвердил наличие явного Парето-фронта “качество-ресурсы”. На основе полученных результатов мы сделали выводы: графовые системы формируют границу производительности для сложных запросов, но ценой больших затрат, векторный RAG сравнительно хорошо справляется с одиночными вопросами, при этом экономичнее. Исследование дает эмпирические основания для выбора RAG-архитектуры в зависимости от предпочтений в юридической сфере, учитывая тип запроса и ресурсы.