Skoltech at TextGraphs-17 Shared Task: Finding GPT-4 Prompting Strategies for Multiple Choice Questions

2024

Полный текст Открытый доступ: Gold Метаданные (CSL-JSON)
DOI 10.18653/v1/2024.textgraphs-1.14
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

In this paper, we present our solution to the TextGraphs-17 Shared Task on Text-Graph Representations for Knowledge Graph Question Answering (KGQA).GPT-4 alone, with chain-of-thought reasoning and a given set of answers, achieves an F1 score of 0.78.By employing subgraph size as a feature, Wikidata answer description as an additional context, and a question rephrasing technique, we further strengthen this result.These tricks help to answer questions that were not initially answered and to eliminate irrelevant, identical answers.We have managed to achieve an F1 score of 0.83 and took 2nd place, improving the score by 0.05 over the baseline.An open implementation of our method is available on GitHub. 1