Can ChatGPT Pass a Physics Test?

2025

Полный текст Открытый доступ: Hybrid Метаданные (CSL-JSON)
DOI 10.1007/s10758-025-09814-0
Достоверность данных 70 средняя
Как считается эта оценка

Складывается из проверяемых признаков самой записи: есть ли у статьи DOI, сколько независимых источников подтвердили её данные, заполнены ли обязательные поля и насколько свежо последнее подтверждение. Снижают оценку расхождения между источниками и отсутствие идентификатора. Значение от 80 означает, что запись опубликована без дополнительной проверки; от 60 до 79 — что она опубликована с пониженной достоверностью и ручная проверка желательна. Запись, выверенную редактором вручную, пересчёт не опускает ниже 90. Это оценка наших данных о статье, а не оценка самой статьи.

Аннотация

Since its launch in November 2022, chatbot ChatGPT has gained significant popularity worldwide. It performs the task of a search engine, analyzes the information, and generates the required output. ChatGPT is already recognized as a useful tool for educational purposes, but it also comes with some limitations and potential risks. In this case study, we tested and analyzed ChatGPT’s ability to solve typical physics tests and problems in four languages: Kazakh, Latvian, Russian, and English. We collected over 400 questions, including problem-solving tasks, to evaluate ChatGPT’s performance. Compared to students' results, ChatGPT performed slightly better on multiple-choice theory questions but struggled with practical problem-solving, achieving only 17% correct answers. The highest accuracy was observed in English, with an 83% success rate, while Kazakh had the lowest at just 33%, showing the problems of using ChatGPT in non-English languages. The potential for unfair use of ChatGPT and measures to address this issue are also briefly discussed.