Искусственный интеллект (ИИ) в лице генеративной нейросети Chat GPT-4 Turbo допустил серьезные ошибки в решении задач по физике и не получил проходного балла для поступления в Московский физико-технический институт (МФТИ). Как сообщили нам в пресс-службе Физтеха, таков результат эксперимента, который провели специалисты вуза.
«Эксперты МФТИ в качестве эксперимента протестировали генеративную нейросеть Chat GPT-4 Turbo в решении задач ЕГЭ по физике. По итоговым результатам искусственный интеллект не дотянул до успешного абитуриента МФТИ и получил менее 85 баллов — ниже проходного барьера для Физтеха, допустив несколько очевидных ошибок», — отметили в пресс-службе.
Как рассказал преподаватель МФТИ и эксперт по работе со школьниками Леонид Колдунов, для испытания ИИ были подобраны задачи по механике, оптике, термодинамике, электричеству и кинематике. Ошибки нейросети в решении и объяснении задач касались как финальных расчетов, так и использования терминов в решении и понимании физики процесса. Кроме того, иногда ИИ делал совсем нелогичные выводы, путаясь в формулировке ответа.
«Успешные решения GPT ограничиваются простыми задачами, требующими формального подхода. Он не способен анализировать процессы или явления, требующие фантазии или более сложных объяснений. Также он не способен интерпретировать условия. Например, он не смог решить задачу, в которой сказано, что длина волны изменится в два раза, но не указано, увеличится она или уменьшится. Безусловно, с таким уровнем знаний нейросеть не смогла бы поступить в МФТИ», — заключил Колдунов.
«Меня в целом не удивляет, что система не решает сложно составленные задачи, так как у всех этих систем, в частности, у Chat GPT, есть проблемы с математикой и с логикой, с цепью рассуждений. Люди, для того чтобы повысить точность модели, дают ей определенные «промты» и контекст, которые сильно повышают качество. Когда нейросеть начинает рассуждать по шагам, качество ответа сильно вырастает», — рассказал Пивоваров.
