Ученые проверили ChatGPT, попросив его оценить, являются ли сотни научных гипотез истинными или ложными, и результаты оказались не очень обнадеживающими. Исследование показывает, что ИИ имеет скромные способности к рассуждению.
Исследователи из университета штата Вашингтон, США, неоднократно проверяли ChatGPT, попросив его оценить правильность или ложность научных гипотез, взятых из научных статей. Цель исследования состояла в том, чтобы проверить, может ли ИИ правильно определить, подтверждается ли каждое утверждение исследованиями или нет. Другими словами, является ли оно истинным или ложным. В общей сложности ученые предоставили для оценки более 700 гипотез. Результаты показали, что к ответам ИИ нужно относится с большой долей скептицизма и нужно проверять всю информацию, созданную чат-ботами искусственного интеллекта, пишет Фокус.
Во время эксперимента в 2024 году ChatGPT давал правильные ответы в 76,5% случаев. В 2025 году этот показатель вырос до 80%. Однако после того, как ученые учли случайные угадывания, результаты выглядели менее впечатляющими. Искусственный интеллект показал правильные ответы лишь в 60% случаев. Хотя это исследование было сосредоточено конкретно на ChatGPT, ученые говорят, что аналогичные эксперименты с другими ИИ дали сопоставимые результаты.
Искусственный интеллект испытывает наибольшие трудности с выявлением ложных утверждений, правильно определяя их только в 16,4% случаев. ИИ также демонстрирует заметную непоследовательность. Даже если задавать один и тот же вопрос 10 раз, можно получить разные ответы, говорят ученые.
Авторы исследования считают, что искусственный интеллект, способный по-настоящему "думать"" может появиться в более далеком будущем, чем многие ожидают.
Современные инструменты ИИ не понимают мир так, как понимаем его мы — у них нет "мозга". Они просто запоминают и могут дать некоторое представление, но они не понимают, о чем говорят", — говорят авторы исследования.
Результаты исследования указывают на фундаментальное ограничение искусственного интеллекта. Хотя ИИ может создавать убедительные ответы, ему часто трудно анализировать сложные вопросы. Это может привести к ответам, которые звучат убедительно, но на самом деле неверны, говорят ученые.
Исследователи рекомендуют проверять информацию, созданную ИИ, и относиться к ней со скептицизмом.
