arXiv: ИИ-модели пока не смогут заменить даже программиста-новичка.
Способность искусственного интеллекта (ИИ) самостоятельно писать код оценили специалисты компании OpenAI. Исследование опубликовано на сервере препринтов arXiv.
Инженеры OpenAI, которая разрабатывает и поддерживает чат-бота ChatGPT, рассказали, насколько успешно ИИ может заменить программистов. Они протестировали три модели искусственного интеллекта в написании компьютерного кода и исправлении ошибок других. Выяснилось, что компетенций ИИ недостаточно, чтобы заменить даже начинающих программистов.
Специалисты тестировали свою модель начального уровня o1 и флагманскую модель GPT-4o, а также Claude 3.5 Sonnet от Anthropic. Они применили бенчмарк SWE-Lancer, основанный на 1400 задачах для программистов с сайта фрилансеров Upwork. Модели должны были выполнять задания без доступа в интернет — по словам журналистов издания Futurism, они не могли выйти в сеть и «списать» решение.
Инженеры заметили, что модели части допускали ошибки, так как не могли понять контекст — «это приводил к принятию неверных или недостаточно всеобъемлющих решений». Claude 3.5 Sonnet показала себя лучшим образом, однако большинство ответов модели были неверными. Исследователи OpenAI заключили, что ИИ в настоящий момент не сможет заменить IT-специалистов. Журналисты Futurism напомнили, что глава OpenAI Сэм Альтман обещал, что до конца 2025 года появятся модели, которые будут качественно решать задачи в программировании на начальном уровне.
В середине февраля глава компании OpenAI Сэм Альтман анонсировал бесплатную модель GPT-5. Также он пообещал, что будущие модели получат поддержку рассуждений.
