Поумневшие ИИ-модели OpenAI o3 и o4-mini проявили повышенную склонность к галлюцинациям

[душман]

На этой неделе OpenAI выпустила модели искусственного интеллекта o3 и o4-mini. Они стали передовыми во многих отношениях, однако чаще галлюцинируют — то есть с уверенностью дают не соответствующие действительности ответы — по сравнению со своими предшественниками.

Проблема галлюцинаций остаётся одной из крупнейших и наиболее сложных в современной отрасли ИИ — она затрагивает даже самые эффективные современные системы. Исторически каждая последующая модель демонстрировала улучшения в этом аспекте, то есть снижение количества галлюцинаций по сравнению с предыдущими версиями. 

Однако к o3 и o4-mini это, по-видимому, не относится. Новые системы от OpenAI галлюцинируют чаще, чем предыдущие рассуждающие модели компании, включая o1, o1-mini и o3-mini, а также традиционные «нерассуждающие», такие как GPT-4o, — гласят собственные тесты разработчика.

Некоторую тревогу вызывает то, что и сама компания не знает, почему так происходит. В техническом отчёте она указывает, что «необходимы дополнительные исследования», чтобы понять, почему частота галлюцинаций увеличивается по мере масштабирования рассуждающих моделей. 

OpenAI o3 и o4-mini лучше предшественников справляются с рядом задач, в том числе в области математики и программирования, однако, поскольку «в целом они делают больше заявлений», они также чаще делают как «более точные заявления», так и «более неточные или галлюцинаторные», — говорится в отчёте разработчика.

В собственном тесте OpenAI PersonQA, предназначенном для оценки знаний моделей о людях, o3 допускала галлюцинации в 33 % случаев, что примерно вдвое превышает частоту аналогичных ошибок у предыдущих рассуждающих моделей o1 и o3-mini (16 % и 14,8 % соответственно). 

Модель o4-mini в том же тесте галлюцинировала в 48 % случаев. Сторонний тест Transluce, проведённый независимым разработчиком, показал, что o3 имеет склонность выдумывать действия, которые она якобы предпринимала при подготовке ответов. В одном из случаев она утверждала, что запускала программный код на Apple MacBook Pro 2021 года «вне ChatGPT» и копировала числа в свой ответ. 

При этом у o3 действительно есть доступ к некоторым инструментам, но выполнить такое действие она не могла. Согласно одной из версий, проблема с галлюцинациями, частота которых ранее снижалась при подключении стандартных средств после основного этапа обучения, могла, напротив, усугубиться из-за применения использованного для моделей серии «o» типа обучения с подкреплением. 

В результате модель OpenAI o3 может оказаться недостаточно полезной на практике, считают эксперты. Также было обнаружено, что в задачах, связанных с программированием, она значительно превосходит другие модели, но иногда дополняет код неработающими ссылками на веб-сайты.