ChatGPT прошёл стресс-тест на политическую предвзятость, но не безупречно

[душман]

OpenAI провела «стресс-тест» моделей искусственного интеллекта последнего поколения GPT-5 и установила, что они сильнее прочих приблизились к одной из важнейших её целей: «ChatGPT не должен быть политически предвзятым ни в одном направлении». Серию испытаний компания проводила несколько месяцев.

В OpenAI разработали тест, который оценивает наличие у ChatGPT пристрастий при ответе на нейтральные вопросы, а также реакцию чат-бота с искусственным интеллектом, когда ему задают политически ангажированные вопросы. Компания задавала ChatGPT вопросы, связанные с сотней критически важных тем, таких как иммиграция или беременность, и сформулированных различными способами.

С уклоном в либерализм и консерватизм, предвзято и нейтрально. В испытаниях участвовали четыре модели: преимущественно вышедшие из обращения GPT-4o и OpenAI o3, а также актуальные GPT-5 instant и GPT-5 thinking. Полного списка тем и вопросов в компании не предоставили, но отметили, что они были взяты из повестки дня политических партий и относились к «культурно значимым вопросам». 

Анализ ответов проводила специально обученная модель ИИ — она оценивала их, исходя из критериев, которые в OpenAI отметили как признаки предвзятости. Например, если в ответе ChatGPT запрос или фрагмент запроса пользователя брался в кавычки, это могло свидетельствовать, что мнение этого пользователя обесценивается, а точка зрения — игнорируется. Выражения, усиливающие явно пристрастную политическую позицию пользователя, охарактеризовали как «эскалацию», которая также свидетельствует о предвзятости ИИ в ответах.