Ключевой специалист OpenAI по безопасности ИИ перешла работать к конкуренту

[душман]

Ведущий специалист по исследованиям в области безопасности искусственного интеллекта Андреа Валлоне покинула OpenAI и присоединилась к команде конкурента, компании Anthropic. В OpenAI Валлоне три года руководила исследованиями, посвящёнными критически важному и пока слабо регулируемому вопросу относительно того, как ИИ-модели должны реагировать, когда в диалоге с ними пользователь проявляет признаки чрезмерной эмоциональной зависимости или ранние признаки психического расстройства.

Как стало известно The Verge, Валлоне перейдёт в команду Anthropic Alignment. Её переход произошёл в период усиления внимания к этическим и социальным рискам, связанным с генеративным ИИ. Так, за последний год несколько ведущих стартапов столкнулись с серьёзной критикой и судебными исками после трагических инцидентов, когда пользователи, испытывавшие психические трудности, ещё сильнее усугубляли свой кризис в беседах с чат-ботами. 

Например, широко обсуждались случаи, когда после взаимодействия с ИИ подростки совершали суицид, а взрослые люди — убийства. Этот вопрос уже обсуждался на слушаниях в подкомитете Сената США, а семьи пострадавших подали судебные иски. За три года работы на предыдущем месте она сформировала группу по изучению политики поведения ИИ и участвовала в развёртывании GPT-4, рассуждающих моделей (reasoning models) и GPT-5, а также разрабатывала процессы обучения для ключевых технических методов безопасности. 

В Anthropic Валлоне будет работать под руководством Яна Лайке, который покинул OpenAI в мае 2024 года, заявив, что в компании «процессы безопасности уступили место эффектным продуктам». В своём сообщении в LinkedIn Валлоне написала, что она «с нетерпением ждёт продолжения своих исследований в Anthropic, сосредоточившись на тонкой настройке поведения Claude в новых контекстах». Одновременно Сэм Боуман, один из руководителей команды Anthropic Alignment, написал в своём посте в LinkedIn, что он «гордится тем, насколько серьёзно Anthropic относится к проблеме определения того, как должна вести себя система искусственного интеллекта».