ИИ превзошёл учёных в генерации инновационных исследовательских идей

[душман]

Большие языковые модели (LLM) оказались способны генерировать новые научно-исследовательские идеи на уровне экспертов. Более того, согласно новому исследованию, эти идеи оказались более оригинальными и интересными, чем предложенные специалистами. Это ставит под вопрос уникальность человеческого интеллекта в сфере научных инноваций и открывает новые горизонты для развития ИИ в научном сообществе.

Достижения в области больших языковых моделей вызвали волну энтузиазма среди исследователей. Оказалось, что такие ИИ-модели, как ChatGPT компании OpenAI и Claude компании Anthropic, способны самостоятельно генерировать и подтверждать новые научные гипотезы. Считалось, что создание нового знания и совершение научных открытий являются исключительной прерогативой человека, в отличие от механического комбинирования ИИ знаний из обучающих данных. 

Однако, уже потеснив людей в сферах художественного самовыражения, музыки и программирования, теперь ИИ замахнулся на науку, показав способность генерировать исследовательские идеи — в среднем более новые, чем предлагали учёные. Чтобы проверить эту гипотезу, было проведено исследование в области обработки естественного языка (NLP). NLP — это область ИИ, которая занимается коммуникацией между людьми и ИИ на языке, понятном обеим сторонам. 

Она охватывает не только базовый синтаксис, но и нюансы языка, понимание контекста, а в последнее время — даже вербальный тон и эмоциональные оттенки речи. В исследовании приняли участие 100 экспертов по NLP (кандидаты наук и доктора из 36 различных институтов), которые вступили в своеобразное научное соревнование с «идейными агентами» на основе LLM. Целью было выяснить, чьи исследовательские идеи окажутся более оригинальными, интересными и осуществимыми.

Для чистоты эксперимента 49 экспертов сформулировали идеи по 7 конкретным темам в области NLP, в то время как ИИ, специально обученный исследователями, генерировал идеи по тем же темам. Чтобы мотивировать участников «мозгового штурма» на создание качественных идей, за каждую предложенную экспертами концепцию выплачивалось $300, а каждая из пяти лучших человеческих идей получала дополнительную $1000. 

По завершении работы над проектом LLM использовался для стандартизации стилей написания каждой работы с сохранением оригинального содержания, чтобы уравнять шансы и сделать исследование максимально непредвзятым. Исследование также выявило некоторые недостатки в работе ИИ, такие как отсутствие разнообразия идей. Даже при чётком указании не повторяться, ИИ быстро про это забывал. 

Кроме того, ИИ не смог последовательно проверять и оценивать идеи и получал низкие баллы за согласие с человеческими суждениями. Важно отметить, что исследование также выявило определённые ограничения в методологии. В частности, оценка «оригинальности» идеи, даже группой экспертов, остаётся субъективной, поэтому планируется провести более комплексное исследование, в котором идеи, генерируемые как ИИ, так и людьми, будут полностью оформлены в проекты, что позволит более глубоко изучить их влияние в реальных сценариях. Тем не менее, первые результаты исследования, безусловно, впечатляют.