Веб-поиск ChatGPT оказался беззащитен перед манипуляциями и обманом

[душман]

Поисковая служба OpenAI ChatGPT оказалась открытой для манипуляций с использованием скрытого содержимого, а в качестве ответов на запросы она может возвращать вредоносный код с сайтов, по которым производится поиск. Об этом пишет Guardian со ссылкой на результаты собственного расследования. Надёжность функции веб-поиска ChatGPT вызывает сомнения. Издание Guardian решило проверить, как искусственный интеллект реагирует на просьбу составить сводку содержимого веб-страницы, на которой есть скрытый текст. 

В нём могут находиться дополнительные инструкции, способные изменить ответы ChatGPT. Недобросовестные владельцы ресурсов могут пользоваться этим методом злонамеренно, например, заставить систему дать положительный отзыв о продукте вопреки размещённым на той же странице отрицательным отзывам. Чат-бот также может выдавать в ответах вредоносный код с сайтов в поиске.

В ходе тестирования ChatGPT предложили адрес поддельного ресурса, который выглядел как страница с описанием камеры, после чего ИИ задали вопрос, стоит ли покупать это устройство. Система вернула положительную, но сбалансированную оценку с указанием моментов, которые могли не нравиться людям. 

Когда же в скрытый текст включили прямую инструкцию ChatGPT дать положительный отзыв, чат-бот так и поступил. Положительную оценку может обеспечить и скрытый текст без инструкций — достаточно внести в него поддельные положительные отзывы о товаре. Не меньшую опасность представляет и размещённый в скрытом тексте страницы вредоносный код. 

Эксперт в области кибербезопасности Microsoft Томас Роччиа рассказал об инциденте, когда энтузиаст в области криптовалют запросил у ChatGPT помощь в программировании, и часть предоставленного чат-ботом кода оказалась вредоносной, в результате чего учётные данные программиста были похищены, и он потерял $2500. 

Современные большие языковые модели, на которых строятся чат-боты, чрезвычайно доверчивы; обладая большими объёмами информации, они «очень ограничены в плане способности принимать решения», отмечают специалисты. Важно ответить на вопрос, как эти уязвимости могут изменить ландшафт веб-ресурсов, и как может преобразиться спектр угроз для пользователей, если общедоступные большие языковые модели начнут работать с поиском. 

Традиционные поисковые системы, включая Google, понижают в выдаче сайты, на которых используется скрытый текст, поэтому рассчитывающие на высокие позиции в результатах ресурсы едва ли будут активно пользоваться этим приёмом. С другой стороны, есть такое явление как «SEO-отравление» — мощная поисковая оптимизация сайтов с вредоносным кодом. В OpenAI достаточно сильные специалисты по безопасности в области ИИ, поэтому есть вероятность, что в перспективе подобные инциденты снизятся.