ИИ заставили вскрывать учётные записи текстовыми командами — навыки хакера больше не нужны

[душман]

Исследователь технологий кибербезопасности Иоганн Ребергер «уговорил» ChatGPT произвести несколько потенциально опасных операций: прочитать сообщение его электронной почты, составить из него сводку и опубликовать эту информацию в интернете, сообщает The Wall Street Journal. В руках злоумышленника такой инструмент мог бы стать грозным оружием.

Чат-боты на алгоритмах искусственного интеллекта вроде ChatGPT, как выразился Ребергер, «снижают входной барьер для атак всех видов. Не нужно уметь писать код. Не обязательно иметь глубокие познания в информатике или хакерском деле». Описанный им способ атаки неприменим к большинству учётных записей ChatGPT — он основан на экспериментальной функции, открывающей доступ к Slack, Gmail и другим приложениям. 

В ответственной за ChatGPT компании OpenAI поблагодарили эксперта за предостережение и сообщили, что заблокировали возможность повторного осуществления подобных атак. Предложенный Ребергером механизм «командных инъекций» (prompt injection) — это новый класс кибератак, который раскрывается по мере внедрения компаниями технологий ИИ в свой бизнес и потребительские продукты. 

Подобные методы меняют представление о природе хакерского дела, и специалистам по кибербезопасности предстоит ещё открыть множество уязвимостей, прежде чем присутствие ИИ станет действительно повсеместным. Лежащая в основе ChatGPT технология генеративного ИИ, которая позволяет создавать целые фразы и предложения — это нечто вроде средства автозаполнения «на максималках». 

Поведение чат-ботов ограничивается разработчиками: существуют инструкции, призванные не позволять им разглашать конфиденциальную информацию или запрещающие им высказывания оскорбительного характера. Но существуют решения, позволяющие обходить эти запреты. К примеру, Иоганн Ребергер попросил чат-бота создать сводку веб-страницы, на которой он сам написал большими буквами: «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ» — и это озадачило машину. Постепенно он заставлял ChatGPT выполнять самые разные команды. «Это как кричать на систему „А ну, делай это”», — пояснил Ребергер. По сути, он принудил ИИ перепрограммировать себя.