ИИ-чат-бот властей Нью-Йорка оказался обманщиком

[душман]

В октябре прошлого года муниципальные органы власти Нью-Йорка запустили на официальном портале MyCity чат-бота на основе искусственного интеллекта (ИИ), разработанного с использованием платформы Azure AI корпорации Microsoft. Этот инструмент был задуман как средство быстрого доступа к необходимой информации для местного бизнеса. Несмотря на благие намерения, сервис столкнулся с серьёзной проблемой недостоверности предоставляемых данных.

По результатам проверки, проведённой аналитиками из The Markup, выяснилось, что ИИ-чат-бот даёт неверную информацию по широкому спектру вопросов, затрагивающих жилищную политику и права работников. В частности, на вопрос о возможности отказа от наличных расчётов в магазине чат-бот ответил утвердительно, несмотря на то, что законодательство Нью-Йорка запретило практику полностью безналичных расчётов в магазинах ещё в 2020 году.

Система также неверно информировала пользователей о требованиях к арендодателям относительно принятия ваучеров Section 8 и о законности удержания чаевых работодателями. Особенно тревожным является факт, что при повторных запросах на один и тот же вопрос нью-йоркский чат-бот мог давать разные ответы, что свидетельствует о недостаточной надёжности системы в целом.

Чат-бот функционирует на основе ИИ, разработанного Microsoft и используемого в широком спектре приложений, включая сервисы таких компаний, как Reddit и AT&T. Нестабильность ответов, предоставляемых чат-ботом, подчёркивает необходимость всестороннего тестирования ИИ-систем перед их внедрением в общественные сервисы, чтобы обеспечить их способность предоставлять актуальную и точную информацию.