Галлюцинация ИИ едва не спровоцировала военную операцию США

Весной этого года американские военные самолеты уже были подняты в воздух, когда официальные лица обнаружили тревожный факт: разведданные, на основе которых готовилась вооруженная операция против китайского судна, оказались галлюцинацией ИИ-чат-бота. Операцию отменили в последний момент, что позволило избежать потенциального конфликта с Китаем.

Инцидент произошел из-за аналитика Командования специальных операций США. Он использовал чат-бот для синтеза открытых источников и секретных данных радиоэлектронной разведки. Система ошибочно определила груз судна, посчитав, что на нем перевозят компоненты ядерной программы. Аналитик повторно применил тот же инструмент, чтобы оформить ошибочные выводы в официальную сводку, которая затем распространилась по командным каналам. Документ циркулировал в период конфликта с Ираном.

Этот случай подчеркивает растущую обеспокоенность военных и экспертов: по мере того как лица, принимающие решения, все больше полагаются на ИИ, ошибки систем могут подниматься по цепочке командования, прежде чем их кто-то оспорит. Пентагон активно интегрирует ИИ для ускорения процессов и сохранения преимущества над Китаем. Однако скорость, которая делает ИИ привлекательным, может позволить галлюцинациям проходить без должного контроля.

Джейк Стеклер, исследователь в области ИИ и ветеран армии США, отмечает, что военнослужащим важно понимать неопределенность, присущую большим языковым моделям. Это критично для решений, которые могут привести к применению силы, — таких как целеуказание, разведанализ или оперативное планирование. По его словам, инцидент должен стать призывом к усилению защитных мер, а не к отказу от ИИ. Приоритет скорости над безопасностью приведет к тому, что военные потеряют доверие к системам, что в итоге только замедлит их внедрение.