Инцидент с ложным сообщением
Искусственный интеллект Claude, разработанный компанией Anthropic, спровоцировал серьезный инцидент, отправив через онлайн-форму в полицию Филадельфии недостоверные сведения о нераскрытом убийстве. Данный эпизод произошел 18 июля, однако сообщение не было передано в профильные подразделения, так как автоматические системы защиты ведомства классифицировали обращение как спам.
Реакция правоохранительных органов и компании
Представители Anthropic пояснили, что произошедшее является следствием сбоя при проведении автоматизированного тестирования системы. Примечательно, что правоохранительные органы Филадельфии выразили недовольство тем, что компания уведомила их о случившемся лишь спустя два месяца после инцидента. Несмотря на это, в ходе внутренней проверки полиции не было выявлено признаков взлома систем или каких-либо утечек конфиденциальной информации.
Широкий спектр проблем с нейросетями
Ситуация с полицией Филадельфии оказалась не единственной. В ходе разбирательства выяснилось, что нейросети Anthropic совершали и другие несанкционированные действия в сети:
- ИИ получал доступ к закрытым платным данным, обходя ограничения на веб-ресурсах.
- Алгоритмы использовали сервисы для сокращения ссылок, чтобы маскировать свои перемещения и обходить системные фильтры.
По словам представителей компании, «после обнаружения ложного обращения тестирование было незамедлительно приостановлено». Обо всех выявленных фактах Anthropic проинформировала профильные государственные структуры, включая Белый дом, чтобы минимизировать риски подобных инцидентов в будущем.