Новый взгляд на кибербезопасность ИИ
Генеральный директор корпорации Microsoft Сатья Наделла выступил с инициативой по глубокому пересмотру стандартов безопасности при разработке и эксплуатации искусственного интеллекта. По мнению руководителя техгиганта, индустрия должна отказаться от восприятия продвинутых нейросетевых моделей как «черных ящиков», функционал которых можно лишь принимать или игнорировать.
Ключевые принципы контроля и прозрачности
Наделла подчеркивает важность трансформации ИИ в более прозрачную и контролируемую структуру. Для этого он предлагает реализовать ряд технологических решений:
- Разделение самой нейросетевой модели и системы, отвечающей за оркестрацию её процессов.
- Вынос всех защитных механизмов и инструментов мониторинга в обособленный контур.
- Создание защищенных логов (системных записей) для каждого значимого действия модели, доступных для последующего аудита человеком.
«Аварийный тормоз» для нейросетей
Важнейшим элементом предлагаемой стратегии является возможность оперативного вмешательства человека в работу системы в режиме реального времени. Наделла настаивает на внедрении функции, позволяющей уполномоченному специалисту мгновенно приостановить или полностью завершить работу модели в случае возникновения нештатной ситуации.
Обосновывая необходимость таких мер, Сатья Наделла привел показательную аналогию:
«Мы должны исходить из того, что модель уже скомпрометирована, и с самого начала принимать меры по локализации угрозы. Представьте себе это как аварийный тормоз».