ИИ на производстве и атаки нового поколения: как защитить промышленную модель

На заводах всё чаще стоит нейросеть, а не только человек и регламент. Модель предсказывает отказ подшипника за неделю до аварии, подбирает режим печи, оптимизирует расход. Это работает и экономит реальные деньги. Но вместе с моделью на производство приходит класс угроз, к которому обычная ИБ не готова: атаковать будут не данные, а суждение модели.

Классический кибер-риск - это украсть данные или остановить систему. Здесь цель другая: заставить работающую модель принять разрушительное решение, не ломая её видимым образом. Отравленная модель не выглядит сломанной. Она выглядит исправной и тихо ошибается там, где это дороже всего.

Почему это другой класс риска

Пока ИИ рисовал дашборд, неверная цифра была досадой. Когда ИИ решает, когда гнать обслуживание, какой режим дать печи, когда останавливать линию, - неверное решение это разбитый подшипник, загубленная партия или инцидент по безопасности. Поверхность атаки сместилась из базы данных в суждение модели. А суждение проверить куда труднее, чем украденный файл: не срабатывает никакая тревога в тот момент, когда модель тихо выучивает неправильное правило.

Две двери, через которые заходят

Если говорить прямо, дверей две.

• Отравление обучающих данных. Злоумышленник не трогает модель напрямую. Он подмешивает данные в то, на чём она учится, чтобы она выучила неверное правило: игнорировать конкретную сигнатуру вибрации, которая предшествует отказу, или наоборот, запускать разрушительное обслуживание там, где оно не нужно. Особенно опасно, когда модель дообучается непрерывно на живой телеметрии: тот самый конвейер, который держит её свежей, становится точкой впрыска.

• Подмена телеметрии на входе. Здесь обучение не трогают вовсе. Модель исправна, но ей скармливают чуть искажённые показания датчиков, в пределах правдоподобия, но достаточные, чтобы подтолкнуть к плохому решению. Модель не врёт. Врут её входные данные, а она честно делает вывод из лжи.

Разница между ними важна для защиты: первую закрывают контролем над данными и конвейером, вторую - контролем над входным потоком и физическими ограничителями.

Почему периметр и антивирус это не ловят

Обычная защита стережёт периметр и данные в покое: файрвол, антивирус, шифрование хранилища. Отравление живёт не там. У него нет сигнатуры вредоноса, это валидные с виду записи в вашем же потоке данных. Файрвол пропустит их, потому что они пришли по легальному каналу от легального источника. Угроза встроена в data flow, а не в исполняемый файл. Поэтому и защищать надо целостность потока и решений, а не только границу сети.

Про то, почему граница между ИТ и операционными системами на производстве давно стёрлась, у меня есть отдельная заметка на примере Colonial Pipeline.

Где реально проходит линия защиты

1. Обращайтесь с обучающими данными как с активом под контролем. Происхождение данных, кто имеет право писать в набор, валидационные ворота перед тем, как данные попадут в обучение. Отравление требует доступа на запись в ваш конвейер данных - закройте этот доступ, и большая часть атаки становится невозможной.

2. Стройте базовую линию телеметрии и ловите аномалии до модели. Физически невозможные показания, резкий сдвиг распределения, значения на грани диапазона - это надо отсекать на входе, а не отдавать модели как истину.

3. Оставьте детерминированный предохранитель, который ИИ не может переехать. Модель советует, но жёсткие физические ограничители и блокировки - то, чего оборудование в принципе не сделает, какие бы цифры ни пришли, - остаются вне контура ИИ. Это последняя линия, которая превращает разрушительное решение в отклонённую команду.

4. Мониторьте решения модели, а не только её точность. Точность может держаться, пока модель уже тихо изменила поведение. Резкий сдвиг в том, что она рекомендует, - повод разбираться, а не ждать аварии.

5. Отделите конвейер дообучения от корпоративной сети. Та же логика ИТ/ОТ-границы: место, где модель учится и переучивается, не должно висеть в общей сети рядом с офисной почтой.

6. Проверяйте модель на отравленных и состязательных входах до того, как доверить ей оборудование. Красная команда для модели - это не роскошь, а проверка, которую делают до прода, а не после первого сломанного узла.

Честные оговорки

• Не всякая аномалия это атака. Модели плывут сами по себе: данные меняются, мир меняется. Отличить саботаж от естественной деградации - самая трудная часть, и именно ради неё нужен мониторинг решений, а не вера в один раз обученную модель. Про тихую деградацию у меня есть отдельная заметка: модели деградируют незаметно.

• Целостность нельзя пришить задним числом к конвейеру, в котором происхождение данных никто не отслеживал. Если данные собирались как попало, сначала честно придётся навести порядок в них, а уже потом строить на них защиту. Про это - качество данных раньше аналитики и предиктивное обслуживание стоит начинать с истории отказов, а не с нейросети.

• Глубокая ОТ-безопасность и формальная защита от состязательных атак - работа узких специалистов. Я картирую риск, выстраиваю управление вокруг данных и решений и привожу профильных людей на глубокую техническую часть, вместо того чтобы изображать эксперта во всём.

Если коротко

• На производстве ИИ стал принимать решения о физическом оборудовании, и цель атаки сместилась с данных на суждение модели.
• Две основные двери: отравление обучающих данных и подмена телеметрии на входе. Первую закрывают контролем конвейера, вторую - контролем потока и физическими предохранителями.
• Периметр и антивирус это не ловят: у отравления нет сигнатуры вредоноса, оно живёт валидными записями в вашем же потоке.
• Линия защиты - происхождение данных, аномалии до модели, детерминированный предохранитель вне контура ИИ, мониторинг решений, изоляция дообучения и красная команда до прода.
• Самое трудное - отличить атаку от естественной деградации модели. Ради этого и нужен мониторинг решений.

Если вы уже поставили или собираетесь ставить ИИ на управление оборудованием, самый дешёвый момент подумать о его целостности - до того, как модель начнёт принимать решения, а не после первого дорогого отказа. Обсудить задачу можно через форму на главной, и первый разговор ни к чему вас не обязывает. </content>