Кибербезопасность и архитектура будущего

Искусственный интеллект стремительно меняет ИТ-ландшафт. В то время как многие организации сосредоточены на повышении производительности и отказе от ручного труда, на заднем плане происходит ещё более фундаментальная трансформация: асимметричная гонка со временем в кибербезопасности.

Срочность очевидна: организации, которые не адаптируют свои системы безопасности и архитектуру к этим темпам, будут вытеснены с рынка в результате киберинцидентов или невозможности получить страховое покрытие. Чтобы понять эту трансформацию и управлять ею, необходимо рассмотреть три последовательные волны проблематики безопасности ИИ — и архитектуру, необходимую для того, чтобы выстоять.

Три волны трансформации безопасности ИИ

Первая волна: технические уязвимости в коде (2025–2027)

• Проблема: Нынешний взрывной рост утечек данных и взломов — результат исторического наверстывания упущенного. Инструменты ИИ анализируют десятилетия унаследованного кода, написанного людьми. Классические ошибки — такие как SQL-инъекции, утечки памяти и устаревшие библиотеки — теперь массово выявляются злоумышленниками.

• Динамика: Этот этап связан с принципом «сдвига влево» и автоматической гигиеной кода. Компании, которые очищают свои конвейеры и оснащают их автоматическими тестами и исправлениями, быстро делают свои традиционные кодовые базы безопаснее, чем когда-либо.

• Решение: Непрерывное автоматическое исправление и очистка кода. CI/CD-конвейеры оснащаются ИИ-«привратниками», которые непрерывно анализируют кодовые базы, автоматически создают и развёртывают исправления после успешного прохождения интеграционных тестов.

Вторая волна: злоупотребление бизнес-логикой (2026–2028)

• Проблема: Как только технический периметр оказывается защищён, борьба перемещается в область функциональной логики. API может быть технически защищён на 100% (без SQL-инъекций и переполнений буфера), но если пользователь или скрипт способен повлиять на систему посредством определённой последовательности действий (например, используя состояния гонки при применении скидок, манипуляции BOLA или пропуск этапов процесса), это приводит к непосредственному финансовому ущербу.

• Динамика: Злоумышленники больше не взламывают систему — они заставляют её работать таким образом, который обходится организации дорого. Это приводит к постоянной, незаметной эрозии маржи.

• Решение: Формальная верификация и строгие конечные автоматы (FSM).

  • Конечные автоматы (FSM): Бизнес-процессы описываются не как отдельные API-эндпоинты, а математически моделируются в виде замкнутого конечного автомата. Система может переходить только из состояния A (CART_CREATED) в состояние B (PAYMENT_PENDING) и C (ORDER_COMPLETED). Манипулирование этапами или их пропуск технически делают невозможными на уровне сервера.

  • Идемпотентность и атомарные транзакции: Действия делают идемпотентными и обрабатывают с использованием строгих уровней изоляции баз данных. Состояния гонки (одновременная отправка нескольких запросов для суммирования скидок) автоматически блокируются на уровне базы данных или помещаются в очередь.

  • Формальная верификация с помощью ИИ: ИИ-агенты используются в конвейере сборки, чтобы посредством математической верификации доказать что программное обеспечение может принимать только предусмотренные логические состояния — ещё до передачи кода в рабочую среду.

Третья волна: манипулирование ИИ-агентами и процессом принятия решений (2027–2030+)

• Проблема: В полностью агентный мире автономные ИИ-агенты взаимодействуют друг с другом и принимают решения на основе данных из внешнего мира (электронных писем, счетов, документов). На этом этапе злоумышленники сосредоточены на Косвенная инъекция промпта, Отравление данных и захвате целей агентов.

• Динамика: Исходный код и логика корректны, но ИИ-агент вводится в заблуждение контекстом, который он анализирует. Вопрос смещается с «безопасен ли код?» на «надёжно ли принятие решений агентом?».

• Решение: Коммуникационная модель A2A из 3 уровней (агент — агент).

Архитектурное решение для третьей волны: трёхуровневая модель A2A

Чтобы ИИ-агенты могли гибко договариваться о сложных ситуациях и нестандартных случаях, не подвергая организацию рискам третьей волны, необходима многоуровневая коммуникационная архитектура. Принцип прост: договариваться следует на естественном языке, а выполнять действия — посредством формального контракта.

Три уровня архитектуры A2A:

Уровень 1: уровень свободных переговоров (выражение и творчество)

На этом уровне агенты обмениваются насыщенным контекстом, чтобы прорабатывать сложные вопросы, цены и рамочные условия.

• Риск: Это наиболее уязвимый для влияния, промпт-инъекций и манипуляций уровень.

• Механизм обеспечения: На этом уровне агентам никаких непосредственных действий разрешено выполнять действия в производственной инфраструктуре. Это изолированная песочница. Кроме того, мы защищаем этот уровень с помощью Когнитивное ограничение частоты запросов (предотвращения возможности для агента без ограничений перебирать параметры) и Межмодельная валидация (вторая модель ИИ, обученная иначе, оценивает результат переговоров на предмет манипуляций).

Уровень 2: уровень формализации и намерений (юридическое закрепление)

Как только агенты на уровне 1 достигают согласия по решению или транзакции, из результата удаляются весь свободный текст и повествовательная часть.

• Механизм обеспечения: Результат преобразуется в формальный структурированный контракт (с помощью Предметно-ориентированный язык или установленной схемы JSON). В нём явно определяются обязательства, ограничения и условия. Этот уровень выступает в роли цифрового «нотариуса», проверяющего соответствие предложения заранее установленным корпоративным рамкам.

Уровень 3: детерминированный уровень исполнения (нерушимая основа)

Именно на этом уровне выполняется фактическая транзакция или вносятся изменения в систему. Здесь больше не общаются агенты ИИ — вместо них взаимодействуют жёстко заданные математические системы посредством контролируемой логики из волны 2.

• Механизм обеспечения:

  • Криптографическая проверка: Сообщения между системами защищаются с помощью Взаимный TLS (mTLS), снабжаются уникальными одноразовыми числами (для предотвращения атак повторного воспроизведения) и подписываются криптографическими ключами.

  • Детерминированные шлюзы: API-шлюзы без участия ИИ проверяют, укладывается ли запрос в установленные жёсткие ограничения (например, максимальную сумму транзакции).

Новая роль экспертов-людей

Этот многоуровневый подход показывает, что роль специалистов не исчезает, а смещается к формированию рамок системы:

• Закупщик разрабатывает стратегии, параметры и ограничения, в пределах которых агент на уровне 1 может вести переговоры.

• Юрист разрабатывает шаблоны, онтологии и формально-логические рамки для уровня 2.

• Архитектор по безопасности создаёт детерминированную контролируемую среду исполнения на уровне 3 и обеспечивает соблюдение логики конечного автомата из «проблемной зоны 2».

Строго разделяя «этап обдумывания и переговоров» и «этап исполнения», мы сохраняем гибкость ИИ-агентов, при этом контроль над деятельностью организации по-прежнему полностью остаётся в её руках.

Нужна помощь в переходе к кибербезопасности на основе ИИ и автоматизации? Свяжитесь с нами уже контакты сегодня