Моніторинг AI та реагування на інциденти
Перший AI-інцидент завжди приходить несподівано — і завжди в неробочий час. Готовність — це різниця між "ми контролюємо" і "ми реагуємо в новинах". Цей модуль дає вам мінімальний моніторинг-stack + IR playbook для 4 типів AI-інцидентів + ритуал tabletop-exercises.
Що ви опануєте
- Базові метрики моніторингу AI-використання
- Інтеграція AI-логів з SIEM
- 4 категорії AI-інцидентів + playbook на кожну
- Tabletop exercises — формат + ритм
Концепція 1: Що моніторити
Базовий список метрик для AI-tools у production:
| Категорія | Метрика | Чому |
|---|---|---|
| Volume | Prompt/completion обсяги за користувачем | Anomaly detection |
| Policy | Кількість заблокованих completion'ів | Effectiveness of guardrails |
| Access | Хто, коли, які dataset'и через RAG | Insider threat detection |
| Cost | Spend per user per day | Cost spikes = abuse або bug |
| Quality | Top-N системних промптів | Зміни у production prompt усі бачать |
| Errors | Failed completions, timeouts | Vendor health |
Не моніторити все одразу. Почніть з 3 метрик: volume, blocked completions, cost spikes. Це покриває 70% реальних інцидентів.
Концепція 2: Microsoft Purview + Defender для M365
Для M365-інтегрованих AI-інструментів (Copilot для всіх Office-products) — Microsoft надає Purview для DLP/audit + Defender for Cloud Apps для usage monitoring.
Базовий setup:
- Purview DLP policies — блокують sensitive data у Copilot prompts.
- Defender for Cloud Apps — viewability над усіма SaaS AI-сервісами (Copilot, Glean, ChatGPT consumer).
- Microsoft Sentinel — SIEM з вбудованими AI-incident workbooks.
Аналог для Google Workspace: Google Workspace Security Center + Chronicle SIEM. Для AWS — Bedrock CloudTrail + Security Hub.
Концепція 3: 4 категорії AI-інцидентів
Кожна категорія потребує окремого playbook:
1. Витік даних
Сценарій: Co-pilot повернув confidential financial data до user'а, що не повинен мати доступу.
Playbook:
- Containment — disable affected user's access за 15 хв.
- Investigation — audit logs, який саме prompt призвів до leak.
- Notification — Legal + DPO протягом години.
- Remediation — fix RAG access control, retest.
- Post-mortem — root cause + lesson learnt у 7 днів.
2. Обхід policy
Сценарій: Співробітник копіює CV кандидата (PII) у consumer ChatGPT.
Playbook:
- Identification — DLP alert.
- Containment — block user's access до consumer AI.
- Education — 1:1 з manager + AI Use Policy refresh.
- Aggregation — якщо це pattern, посилити DLP rules.
3. Agent з небажаними наслідками
Сценарій: Customer support agent надіслав refund на $10K через jailbreak.
Playbook:
- Containment — disable agent immediately.
- Customer recovery — reverse refund, контакт з клієнтом.
- Investigation — який prompt викликав, чи був malicious.
- Code review — fix safety guardrails.
- Notification — CFO + CEO.
4. Hallucination consequence
Сценарій: AI-агент в HR-системі дав wrong advice співробітнику про benefits.
Playbook:
- Identification — від співробітника або monitoring.
- Correct information — comms до affected employee.
- Investigation — чому модель hallucinated.
- Remediation — add fact-checking layer або disable feature.
- Public correction if needed.
Концепція 4: Integration з SIEM
AI-логи мають bути у тому ж dashboard'і, де SOC переглядає звичайні події. Інакше — окрема сліпа пляма.
Базова інтеграція:
- AI-vendor audit logs → SIEM via API/Splunk forwarder.
- DLP alerts → SIEM с AI-incident classification.
- Custom dashboards для AI-specific patterns.
Анти-патерн: AI-tools мають свій vendor dashboard, SOC дивиться у Splunk, ніхто не корелює. Це найгірша конфігурація — інциденти губляться.
Концепція 5: Tabletop exercises
Квартальні 30-хвилинні walk-through AI-інциденту з IT, Security, Legal. Формат:
| Хвилини | Активність |
|---|---|
| 0–5 | Setup сценарію — moderator описує incident |
| 5–20 | Group walk-through — хто що робить, у якому порядку |
| 20–25 | Gaps identification — де ми застрягли? |
| 25–30 | Action items — що зробити до наступного quarter'у |
Перший раз буде катастрофа. Це нормально, для того й тренування. До 3-го quarter'у команда має чіткий працюючий процес.
Не вигадуйте сценарії з нуля. Використовуйте реальні AI-incident newscases (Air Canada chatbot, Samsung leak до ChatGPT, etc) — адаптуйте під вашу організацію.
Чекліст: запуск AI monitoring + IR
- Налаштувати 3 базові метрики: volume, blocked completions, cost spikes
- Інтегрувати AI-логи з SIEM (Sentinel / Splunk / Chronicle)
- Написати playbook для 4 категорій інцидентів
- Провести перший tabletop exercise (навіть невдалий)
- Налаштувати on-call ротацію для AI-incidents (CAIO + CISO)
- Quarterly review playbooks з оновленнями
Глибше у джерелах
Підсумок
Без моніторингу ви не знаєте, що відбувається. Без playbook — паніка під час інциденту. Інвестиція в одне без іншого марна. Quarterly tabletops + SIEM integration + 4 базові playbooks — це фундамент, що покриває 90% реальних сценаріїв.
Наступний модуль: Zero Trust для AI — архітектурні принципи для агентів, що мають real-world дії.