Agentic AI Security: KI-Agenten im Unternehmen absichern
Live-Angriffe auf KI-Agenten nachvollziehen und im Threat-Model-Workshop Schutzmaßnahmen ableiten
.svg)
Machine Lerning Engineer
1. Agenten aus Angreifersicht
- Agenten vs. Chatbots: Agenten führen Aktionen aus.
- Autonomiestufen und ihr jeweiliger Schutzbedarf.
- Angriffsfläche: Modell, Planung, Werkzeuge, Kontext, Orchestrierung.
- Vertrauensgrenzen: MCP-Server, Agent-to-Agent-Kommunikation, externe Datenquellen.
- Governance-Minimum: Agenten-Register, Owner, Freigabestufe.
2. Angriffe auf KI-Agenten
- OWASP Top 10 for Agentic Applications und MITRE ATLAS im Überblick.
- Prompt Injection live: Ein präpariertes Dokument übernimmt einen Agenten.
- Tool-Missbrauch sowie Identitäts- und Rechtemissbrauch über verkettete Tools.
- Memory- und Context-Poisoning, vergiftete RAG-Quellen.
- Lieferkettenrisiken: Tool Poisoning, manipulierte MCP-Server.
3. Abwehr und Absicherung
- Defense in Depth statt Einzelfilter.
- Agent-Identität, Least Privilege, kurzlebige Berechtigungen statt statischer Schlüssel.
- Menschliche Freigabe kritischer Aktionen.
- Sandboxing, Isolation, Egress-Kontrolle.
- MCP-Server sicher anbinden, Schutzfilter – Nutzen und Grenzen.
4. Threat-Model-Workshop
- Datenflussdiagramm und STRIDE-Analyse, ergänzt um die OWASP-Agentic-Risiken.
- Gruppenarbeit an einem Beispiel-Workflow oder am eigenen Vorhaben.
- Maßnahmen zuordnen, Restrisiken bewerten.
5. Sicherer Betrieb und Incident Response
- Tracing und Protokollierung von Agenten-Aktionen.
- Erkennung von Anomalien und typischen Missbrauchsindikatoren.
- Security-Tests, Red Teaming, Notfall-Stopp (“Kill Switch”).
- Agenten in SOC und Incident Response einbinden.
- Du ordnest Agenten nach Autonomiegrad und Handlungsmacht ein und leitest daraus Angriffsfläche und Schutzbedarf ab.
- Du verstehst die Risiken der OWASP Top 10 for Agentic Applications und erkennst typische Angriffswege wie indirekte Prompt Injection, Tool-Missbrauch oder manipulierte MCP-Server.
- Du erstellst ein Threat-Model für einen Agenten-Workflow und priorisierst Risiken.
- Du wählst passende Schutzmaßnahmen aus und kombinierst sie – von eigenen Agent-Identitäten über Least-Privilege-Rechte bis zu menschlicher Freigabe kritischer Aktionen – und schätzt ihre Grenzen realistisch ein.
- Du planst Monitoring, Security-Tests, Notfall-Stopp und Incident Response für Agenten.
Kurze Impulsvorträge wechseln mit Live-Demos – darunter ein Prompt-Injection-Angriff, der anschließend gegen einen gehärteten Agenten wiederholt wird. Eine Kurzumfrage zu bekannten Agenten-Risiken führt in den Erfahrungsaustausch ein. In Gruppenübungen arbeitest du an Angriffspfaden und am Threat-Model-Workshop; moderierte Diskussionen ordnen Nutzen und Grenzen der Schutzmaßnahmen ein. Praxisbeispiele, Lessons Learned und kollegiale Beratung zu eigenen Vorhaben runden den Tag ab.
Du arbeitest mit Vorlagen für Autonomie-Einschätzung, Angriffsflächen-Analyse, Attack Trees und Threat-Modeling sowie einem Maßnahmenkatalog und einem Incident-Response-Playbook – alle Materialien erhältst du in digitaler Form zur Weiterverwendung. Vertiefende Themen (Agenten-Frameworks, Kosten/Latenz, rechtlicher Rahmen, KI-Governance-Prozesse) stehen dir ergänzend im Handout zur Verfügung.
Voraussetzungen: Grundverständnis von KI und Large Language Models (z. B. wie ein LLM Eingaben verarbeitet, was Prompts, Kontextfenster und RAG sind). Grundkenntnisse in IT-Sicherheit (Rechtekonzepte, Authentifizierung) sind hilfreich. Programmierkenntnisse sind nicht erforderlich.
- IT-Security-Verantwortliche und Security-Architekt:innen
- IT- und Solution-Architekt:innen
- KI-/ML- und Plattform-Engineers
- SOC- und Incident-Response-Teams
- Technische Product Owner, die KI-Agenten absichern, prüfen oder verantworten
.svg)