Dieser Artikel dokumentiert die internen Sicherheitsrichtlinien, die bestimmen, wie Eddy AI gebaut und betrieben wird, und wie Document360 mit den OWASP-Sicherheitsstandards für KI- und LLM-Anwendungen übereinstimmt.
Sicherheitsrichtlinien
Document360 pflegt eine Reihe formaler Richtlinien, die für alle Systeme, einschließlich Eddy AI, gelten. Nachfolgend eine Zusammenfassung von beiden.
Kryptographische Richtlinie
Versicherungsnehmer: Geschäftsführer
Wirksamkeitsdatum: 1. März 2024
Umfang: Alle Document360-Systeme, die vertrauliche Daten speichern oder übertragen.
Zweck: Stellen Sie sicher, dass Kryptographie korrekt verwendet wird, um die Vertraulichkeit, Integrität und Authentizität von Informationen zu schützen.
Wichtige Anforderungen:
- Verschlüsselungsstandards folgen NIST SP 800-57.
- AES-256-Bit-symmetrische Verschlüsselung für ruhende Daten (maximaler Schlüsselzeitraum: 1 Jahr).
- TLS 1.3 für alle API ; Zertifikats-Pinning wird auf OpenAI-Endpunkten durchgesetzt.
- Gegenseitiges TLS ist für hochsensible Deployments erforderlich.
- Texteinbettungen in MongoDB verwenden Feldverschlüsselung.
- Alle Benutzereingaben werden vor der Speicherung verschlüsselt; KI-Antworten werden während des Transits und im Ruhezustand verschlüsselt.
- Passwörter wurden mit Bcrypt, PBKDF2, scrypt oder Argon2 (256-Bit-Schlüssel, 10K-Stretch, mit einzigartigem Salz und Pfeffer) gehasht.
- Azure Key Vault wurde verwendet, um alle Geheimnisse und API-Schlüssel zu verwalten und zu schützen.
- Ausnahmen erfordern die Zustimmung und Dokumentation des CEOs.
- Verstöße beim CEO gemeldet; kann zu disziplinarischen Maßnahmen einschließlich Entlassung führen.
Vorfallreaktionsplan
Versicherungsnehmer: Product Owner
Wirksamkeitsdatum: 1. März 2024
Zweck: Erstellen Sie einen strukturierten Plan für das Management von Informationssicherheitsvorfällen in Document360, einschließlich KI-spezifischer Vorfälle.
Definitionen:
- Sicherheitsereignis: Ein beobachtbares Ereignis, das für die Datensicherheit relevant ist.
- Sicherheitsvorfall: Ein Ereignis, das zu tatsächlichem Verlust oder Schaden an der Datensicherheit führt.
Schweregrad des Vorfalls:
| Level | Typ | Beispiele |
|---|---|---|
| S1 – Kritisch | KI-Vorfälle | Systematische Verzerrung, die geschützte Gruppen betrifft; erfolgreicher Jailbreak in der Produktion (100+ Nutzer); PII, die durch KI-Antworten offengelegt werden; Halluzinationsrate >5 % anhaltend für 1+ Stunden |
| S2 – High | KI-Vorfälle | Moderations-API-Umgehung erkannt; prompte Injektion, die <100 Nutzer betrifft; Modelldrift >10 % Genauigkeitsverschlechterung; Zitationsfehlerquote >15 % |
| S3 – Mittel | KI-Vorfälle | Eine einzige unbelegte KI-Antwort; DAN-ähnlicher Gefängnisausbruch blockiert; Antwortlatenz >10 Sekunden |
Reaktionsprozess: Triage → Untersuchung → Eindämmung → Ausrottung → Genesung → Verhärtung → gelernte Erkenntnisse
Wichtige Regeln:
- Die technischen Manager leiten die Einsatzreaktion mit einem ausgewiesenen War Room zur Koordination.
- Nur der Product Owner kann einen Datenverstoß melden.
- Die Meldung von Sicherheitsverletzungen entspricht den gesetzlichen Anforderungen (DSGVO usw.).
- Für alle S1-Vorfälle ist eine Ursachenanalyse erforderlich, die vom Ingenieurdirektor geprüft wird.
- Meldung: Mitarbeiter melden vermutete Vorfälle sofort über definierte Kanäle; Alle Vorfälle müssen dokumentiert werden.
Rollen und Verantwortlichkeiten im Bereich Informationssicherheit
Versicherungsnehmer: Geschäftsführer
Wirksamkeitsdatum: 1. März 2024
Umfang: Alle Document360-Infrastrukturen, Mitarbeiter, Auftragnehmer, Partner und Partner, die an der Informationssicherheit beteiligt sind.
| Rolle | Verantwortlichkeiten |
|---|---|
| Exekutivleitung | Genehmigt Sicherheitsausgaben; überwacht das Risikomanagement; gewährleistet die Einhaltung von DSGVO, CCPA, SOC 2 und ISO 27001; verwaltet Lieferantenverträge |
| Direktor des Ingenieurwesens | Überwacht die Sicherheit in der Softwareentwicklung; führt IT-Risikobewertungen durch; überwacht Steuerungen |
| Vizepräsident für Kundensupport | Verwaltung von Sicherheitstools in Kundenumgebungen; setzt Richtlinien zur Aufbewahrung und Löschung von Daten durch. |
| Systembesitzer | Vertraulichkeit, Integrität und Verfügbarkeit ihrer Systeme aufrechterhalten; Zugriffs- und Änderungsanfragen genehmigen |
| Mitarbeiter und Auftragnehmer | Befolgen Sie die Richtlinien; Risiken identifizieren; Vorfälle melden |
| Chief People Officer | Verwaltet Hintergrundüberprüfungen, Verhaltenskodex und Sicherheitsschulungen |
Nichteinhaltung kann zu disziplinarischen Maßnahmen einschließlich Entlassung führen.
Sichere Entwicklungspolitik
Versicherungsnehmer: Geschäftsführer
Wirksamkeitsdatum: 1. März 2024
Umfang: Alle geschäftskritischen Document360-Anwendungen, die vertrauliche Daten verarbeiten, speichern oder übertragen.
Angewandte Secure-by-Design-Prinzipien:
- Angriffsfläche minimieren
- Sichere Standardeinstellungen
- Geringste Privilegien
- Defensive Tiefe
- Sicher scheitern
- Sicherheit durch Unklarheit vermeiden
- Halte die Sicherheit einfach
Angewandte Prinzipien des Privacy-by-Design:
- Proaktiver und präventiver Ansatz
- Privatsphäre als Standardeinstellung
- Datenschutz eingebettet im Design
- Volle Funktionalität ohne Gefährdung der Privatsphäre
- End-to-End-Sicherheit und vollständiger Lebenszyklusschutz
Zusätzliche Steuerungen:
- Entwicklungs-, Bühnen- und Produktionsumgebungen sind streng getrennt.
- Eine Release-Checkliste muss vor der Bereitstellung des Codes ausgefüllt werden.
- Testdaten dürfen ohne ausdrückliche Erlaubnis keine echten vertraulichen Kundendaten verwenden.
- Alle Änderungen erfordern separate Personen für Entwicklung, Testen und Bereitstellung.
- Alle Software ist versionskontrolliert und bietet rollenbasierten Zugriff.
Verhaltenskodex
Versicherungsnehmer: Geschäftsführer
Wirksamkeitsdatum: 1. März 2024
Schafft einen sicheren, inklusiven Arbeitsplatz. Von allen Mitarbeitern wird erwartet, dass sie mit Respekt und Zusammenarbeit handeln. Belästigung, Gewalt, Diskriminierung und unangemessenes Verhalten sind strengstens verboten. Verstöße führen zu sofortigen Korrekturmaßnahmen.
Zugriffskontrollrichtlinie
Versicherungsnehmer: Inkrafttreten des CEO: 1. März 2024 Umfang: Alle Document360-Systeme, die vertrauliche Daten verarbeiten.
Schlüsselbedienungen:
- Der Zugang wird basierend auf der Jobrolle und dokumentiertem geschäftlichen Bedarf gewährt.
- Mehrfach-Authentifizierung (MFA) ist für alle privilegierten Zugriffe erforderlich.
- Generische Verwaltungsausweise sind verboten.
- Zeitgebundene Zugriffsberechtigungen, um die Exposition zu begrenzen.
- Alle privilegierten Logins und Aktivitäten werden protokolliert und geprüft.
- Regelmäßige Nutzerzugriffsüberprüfungen werden durchgeführt.
- Passwortverwaltung: Sichere Anmeldeverfahren werden durchgesetzt.
- Verstöße gemeldet und unterliegen der Durchsetzung.
Datenmanagementpolitik
Versicherungsnehmer: Inkrafttreten des CEO: 1. März 2024
Datenklassifikation:
| Baureihe | Beschreibung | Beispiele |
|---|---|---|
| Vertraulich | Höchster Schutz; Eingeschränkter Zugang | Kundendaten, personenbezogene Daten, Finanzen, technische Berichte |
| Eingeschränkt | Gründlicher Schutz; Standard für alle internen Daten | Interne Richtlinien, juristische Dokumente, Verträge, E-Mails |
| Öffentlich | Keine speziellen Steuerungen | Marketingmaterialien, Produktbeschreibungen |
Umgang mit vertraulichen Daten:
- Eingeschränkter Zugang; verschlüsselt im Ruhezustand und während des Transports.
- Nicht auf privaten Geräten oder herausnehmbaren Medien gespeichert.
- Eine sichere Lagerung und Entsorgung erforderlich.
Datenspeicherung:
- Behalten so lange, wie es für geschäftliche, regulatorische oder vertragliche Zwecke erforderlich ist.
- PII wurde gelöscht oder deidentifiziert, wenn sie nicht mehr benötigt wurde.
- Jährliche Managementüberprüfung der Bindungsanforderungen.
- Die Daten der Rechtsbewahrung, die gemäß den Anweisungen des Rechtsberaters gespeichert werden.
Verstöße beim CEO gemeldet; kann zu einer Kündigung führen.
Operationssicherheitspolitik
Versicherungsnehmer: Inkrafttreten des CEO: 1. März 2024 Umfang: Alle kritischen Document360-Systeme und Drittanbieter mit Netzwerkzugang.
Zu den wichtigsten Steuerungen gehören:
- Change Management: Alle wesentlichen Änderungen werden vor der Einführung dokumentiert, getestet und genehmigt; Notfalländerungen erfordern eine rückwirkende Genehmigung.
- Kapazitätsmanagement: Ressourcen überwacht und angepasst; Menschliche Kapazitäten in jährliche Risikobewertungen einbezogen.
- Verhinderung von Datenlecks: DLP-Werkzeuge, angewandt auf Basis von Risikobewertung; Nutzer, die im Umgang mit sensiblen Daten geschult sind.
- Webfilterung: DNS- und IP-Blockierung für riskante oder bösartige Seiten.
- Umwelttrennung: Entwicklung, Inszenierung und Produktion sind streng getrennt; Keine Produktionsdaten in Dev/Test ohne Genehmigung.
- Malware-Schutz: Anti-Malware- und Bedrohungserkennung auf allen Endpunkten und per E-Mail.
- Backups: Entworfen und implementiert, um die SLAs zur Datenwiederherstellung von Kunden zu erfüllen.
- Logging und Überwachung: Aktive Erkennung und Reaktion auf Sicherheitsvorfälle.
- Schwachstellenmanagement: Zeitnahe Identifizierung, Bewertung und Behebung technischer Schwachstellen.
- Datenmaskierung: PII und sensible Daten werden aufgrund der Risikobewertung maskiert.
Datenaufbewahrungspolitik
Versicherungsnehmer: Inkrafttretensdatum des CEO: 1. März 2024 Umfang: Alle Document360-Kunden, sowohl öffentliche als auch private Wissensdatenbankprojekte.
Welche Daten erhoben werden:
- Öffentliche Seiten: Keine nutzerbezogenen Daten erhoben.
- Private Projekte: Benutzeridentität, Zeitstempel und weitere Benutzerinformationen sind in Document360 verfügbar.
Wie es verwendet wird: Document360 speichert alle im Eddy AI Chatbot eingegebenen Prompts für:
- Topische Analyse (Clustering von Fragen mit internen Algorithmen und OpenAI-APIs)
- Zitationsanalyse (Identifizierung der meistzitierten Artikel)
- Kennzahlen (beantwortete vs. unbeantwortete Fragen, Tiefenkennzahlen)
Aufbewahrung und Löschung:
- Die Daten werden innerhalb Ihres Document360-Projekts gespeichert.
- Daten werden dauerhaft gelöscht, wenn das Knowledge Base-Projekt gelöscht wird.
- Kunden können während des Vertragszeitraums jederzeit eine Löschung beantragen.
- Diese Richtlinie ist nicht vom Kunden anpassbar.
KI-Risikobewertung und -managementpolitik
Versicherungsnehmer: Senior Director – Data Science Wirksamkeitsdatum: 1. Januar 2025
Zweck: Etablieren Sie einen systematischen Ansatz zur Identifizierung, Bewertung und Verwaltung von Risiken über den gesamten Lebenszyklus von Eddy AI.
Wichtige Komponenten:
- Erste KI-Auswirkungsbewertung: Erforderlich vor jeglicher Entwicklungstätigkeit. Behandelt beabsichtigte Anwendungsfälle, potenzielle Schäden, Risikowahrscheinlichkeit und Auswirkungen, Stakeholder-Identifikation und Minderungsstrategien.
- Laufende Risikoüberwachung: Vierteljährliche Rezensionen; Umfassende jährliche Bewertungen.
- Risikotoleranzgrenzen:
- Inakzeptable → Einsatz verboten
- Hohe → Erweiterte Steuerung erforderlich
- Mittel → Standardkontrollen angewandt
- Nur Monitoring mit niedriger →
- Risiko-Register: Zentralisierte Dokumentation aller identifizierten Risiken, Minderungsmaßnahmen, Restrisiken und Eigentümer.
Richtlinien zur Fairness und Voreingenommenheit von KI
Versicherungsnehmer: Senior Director – Data Science Wirksamkeitsdatum: 1. Januar 2025
Zweck: Identifizieren, messen, mindern und überwachen Sie Verzerrungen in Eddy AI, um faire und gerechte Ergebnisse für alle Nutzer sicherzustellen.
Behandelte Arten von Verzerrungen:
| Typ | Quelle |
|---|---|
| Systemische Verzerrung | Kommt von Drittanbieter-LLMs |
| Rechengestützte/statistische Verzerrung | Algorithmische Designentscheidungen oder Datenstichprobenmethoden |
| Menschlich-kognitive Verzerrung | Menschliche Annahmen, die während der Entwicklung eingeführt wurden |
Testanforderungen:
Vor dem Einsatz:
- Inhaltsrepräsentativitätsanalyse (Themenbalance, Tiefe, Vielfalt)
- Stereotype-Tests (KI muss sich weigern, Stereotype im Zusammenhang mit geschützten Eigenschaften zu verstärken)
- Sprachfairness-Tests für mehrsprachige Wissensbasen
Nach dem Einsatz:
- Monatlich: Analyse unbeantworteter Fragen nach Thema oder Benutzergruppe
- Vierteljährlich: Vollständige Bias-Prüfung unter Verwendung aktueller Testkorpus
- Jährlich: Unabhängige Überprüfung externer Voreingenommenheit und veröffentlichter Transparenzbericht
OWASP und Sicherheits-Best Practices
Das Open Worldwide Application Security Project (OWASP) ist eine weltweit anerkannte gemeinnützige Organisation mit Schwerpunkt auf Softwaresicherheit. Es veröffentlicht die "Top 10"-Listen, die kritischsten Sicherheitslücken in verschiedenen Bereichen, einschließlich Webanwendungen und KI/LLM-Systemen.
OWASP Top 10 Bedrohungen für LLM-Anwendungen
| Bedrohung | Was es bedeutet |
|---|---|
| Prompte Injektion | Bösartige Eingaben, die versuchen, das Verhalten des LLM zu manipulieren oder zu kapern |
| Unsichere Ausgabebehandlung | Versäumnis, LLM-Ausgaben zu bereinigen, was nachgelagerte Schwachstellen erzeugt |
| Trainingsdatenvergiftung | Beschädigung von Trainingsdaten, um das Verhalten von Modellen zu sabotieren oder zu steuern |
| Modell-Denial-of-Service | Überlastung von LLM-Ressourcen führt zu Ausfallzeiten oder Leistungsverschlechterung |
| Schwachstellen in der Lieferkette | Risiken durch Datensätze, Modelle oder Plugins von Drittanbietern |
| Offenlegung sensibler Informationen | Unbeabsichtigte Leckage vertraulicher oder persönlicher Daten in den Ausgaben |
| Unsicheres Plugin-Design | Plugins ohne ordnungsgemäße Validierung oder Zugriffskontrollen |
| Übermäßige Eigenständigkeit | Übermächtige LLMs, autonome Maßnahmen zu ergreifen |
| Überabhängigkeit (Fehlinformation) | Blindes Vertrauen in LLM-Ausgaben ohne menschliche Bestätigung |
| Modelldiebstahl | Unbefugte Replikation oder Extraktion proprietärer Modelle |
Wie Eddy AI mit wichtigen OWASP-Bedrohungen umgeht
LLM01: Prompte Injektion
- Alle Benutzereingaben werden vor der Verarbeitung validiert.
- Der Kontext ist von Systemeingaben isoliert.
- Systembefehle sind gegen Injektionsversuche gehärtet.
- Eddy AI generiert nur Antworten aus deinen Inhalten der Wissensbasis.
- Moderations-API, die verwendet wird, um bösartige Prompts zu erkennen und zu markieren.
LLM04: Daten- und Modellvergiftung (Einbettungen)
- Document360 besitzt oder trainiert kein eigenes LLM.
- Embeddings werden mit OpenAI-APIs erstellt; das DPA mit OpenAI enthält Schutzmaßnahmen gegen Daten- und Modellvergiftung.
LLM05: Unsachgemäße Ausgabehandhabung
- Tool Calling wird in der Architektur von Eddy AI nicht verwendet, was die Angriffsfläche für die Ausgabeverarbeitung reduziert.
- Alle Daten werden gemäß SOC 2 und DSGVO sicher in MongoDB gespeichert.
- Modernste Verschlüsselung wird auf ruhende und übertragene Daten angewendet.
LLM08: Vektor- und Einbettungsschwächen
- Embeddings werden ausschließlich aus den Inhalten Ihrer Wissensdatenbank erstellt.
- Externe Quellen können Embeddings nicht manipulieren oder vergiften.
- Wenn Inhalte der Wissensdatenbank aktualisiert werden, werden die Embeddings entsprechend aktualisiert.
LLM09: Fehlinformationen
- Strenge Systemanweisungen verhindern, dass falsche Informationen generiert werden.
- Wenn der LLM keine zuversichtliche Antwort liefern kann, antwortet er mit "Ich weiß es nicht."
- GPT-4.1 Mini wird als Hauptmodell verwendet – ausgewählt wegen seiner geringeren Halluzinationsrate.
Kontinuierliche Überwachung und Governance
Um diese Risiken effektiv zu managen, verwendet Ask Eddy folgende Governance- und Überwachungsstrukturen:
| Steuerung | Beschreibung |
|---|---|
| Automatisierte Bedrohungserkennung | Echtzeitüberwachung, die ungewöhnliche Eingabemuster oder verdächtiges Modellverhalten markiert |
| Prüfungswege | Umfassende Protokolle aller Eingabe-Ausgabe-Interaktionen für forensische Analyse und Einhaltung |
| Vorfallreaktionsprotokolle | Definierte Arbeitsabläufe für schnelle Eindämmung, Bewertung und Sanierung |
| Compliance-Ausrichtung | Regelmäßige Audits und Aktualisierungen im Einklang mit SOC 2 und DSGVO |
Document360s Engagement für OWASP Best Practices
Document360 integriert OWASP-Prinzipien aktiv auf seiner gesamten Plattform:
- Sichere Entwicklung: Sichere Codierungs- und Eingabevalidierungspraktiken, die den OWASP-Richtlinien entsprechen, sind in den Entwicklungszyklus integriert.
- Häufige Verwundbarkeitsminderung: Injektionsfehler, unsichere direkte Objektreferenzen und andere OWASP Top-10-Risiken werden durch die Plattformarchitektur gemindert.
- KI-spezifisches Risikomanagement: Das LLM Top 10 Framework von OWASP galt für alle KI-gestützten Funktionen, einschließlich Eddy AI.
- API-Sicherheit: Authentifizierte Token, die für alle API-Zugriffe verwendet werden, im Einklang mit den empfohlenen OWASP-Kontrollen.
- Infrastruktur: Gehostet auf Microsoft Azure mit DDoS-Verteidigung, verschlüsselter Datenspeicherung, SOC 2 Typ II und DSGVO-Konformität sowie kontinuierlicher Überwachung im Einklang mit den Sicherheitsprotokollierungs- und Überwachungsempfehlungen von OWASP.
Erfahren Sie mehr über OWASP und wie die Sicherheitsstrategie von Document360 mit Best Practices übereinstimmt
- OWASP Offizielle Seite: https://owasp.org
- OWASP Top 10 Projekt: https://www.owasptopten.org
- Document360 Sicherheitsübersicht: https://docs.document360.com/docs/security
FAQ
Wie stellt Document360 sicher, dass meine Daten nicht an andere Kunden abgerufen oder geleakt werden? Welche Sicherheitssicherung ist genehmigt?
Document360 ist SOC II-konform und hält sich an branchenübliche technische Best-Practices, um Datenisolierung und -schutz sicherzustellen. Robuste Sicherheitsmaßnahmen werden implementiert, um unbefugten Zugriff zu verhindern und sicherzustellen, dass Ihre Daten sicher bleiben und für andere Kunden nicht zugänglich sind. Weitere Informationen finden Sie in unseren Sicherheitspraktiken.
Wie stellt Document360 sicher, dass nicht gezielte Kundendaten nicht aufgenommen werden?
Document360 hält sich strikt an die DSGVO und das EU-KI-Gesetz. Unsere internen Prozesse und Datenverarbeitungspraktiken sind darauf ausgelegt, mit allen relevanten rechtlichen und Compliance-Anforderungen übereinzustimmen und sicherzustellen, dass nur beabsichtigte und autorisierte Datenelemente verarbeitet werden. Nicht-gezielte Kundendaten sind ausdrücklich von der Aufnahme ausgeschlossen.
Welche Kontrollen sind vorhanden, um Fehler zu erkennen und zu verhindern?
Wir protokollieren alle von Eddy AI generierten Ausgaben und Antworten. Darüber hinaus sind wir dabei, LLM-Observabilitätstools zu integrieren, um die Überwachungs- und Fehlerpräventionsfähigkeiten zu verbessern.
Wie stellen Sie sicher, dass sensible oder vertrauliche Daten nicht an andere Kunden weitergegeben werden?
Wir haben eine DPA mit OpenAI unterzeichnet, die besagt, dass die Daten nicht für Schulungen verwendet oder mit anderen geteilt werden. Wir sind SOC2 Typ II und DSGVO-konform. Die mit KI geteilten Daten sind auf die Zugriffsberechtigungen des einzelnen Nutzers beschränkt und nicht auf das gesamte Projekt.
Wie wird die Vertraulichkeit meiner Daten gewahrt, und sind menschliche Prüfer an deren Verarbeitung beteiligt?
Alle Projektdaten werden im Ruhezustand verschlüsselt, und alle an das KI-Modell gesendeten Daten werden während der Übertragung verschlüsselt. Wir verwenden AES 256-Bit-Verschlüsselung für ruhende Daten und HTTPS mit TLS 1.2 für Daten während der Übertragung. Keine menschlichen Gutachter lesen, kommentieren oder verarbeiten Ihre Daten, und wir bilden unsere eigenen LLMs nicht aus.
Werden die Daten anonymisiert, bevor sie von den KI-Modellen verarbeitet werden?
Ja, wir führen interne Prozesse durch, um personenbezogene Daten (PII) zu erkennen. Wenn personenbezogene Daten erkannt werden, werden sie maskiert und durch Platzhalter ersetzt, bevor die Daten an Drittanbietermodelle gesendet werden.