Cet article documente les politiques de sécurité internes qui régissent la manière dont l’IA Eddy est construite et exploitée, ainsi que la manière dont Document360 s’aligne avec les normes de sécurité OWASP pour les applications d’IA et de LLM.
Politiques de sécurité
Document360 maintient un ensemble de politiques formelles applicables à tous les systèmes, y compris Eddy AI. Voici un résumé de chacun.
Politique de cryptographie
Propriétaire de la police : PDG
Date d’entrée en vigueur : 1er mars 2024
Portée : Tous les systèmes Document360 qui stockent ou transmettent des données confidentielles.
Objectif : Assurez-vous que la cryptographie est correctement utilisée pour protéger la confidentialité, l’intégrité et l’authenticité des informations.
Exigences clés :
Les normes de chiffrement suivent le NIST SP 800-57.
Chiffrement symétrique de bits AES-256 pour les données au repos (période de clé maximale : 1 an).
TLS 1.3 pour tous les appels OpenAI ; épinglage de certificats appliqué sur les points de terminaison OpenAI.
TLS mutuel requis pour les déploiements à haute sensibilité.
Les inclusions de texte dans MongoDB utilisent le chiffrement au niveau des champs.
Toutes les invites utilisateur chiffrées avant stockage ; Des réponses de l’IA chiffrées en transit et au repos.
Les mots de passe hachés en utilisant Bcrypt, PBKDF2, scrypt ou Argon2 (clé 256 bits, étirement 10K, avec sel et poivre uniques).
Azure Key Vault gérait et protégeait tous les secrets et clés API.
Les exceptions nécessitent l’approbation et la documentation du PDG.
Les violations signalées au PDG ; peuvent entraîner des sanctions disciplinaires, y compris un licenciement.
Plan d’intervention en cas d’incident
Propriétaire de la police : Propriétaire de produit
Date d’entrée en vigueur : 1er mars 2024
Objectif : Fournir un plan structuré pour gérer les incidents de sécurité de l’information à travers Document360, y compris les incidents spécifiques à l’IA.
Définitions :
Événement de sécurité : Un phénomène observable pertinent pour la sécurité des données.
Incident de sécurité : Un événement qui entraîne une perte ou un dommage réel à la sécurité des données.
Niveaux de gravité des incidents :
Niveau | Type | Exemples |
|---|---|---|
S1 – Critique | Incidents liés à l’IA | Biais systématique affectant les groupes protégés ; Jailbreak réussi en production (100+ utilisateurs) ; Des informations personnelles exposées via des réponses IA ; Taux d’hallucinations >5 % maintenu pendant 1+ heure |
S2 – Haut | Incidents liés à l’IA | Contournement de l’API de modération détecté ; injection rapide affectant <100 utilisateurs ; dérive du modèle >dégradation de 10 % de la précision ; Taux d’échec des citations >15 % |
S3 – Moyen | Incidents liés à l’IA | Réponse IA unique et non sourcée ; Évasion de type DAN bloquée ; Latence de réponse >10 secondes |
Processus de réponse : Triage → Investigation → Containment → Eradication → Recovery → Durcissement → Leçons Apprises
Règles clés :
Les responsables de l’ingénierie dirigent la réponse aux incidents, avec une salle de guerre désignée pour la coordination.
Seul le Product Owner peut déclarer une violation.
La notification de violation suit les exigences réglementaires (RGPD, etc.).
Une analyse de la cause profonde est requise pour tous les incidents S1, examinée par le Directeur de l’Ingénierie.
Signalement : Les employés signalent immédiatement les incidents suspects via des canaux définis ; Tous les incidents doivent être documentés.
Rôles et responsabilités en sécurité de l’information
Propriétaire de la police : PDG
Date d’entrée en vigueur : 1er mars 2024
Portée : Toute l’infrastructure de Document360, les employés, les sous-traitants, les partenaires et les affiliés impliqués dans la sécurité de l’information.
Rôle | Responsabilités |
|---|---|
Direction exécutive | Approuve les dépenses de sécurité ; supervise la gestion des risques ; assure la conformité au RGPD, CCPA, SOC 2, ISO 27001 ; gère les contrats avec les fournisseurs |
Directeur de l’ingénierie | Supervise la sécurité dans le développement logiciel ; réalise des évaluations des risques informatiques ; Contrôles de surveillance |
Vice-président du support client | Gérer les outils de sécurité dans les environnements clients ; applique les politiques de conservation et de suppression des données |
Propriétaires du système | Maintenir la confidentialité, l’intégrité et la disponibilité de leurs systèmes ; Approuver les accès et les demandes de modification |
Employés et sous-traitants | Suivez les politiques ; identifier les risques ; Signaler des incidents |
Directeur des ressources humaines | Gére les vérifications des antécédents, le Code de conduite et la formation à la sécurité |
Le non-respect peut entraîner des sanctions disciplinaires, y compris un licenciement.
Politique de développement sécurisé
Propriétaire de la police : PDG
Date d’entrée en vigueur : 1er mars 2024
Portée : Toutes les applications Document360 critiques pour l’entreprise qui traitent, stockent ou transmettent des données confidentielles.
Principes de sécurisation dès la conception appliqués :
Minimiser la surface d’attaque
Défauts sécurisés
Moins de privilèges
Défense en profondeur
Échouez en toute sécurité
Évitez la sécurité par l’obscurité
Gardez la sécurité simple
Principes de confidentialité dès la conception appliqués :
Approche proactive et préventive
Confidentialité comme réglage par défaut
La confidentialité intégrée dans la conception
Fonctionnalités complètes sans compromettre la vie privée
Sécurité de bout en bout et protection complète du cycle de vie
Contrôles supplémentaires :
Les environnements de développement, de mise en scène et de production sont strictement séparés.
Une liste de contrôle de publication doit être remplie avant le déploiement du code.
Les données de test ne doivent pas utiliser de données clients réellement confidentielles sans autorisation explicite.
Tous les changements nécessitent des individus distincts pour le développement, les tests et le déploiement.
Tous les logiciels sont contrôlés par une version avec un accès basé sur les rôles.
Politique du Code de conduite
Propriétaire de la police : PDG
Date d’entrée en vigueur : 1er mars 2024
Instaure un environnement de travail sûr et inclusif. Tout le personnel est censé agir avec respect et collaboration. Le harcèlement, la violence, la discrimination et les comportements inappropriés sont strictement interdits. Les violations entraînent une action corrective immédiate.
Politique de contrôle d’accès
Propriétaire de la police : Date d’entrée en vigueur du PDG : 1er mars 2024 Portée : Tous les systèmes Document360 traitant des données confidentielles.
Contrôles clés :
L’accès est accordé en fonction du poste et des besoins professionnels documentés.
Authentification multifacteur (MFA) requise pour tout accès privilégié.
Les identifiants administratifs génériques sont interdits.
Autorisations d’accès limitées dans le temps pour limiter l’exposition.
Toutes les connexions et activités privilégiées sont enregistrées et auditées.
Des revues régulières d’accès utilisateur ont été effectuées.
Gestion des mots de passe : procédures de connexion sécurisées appliquées.
Les infractions signalées et soumises à l’application.
Politique de gestion des données
Propriétaire de la police : Date d’entrée en vigueur du PDG : 1er mars 2024
Classification des données :
Classe | Description | Exemples |
|---|---|---|
Confidentiel | Protection maximale ; Accès restreint | Données clients, PII, états financiers, rapports techniques |
Restreint | Protection complète ; Par défaut pour toutes les données internes | Politiques internes, documents juridiques, contrats, e-mails |
Public | Pas de commandes spéciales | Supports marketing, descriptions de produits |
Gestion des données confidentielles :
Accès restreint ; chiffré au repos et en transit.
Pas stocké sur des appareils personnels ou des supports amovibles.
Stockage et élimination sécurisés nécessaires.
Conservation des données :
Conservé aussi longtemps que nécessaire pour les besoins commerciaux, réglementaires ou contractuels.
Les informations personnelles supprimées ou désidentifiées lorsqu’elles n’en ont plus besoin.
Examen annuel de la gestion des exigences de rétention.
Les données légales sont conservées conformément aux instructions du conseiller juridique.
Les infractions signalées au PDG ; peut entraîner un licenciement.
Politique de sécurité des opérations
Propriétaire de la police : Date d’entrée en vigueur du PDG : 1er mars 2024 Portée : Tous les systèmes critiques Document360 et tiers disposant d’un accès réseau.
Les contrôles clés incluent :
Gestion du changement : Tous les changements significatifs sont documentés, testés et approuvés avant le déploiement ; Les changements d’urgence nécessitent une autorisation rétroactive.
Gestion de la capacité : Des ressources surveillées et ajustées ; la capacité humaine incluse dans les évaluations annuelles des risques.
Prévention des fuites de données : Outils DLP appliqués sur la base de l’évaluation des risques ; des utilisateurs formés à la gestion des données sensibles.
Filtrage web : DNS et blocage IP pour les sites risqués ou malveillants.
Séparation de l’environnement : Le développement, la mise en scène et la production étaient strictement séparés ; Aucune donnée de production en développement/test sans approbation.
Protection contre les logiciels malveillants : Anti-malware et détection des menaces sur tous les points de terminaison et emails.
Remplaçants : Conçu et mis en œuvre pour respecter les SLA de récupération de données clients.
Journalisation et suivi : Détection active et réponse aux incidents de sécurité.
Gestion des vulnérabilités : Identification, évaluation et correction en temps opportun des vulnérabilités techniques.
Masquage des données : Les données personnelles personnelles et sensibles masquées selon l’évaluation des risques.
Politique de conservation des données
Propriétaire de la police : Date d’entrée en vigueur du PDG : 1er mars 2024 Portée : Tous les clients de Document360, qu’ils soient des projets de base de connaissances publiques et privées.
Quelles données sont collectées :
Sites publics : Aucune donnée au niveau utilisateur n’est collectée.
Projets privés : Identité utilisateur, horodatages et autres informations utilisateur disponibles dans Document360.
Comment il est utilisé : Document360 stocke toutes les invites saisies dans le chatbot IA Eddy pour :
Analyse thématique (regroupement des questions à l’aide d’algorithmes internes et d’API OpenAI)
Analyse des citations (identification des articles les plus cités)
Métriques (questions répondues vs. sans réponse, métriques de profondeur)
Conservation et suppression :
Les données sont conservées dans votre projet Document360.
Les données sont définitivement supprimées lorsque le projet de la base de connaissances est supprimé.
Les clients peuvent demander la suppression à tout moment pendant la période du contrat.
Cette politique n’est pas personnalisable par le client.
Politique d’évaluation et de gestion des risques liés à l’IA
Propriétaire de la police : Directeur principal – Data Science Date effective : 1er janvier 2025
Objectif : Établir une approche systématique pour identifier, évaluer et gérer les risques tout au long du cycle de vie d’Eddy AI.
Éléments clés :
Évaluation initiale de l’impact de l’IA : Obligatoire avant toute activité de développement. Couvre les cas d’utilisation prévus, les préjudices potentiels, la probabilité et l’impact du risque, l’identification des parties prenantes et les stratégies d’atténuation.
Surveillance continue des risques : Revues trimestrielles ; Évaluations annuelles complètes.
Seuils de tolérance au risque :
Inacceptable → Déploiement interdit
Contrôles à haute → améliorés requis
Contrôles moyens → Standard appliqués
Surveillance à faible → uniquement
Registre des risques : Documentation centralisée de tous les risques identifiés, mesures d’atténuation, risques résiduels et propriétaires.
Politique de gestion de l’équité et des biais de l’IA
Propriétaire de la police : Directeur principal – Data Science Date effective : 1er janvier 2025
Objectif : Identifiez, mesurez, atténuez et surveillez les biais dans Eddy AI afin d’assurer des résultats équitables et équitables pour tous les utilisateurs.
Types de biais pris en compte :
Type | Source |
|---|---|
Biais systémique | Trouve son origine dans des LLM tiers |
Biais computationnel/statistique | Choix de conception algorithmique ou méthodes d’échantillonnage de données |
Biais humain-cognitif | Hypothèses humaines introduites lors du développement |
Exigences de test :
Avant le déploiement :
Analyse de la représentativité du contenu (équilibre thématique, profondeur, diversité)
Test de stéréotypes (l’IA doit refuser de renforcer les stéréotypes liés à des caractéristiques protégées)
Test d’équité linguistique pour des bases de connaissances multilingues
Après le déploiement :
Mensuel : Analyse des questions sans réponse par sujet ou groupe d’utilisateurs
Trimestriel : audit complet des biais utilisant le corpus de tests mis à jour
Chaque année : Examen externe indépendant des biais et rapport de transparence publié
OWASP et bonnes pratiques en matière de sécurité
Le Open Worldwide Application Security Project (OWASP) est une organisation à but non lucratif reconnue mondialement axée sur la sécurité logicielle. Elle publie les listes « Top 10 », les vulnérabilités de sécurité les plus critiques dans divers domaines, y compris les applications web et les systèmes d’IA/LLM.
Les 10 principales menaces OWASP pour les applications LLM
Menace | Ce que cela signifie |
|---|---|
Injection prompte | Des entrées malveillantes qui tentent de manipuler ou de détourner le comportement du LLM |
Gestion de sortie non sécurisée | Échec à désinfecter les sorties des LLM, créant des vulnérabilités en aval |
Empoisonnement des données d’entraînement | Corrompre les données d’entraînement pour saboter ou contrôler le comportement du modèle |
Modèle de déni de service | Surcharge des ressources du LLM pour provoquer des interruptions ou une dégradation des performances |
Vulnérabilités de la chaîne d’approvisionnement | Risques liés aux ensembles de données, modèles ou plugins tiers |
Divulgation d’informations sensibles | Fuite involontaire de données confidentielles ou personnelles dans les résultats |
Conception de plugins non sécurisés | Plugins sans validation ou contrôle d’accès appropriés |
Autonomie excessive | Sur-pouvoir des LLM pour qu’ils prennent des mesures autonomes |
Dépendance excessive (désinformation) | Confiance aveugle dans les résultats des LLM sans validation humaine |
Vol de mannequins | Réplication ou extraction non autorisée de modèles propriétaires |
Comment l’IA Eddy répond aux principales menaces OWASP
LLM01 : Injection rapide
Toutes les entrées utilisateur sont validées avant traitement.
Le contexte est isolé des indications système.
Les instructions système sont renforcées contre les tentatives d’injection.
Eddy AI ne génère que des réponses à partir du contenu de votre base de connaissances.
API de modération utilisée pour détecter et signaler les invites malveillantes.
LLM04 : Empoisonnement des données et des modèles (Embeddings)
Document360 ne possède ni ne forme son propre LLM.
Les embeddings sont créés à l’aide d’API OpenAI ; la DPA avec OpenAI inclut des protections contre l’empoisonnement des données et des modèles.
LLM05 : Gestion incorrecte de la sortie
L’appel d’outils n’est pas utilisé dans l’architecture d’Eddy AI, réduisant ainsi la surface d’attaque de gestion des sorties.
Toutes les données sont stockées de manière sécurisée dans MongoDB conformément aux pratiques SOC 2 et RGPD.
Un chiffrement de pointe appliqué aux données au repos et en transit.
LLM08 : Faiblesses du vecteur et de l’immersion
Les embeddings sont créés exclusivement à partir du contenu de votre base de connaissances.
Les sources externes ne peuvent pas manipuler ni empoisonner les embeddings.
Lorsque le contenu de la base de connaissances est mis à jour, les embeddings sont mis à jour en conséquence.
LLM09 : Désinformation
Des instructions système strictes empêchent la génération de fausses informations.
Si le LLM ne peut pas fournir une réponse confiante, il réagit par « Je ne sais pas. »
GPT-4.1 Mini est utilisé comme modèle principal — choisi pour son taux d’hallucinations plus faible.
Suivi continu et gouvernance
Pour gérer efficacement ces risques, Ask Eddy utilise les structures de gouvernance et de surveillance suivantes :
Contrôle | Description |
|---|---|
Détection automatisée des menaces | Surveillance en temps réel qui signale des schémas d’entrée inhabituels ou des comportements suspects du modèle |
Traces d’audit | Journaux complets de toutes les interactions entrée-sortie pour l’analyse médico-légale et la conformité |
Protocoles de réponse aux incidents | Des flux de travail définis pour un confinement, une évaluation et une remédiation rapides |
Alignement de la conformité | Audits réguliers et mises à jour conformes à SOC 2 et au RGPD |
L’engagement de Document360 envers les meilleures pratiques OWASP
Document360 intègre activement les principes OWASP sur toute sa plateforme :
Développement sécurisé : Des pratiques de codage sécurisé et de validation des entrées, alignées sur les directives OWASP, sont intégrées au cycle de vie du développement.
Atténuation des vulnérabilités courantes : Les défauts d’injection, les références directes d’objets non sécurisées et d’autres risques OWASP Top 10 sont atténués grâce à l’architecture de la plateforme.
Gestion des risques spécifiques à l’IA : Le cadre LLM Top 10 d’OWASP s’appliquait à toutes les fonctionnalités alimentées par l’IA, y compris Eddy AI.
Sécurité des API : Jetons authentifiés utilisés pour tous les accès API, conformément aux contrôles recommandés par OWASP.
Infrastructures : Hébergé sur Microsoft Azure avec défense DDoS, stockage de données chiffrées, conformité SOC Type II et RGPD, ainsi qu’une surveillance continue conformément aux recommandations d’OWASP sur la journalisation et la surveillance de la sécurité.
En savoir plus sur OWASP et comment la stratégie de sécurité de Document360 s’aligne avec les meilleures pratiques
Site officiel de l’OWASP : https://owasp.org
Projet Top 10 OWASP : https://www.owasptopten.org
Aperçu de la sécurité de Document360 : https://docs.document360.com/docs/security
FAQ
Comment Document360 s’assure-t-il que mes données ne sont pas consultées ou divulguées à d’autres clients ? Quelle garantie de sécurité est approuvée ?
Document360 est conforme au SOC II et respecte les meilleures pratiques d’ingénierie des normes industrielles afin d’assurer l’isolement et la protection des données. Des mesures de sécurité robustes sont mises en place pour empêcher les accès non autorisés, garantissant que vos données restent sécurisées et inaccessibles aux autres clients. Pour plus de détails, consultez nos pratiques de sécurité.
Comment Document360 s’assure-t-il que les données clients non ciblées ne sont pas ingérées ?
Document360 respecte strictement le RGPD et la loi européenne sur l’IA. Nos processus internes et nos pratiques de gestion des données sont conçus pour s’aligner sur toutes les exigences légales et de conformité pertinentes, garantissant que seuls les éléments de données prévus et autorisés sont traités. Les données clients non ciblées sont explicitement exclues de l’ingestion.
Quels contrôles sont mis en place pour détecter et prévenir les erreurs ?
Nous enregistrons toutes les sorties et réponses générées par Eddy AI. De plus, nous sommes en train d’intégrer des outils d’observabilité LLM pour améliorer les capacités de surveillance et de prévention des erreurs.
Comment vous assurez-vous que les données sensibles ou confidentielles ne soient pas exposées à d’autres clients ?
Nous avons un DPA signé avec OpenAI stipulant que les données ne seront pas utilisées pour l’entraînement ni partagées avec d’autres. Nous sommes conformes au SOC2 Type II et au RGPD. Les données partagées avec l’IA sont limitées aux autorisations d’accès individuelles de l’utilisateur et non à l’ensemble du projet.
Comment la confidentialité de mes données est-elle maintenue, et des évaluateurs humains sont-ils impliqués dans leur traitement ?
Toutes les données du projet sont chiffrées au repos, et toutes les données envoyées au modèle d’IA sont chiffrées en transit. Nous utilisons le chiffrement AES 256 bits pour les données au repos et HTTPS avec TLS 1.2 pour les données en transit. Aucun évaluateur humain ne lit, n’annote ou ne traite pas vos données, et nous ne formons pas nos propres LLM.
Les données sont-elles anonymisées avant d’être traitées par les modèles d’IA ?
Oui, nous exécutons des processus internes pour détecter toute information personnelle identifiable (PII). Si des informations personnelles sont détectées, elles sont masquées et remplacées par des espaces réservés avant d’envoyer les données à des modèles tiers.