Sommaire
Pourquoi raisonner en cycle de vie
La plupart des incidents liés à l'IA ne viennent pas d'un mauvais algorithme au départ, mais d'un système qui dérive après sa mise en production : des données qui changent, un usage qui s'élargit, une surveillance qui s'arrête. Gouverner l'IA, c'est contrôler chaque étape, pas seulement le lancement.
Les étapes et leurs contrôles
| Étape | Question clé | Contrôle ISO/IEC 42001 | Point d'attention loi 09-08 |
|---|---|---|---|
| Conception initiale | Pourquoi ce système, et est-il faisable ? | Exigences et spécifications documentées (A.6.2.2), analyse d'impact (A.5) | Finalité déterminée et légitime (article 3) |
| Données | Quelles données, d'où viennent-elles, sont-elles de qualité ? | Acquisition, qualité, provenance, préparation (A.7) | Base légale (article 4), données proportionnées, formalité CNDP |
| Conception et développement | Quels choix techniques, quelles menaces ? | Documentation de conception (A.6.2.3) | Sécurité des traitements (article 23) |
| Vérification et validation | Le système fait-il ce qu'on attend, sans effet indésirable ? | Mesures et critères de vérification et de validation (A.6.2.4) | Tests sur données fictives ou pseudonymisées |
| Déploiement | Les conditions sont-elles réunies pour la mise en production ? | Plan de déploiement (A.6.2.5), documentation pour les utilisateurs (A.8.2) | Information des personnes (article 5) |
| Exploitation et surveillance | Le système reste-t-il performant et sûr ? | Surveillance, maintenance, journalisation (A.6.2.6, A.6.2.8) | Pas de décision fondée sur le seul traitement automatisé (article 11) |
| Réévaluation | Les conditions ont-elles changé ? | Revue des risques et des impacts | Nouvelle finalité : nouvelle formalité |
| Retrait | Comment arrêter proprement ? | Documentation du retrait | Suppression des données selon la durée de conservation |
La conception : documenter les choix
ISO/IEC 42001 demande de documenter les choix de conception : approche d'apprentissage, type de modèle, données d'entraînement, évaluation, interface, interaction avec les humains. Elle cite aussi des menaces propres à l'IA à prendre en compte dès cette étape : l'empoisonnement des données, le vol de modèle et l'inversion de modèle, qui permet de retrouver des données d'entraînement à partir des réponses du système.
La validation : tester dans le contexte réel
Les données de test doivent représenter le domaine d'usage réel. Pour un système destiné au Maroc, cela signifie tester avec des cas en français, en arabe et en darija, et sur des profils de clients variés. Les critères de mise en production doivent être fixés avant les tests, pas après.
L'exploitation : surveiller la dérive
Un système d'IA vieillit : les comportements des clients changent, les produits évoluent, les données d'entrée se transforment. La surveillance doit suivre la performance, les réclamations, les écarts de traitement entre groupes de clients, et déclencher une revalidation quand un seuil est franchi. La journalisation des événements doit être activée au minimum pendant toute la durée d'utilisation du système.
Le fournisseur externe ne transfère pas la responsabilité
Si le système est acheté à un éditeur, les étapes existent quand même. ISO/IEC 42001 demande de répartir clairement les responsabilités entre l'organisation, ses fournisseurs et ses clients (A.10). Exigez de l'éditeur la documentation technique, les résultats de tests et les conditions d'usage prévues.
Checklist pratique
- Un responsable désigné pour chaque système d'IA en production.
- Une fiche par système : finalité, données, modèle, risques, mesures.
- Des critères de mise en production fixés avant les tests.
- Une surveillance avec seuils d'alerte et revalidation.
- Une procédure de retrait incluant la suppression des données.
À lire aussi
- 4 min de lecture
- 4 min de lecture
- 4 min de lecture
- 8 min de lecture
Questions fréquentes
Quelles sont les étapes du cycle de vie d'un système d'IA ?
Le modèle générique d'ISO/IEC 22989 comprend la conception initiale, la conception et le développement, la vérification et la validation, le déploiement, l'exploitation et la surveillance, la revalidation continue, la réévaluation et le retrait.
Faut-il gérer le cycle de vie d'un outil d'IA acheté à un éditeur ?
Oui. L'organisation qui utilise le système reste responsable de son usage. Elle doit obtenir de l'éditeur la documentation nécessaire et répartir clairement les responsabilités par contrat.
Qu'est-ce que l'inversion de modèle ?
C'est une attaque qui consiste à interroger un système d'IA pour reconstituer des informations sur les données qui ont servi à l'entraîner. ISO/IEC 42001 la cite parmi les menaces propres à l'IA à prendre en compte dès la conception.
Information générale, pas un avis juridique.
Signaler une erreurRéférences (4)
- ISO/IEC 42001:2023 — Information technology — Artificial intelligence — Management system. (nouvel onglet)
- ISO/IEC 22989:2022 — Artificial intelligence concepts and terminology. (nouvel onglet)
- ISO/IEC 5338:2023 — Artificial intelligence — AI system life cycle processes.
- Loi n° 09-08 relative à la protection des personnes physiques à l'égard du traitement des données à caractère personnel (Dahir n° 1-09-15 du 18 février 2009), notamment articles 4, 11, 43 et 44. (nouvel onglet)