Le NIST AI Risk Management Framework (AI RMF) est un cadre de référence (framework) publié par le NIST (National Institute of Standards and Technology, US Department of Commerce) en janvier 2023 pour aider les organisations à identifier, évaluer, gérer et réduire les risques liés aux systèmes d’IA, tout au long de leur cycle de vie.
Il s’accompagne d’un guide pratique, “AI RMF Playbook” proposant 75 principes accompagnés d’explications claires et de nombreuses suggestions pratiques de mise en œuvre opérationnelles.
Pour les équipes de test utilisant l’IA, l’AI RMF peut être mis à profit ent tant que système d’assurance qualité des risques IA : identifier ce qui peut mal se passer, définir comment le vérifier, produire des preuves, suivre les risques résiduels et déclencher des actions de maîtrise avant et après la mise en production.
Le NIST AI RMF est un cadre volontaire, conçu pour intégrer la “trustworthiness” dans la conception, le développement, l’utilisation et l’évaluation des produits, services et systèmes d’IA.
Il organise la gestion du risque autour de quatre fonctions : Govern, Map, Measure, Manage.
Le Playbook NIST propose des actions associées à ces fonctions, mais précise que ce n’est pas une checklist à appliquer mécaniquement de bout en bout.
Pour une équipe QA, cela change le centre de gravité du test : On ne teste pas seulement “Est-ce que la fonctionnalité répond ?”, mais aussi “Est-ce que le système IA reste acceptable dans son contexte d’usage réel ?”. Les critères de confiance NIST incluent notamment validité et fiabilité, sécurité, résilience, responsabilité, transparence, explicabilité, protection de la vie privée et maîtrise des biais dommageables.
Concrètement, l’équipe QA peut exploiter les 4 axes de l’AI RMF dans ses livrables de test :
Axe NIST : Govern (Gouverner)
Objectif QA opérationnel : Installer les règles de qualité et de responsabilité IA
Livrables typiques concernés : politique de test IA, RACI, critères d’acceptation des risques, modèle de validation, définition des rôles : métier, data, QA, sécurité, DPO, juridique, testeurs, managers de test.
Axe NIST : Map / Cartographier
Objectif QA opérationnel : Comprendre le système, son contexte, ses utilisateurs et ses impacts
Livrables typiques concernés : fiche système IA, cartographie des données, cas d’usage, parties prenantes, risques métier, risques utilisateurs, risques réglementaires.
Axe NIST : Measure / Mesurer
Objectif QA opérationnel : Évaluer techniquement et fonctionnellement les risques
Livrables typiques concernés : stratégie de test IA, jeux de test, métriques, seuils, tests de robustesse, biais, hallucination, dérive, sécurité, explicabilité, performance.
Axe NIST : Manage / Gérer
Objectif QA opérationnel : Décider, prioriser, corriger et surveiller
Livrables typiques concernés : registre des risques, plan d’actions, arbitrage go/no-go, surveillance post-déploiement, alertes, gestion des incidents, réévaluation périodique
En résumé : pour une équipe QA, le NIST AI RMF sert à rendre testable, traçable et pilotable la confiance dans un système IA.
En France, il peut être utilisé comme méthode interne de structuration des tests et des preuves, mais il doit être mappé avec l’AI Act, le RGPD, les recommandations CNIL et les exigences sectorielles applicables.
