Rappels rapides
Après une présentation de l’AI Act, il me semble important d’identifier les impacts concrets que l’on va observer lorsque l’on travaille dans le test et la qualité!
Pour rappel l’AI Act définit 3 niveaux de risques qui définissent les éléments obligatoires à fournir:
En fonction du niveau de risque vous pouvez observer que les obligations varient énormément!
Il me semble également important de noter qu’il y a, dans l’AI Act un article spécifique (le 17) sur le « contrôle qualité » et les processus obligatoires à mettre en place.
L’AI Act a un impact direct sur le tests… Ce qui me semble tout à fait logique, les IA étant des services numériques!
L’impact de l’AI Act sur les tests: le challenge du besoin
En regardant bien l’AI Act on peut constater que beaucoup de bonnes pratiques de la qualité sont mises en avant! Ces bonnes pratiques se retrouvent obligatoires alors qu’elles peuvent être absentes dans de nombreux contextes… Mais cette absence porte souvent préjudice. Je pense notamment à l’obligation de proposer une documentation technique et de proposer une documentation pour les fournisseurs.
Au delà des bonnes pratiques il y a aussi et surtout un état d’esprit de « frugalité » à propos des IA. En tant que testeur il y a, selon moi, 3 étapes principales:
Challenger l’intérêt de l’IA pour répondre au besoin
L’IA n’est qu’un outil, pas une solution ou une fin en soi! Il est important de se le rappeler. Cet état d’esprit est d’ailleurs en adéquation avec le référentiel de l’AFNOR sur l’IA frugale.
Lorsque l’on a un besoin il faut identifier les moyens d’y répondre. L’IA est rarement l’unique solution. Ne pas implémenter l’IA lorsque cela n’est pas nécessaire (ou pas forcément plus efficace que d’autres solutions) permet alors d’éviter certaines obligations administratives.
Le testeur, et au delà, l’ensemble du processus qualité se doit d’avoir un système de challenge / revue du besoin pour définir quelle technologie utiliser. A titre personnel je trouve que cet état d’esprit (challenger un besoin) est sain et devrait se retrouver dans une grande majorité de processus qualité.
Challenger les besoins pour l’IA
L’IA peut s’avérer nécessaires dans de nombreux cas. Par contre, a t-on forcément besoin du modèle le plus puissant ?
Quel but souhaitons-nous atteindre ? Comment l’atteindre de la manière la plus efficiente ?
Avoir cette démarche est nécessaire avec l’AI Act car ne pas l’avoir c’est prendre le risque de développer des IA à haut risque ou des IA à usage général avec risque systémique alors que l’on pourrait avoir quelque chose de tout aussi efficace et pertinent avec un niveau de risque inférieur.
Sachant qu’avoir un niveau de risque inférieur signifie avoir beaucoup moins d’obligations !
Pour faire simple, les niveau de risque s’évalue par rapport à:
- le domaine du service numérique utilisant l’IA (ex: si le domaine est lié à la santé alors c’est une IA à haut risque)
- La puissance de l’IA et le volume de données nécessaires à son entrainement
Là encore on est, selon moi, sur un état d’esprit qui me semble important dans les processus qualité. État d’esprit qui colle d’ailleurs parfaitement avec l’éco-conception et la Qualité Durable.
L’impact de l’AI Act sur les tests: une IA est développée
Quand tous les challenges ont été faits et que l’on a identifié le niveau de risque minimum de notre IA il est alors nécessaire de mettre en place les processus pour répondre à la réglementation.
Voici les éléments qui me semblent les plus important à mettre en place (particulièrement pour les IA à haut risque) :
- Utiliser des checklists
Les obligations sont nombreuses. Les checklist permettent de ne rien oublier
- Avoir une documentation sur l’IA mais aussi les processus, les décisions
C’est des obligations mais aussi des bonnes pratiques!
- Test des logs (journaux automatiques) clairs
Là aussi, c’est une obligation à partir d’un certain niveau mais elle s’avère très pratique. Elle facilité un monitoring qui est de plus en plus important dans les services numériques
- Plan de test pour un système critique:
- Processus clairement défini et suivi
- Besoins de preuves
- Nombreux acteurs
- Traçabilité poussée
Les IA, surtout les IA à haut risques, sont des systèmes critiques au vu des risques potentiels. Il est donc primordial d’avoir une approche de test avec son plan de test (au sens ISTQB) qui soit celui de test de logiciels critiques!
- Anticiper les délais, avoir des templates et des personnes dédiées pour les échanges avec:
- Les autorités
- Les déployeurs et distributeurs
- Prévoir des tests tout au long du cycle de vie
- Et être capable de résoudre des anomalies de manière réactive
- Tester même si l’on n’est pas le fournisseur
Conclusion
L’AI Act pousse principalement à challenger le besoin. Le besoin en IA mais aussi les besoins pour développer et faire tour l’IA.
Au delà des besoins, lorsque l’IA est utilisée il est important d’avoir en place des processus qualité clairs, transparents et en adéquation avec les risques. De ce point de vue là l’AI Act n’invente pas grand chose mais rend obligatoires certaines bonnes pratiques en fonction d’un niveau de risque identifié.
On peut résumer grossièrement l’impact de l’AI Act avec ce schéma:
Pensez à rejoindre le groupe « Le métier du test » si vous souhaitez échanger sur le test
Merci à tous ceux qui mettent « j’aime », partagent ou commentent mes articles
N’hésitez pas à faire vos propres retours d’expérience en commentaire.
