Aller au contenu

Conception

Exactitude & robustesse : ce qu’exigent les réglementations de l’IA

Tests, TEVV, red teaming, sûreté de fonctionnement.

23 exigences · 11 réglementations · 9 vérifications

Exigences par réglementation

EUAI Act2

EX-009

Exactitude, robustesse et cybersécurité Art. 15

EX-032

Obligations GPAI à risque systémique Art. 55

UKUK principles1

UK-01

Sûreté, sécurité et robustesse Principe 1

EUDORA1

DORA-24

Tests de résilience opérationnelle, TLPT pour les entités significatives Art. 24-27

EUPLD1

PLD-07

Défectuosité : autoapprentissage, cybersécurité, mises à jour Art. 7

USNIST AI RMF11

GOVERN-4.1

Des politiques et pratiques organisationnelles sont en place pour favoriser un esprit critique et une culture de la sécurité avant tout dans la conception, le développement, le déploiement et les usages des systèmes d'IA, afin de minimiser les impacts négatifs potentiels. GOVERN

GOVERN-4.3

Des pratiques organisationnelles sont en place pour permettre les tests d'IA, l'identification des incidents et le partage d'information. GOVERN

MAP-2.3

Les considérations d'intégrité scientifique et de TEVV sont identifiées et documentées, y compris celles relatives à la conception expérimentale, à la collecte et à la sélection des données (p. ex. disponibilité, représentativité, adéquation), à la fiabilité du système et à la validation des construits. MAP

MEASURE-1.3

Des experts internes n'ayant pas participé au développement de première ligne du système et/ou des évaluateurs indépendants sont associés aux évaluations et mises à jour régulières. Des experts du domaine, des utilisateurs, des acteurs de l'IA extérieurs à l'équipe ayant développé ou déployé le système, ainsi que les communautés concernées, sont consultés à l'appui des évaluations, selon les besoins et la tolérance au risque de l'organisation. MEASURE

MEASURE-2.1

Les jeux de test, les métriques et les détails relatifs aux outils utilisés lors du TEVV sont documentés. MEASURE

MEASURE-2.3

Les critères de performance ou d'assurance du système d'IA sont mesurés qualitativement ou quantitativement et démontrés pour des conditions similaires au(x) cadre(s) de déploiement. Les mesures sont documentées. MEASURE

MEASURE-2.5

Il est démontré que le système d'IA à déployer est valide et fiable. Les limites de généralisation au-delà des conditions dans lesquelles la technologie a été développée sont documentées. MEASURE

MEASURE-2.6

Le système d'IA est évalué régulièrement au regard des risques de sécurité (safety) – tels qu'identifiés dans la fonction map. Il est démontré que le système à déployer est sûr, que son risque négatif résiduel n'excède pas la tolérance au risque et qu'il peut défaillir de manière sûre, en particulier s'il est amené à fonctionner au-delà de ses limites de connaissance. Les métriques de sécurité reflètent la fiabilité et la robustesse du système, la surveillance en temps réel et les temps de réponse en cas de défaillance. MEASURE

MEASURE-2.13

L'efficacité des métriques et processus TEVV employés dans la fonction measure est évaluée et documentée. MEASURE

MEASURE-4.2

Les résultats de mesure relatifs à la fiabilité du système d'IA dans le(s) contexte(s) de déploiement et tout au long du cycle de vie de l'IA sont éclairés par les contributions d'experts du domaine et d'acteurs pertinents de l'IA afin de valider que le système fonctionne de manière constante et conforme aux intentions. Les résultats sont documentés. MEASURE

MEASURE-4.3

Les améliorations ou dégradations mesurables de performance, fondées sur les consultations avec les acteurs pertinents de l'IA, y compris les communautés concernées, et sur les données de terrain relatives aux risques pertinents du contexte et aux caractéristiques de fiabilité, sont identifiées et documentées. MEASURE

USUS federal1

USF-03

Pratiques minimales pour l'IA à fort impact : tests, analyse d'impact, supervision, suivi, recours M-25-21 §4

CANCanada1

CAN-02

Assurance qualité, tests de biais et intervention humaine selon le niveau DADM §6.3

BRPL 23382

BR-09

Documentation de l'utilisateur (aplicador) Art. 18 I.a, I.c, I.f

BR-13

Surveillance des résultats Art. 18 I.b

CNChina GenAI1

CN-02

Évaluation de sécurité avant lancement public IAG Art. 17

INTLISO 420011

ISO-A.6

Cycle de vie : conception, vérification, déploiement, exploitation, journaux A.6

INTLOECD AI1

OECD-1.4

Robustesse, sécurité et sûreté 1.4

Vérifications de ce thème

Les plus partagées en premier

Code	Vérification	Utilisée par
VER-009-02	Précision et robustesse vérifiées et documentées	AI Act PL 2338 China GenAI NIST AI RMF PLD UK principles
CHK-TEVV	Le plan TEVV, les jeux de test, les métriques et les considérations relatives aux données sont documentés	Canada ISO 42001 NIST AI RMF US federal
VER-AUTO-05	Surveillance de la précision en opération	AI Act PL 2338 NIST AI RMF
VER-009-F-04	Résistance aux attaques adversariales testée	AI Act CRA DORA
CHK-SAFETY	Les risques de sécurité (safety) sont évalués et la défaillance sûre est démontrée	NIST AI RMF OECD AI
VER-032-G-01	Évaluation du modèle avec protocoles normalisés et tests contradictoires	AI Act
CHK-EFFECTIVE-CHALLENGE	Des pratiques d'effective challenge, de red team ou de trois lignes de défense sont en place	NIST AI RMF
CHK-TESTING-ENABLE	Les pratiques organisationnelles permettent les tests d'IA et l'identification des limites	NIST AI RMF
CHK-INDEP-ASSESS	Une évaluation indépendante ou par des experts internes associe des experts du domaine et les communautés concernées	NIST AI RMF

Thèmes voisins

Gouvernance des données Documentation technique Journalisation & traçabilité Cybersécurité Impact environnemental

Pilotez ces exigences sur tous vos systèmes d’IA

TrustFlow inventorie vos systèmes, les qualifie pour chaque réglementation et collecte les preuves une seule fois pour tous les référentiels.

Demander une démo