Google a publié le 4 novembre son cadre complet d’évaluation de l’IA dans le domaine de la santé, avec une thèse centrale directe : une réponse de santé peut sembler juste sans être sûre ni utile, et l’exactitude, la sécurité et l’utilité doivent donc être notées séparément. Le livre blanc a été piloté par Sarah Montgomery-Taylor, responsable de l’évaluation clinique chez Google Health, avec les expertes de santé externes Elizabeth McGlynn et Dana Gelb Safran. Selon Google, ce cadre sert déjà à évaluer ses propres modèles, et sa publication vise à rendre la méthode transparente et à aider développeurs, chercheurs et cliniciens à construire des outils de santé fondés sur l’IA plus dignes de confiance.
Trois dimensions, trois manières différentes de tester
Le cadre commence par décomposer un cas d’usage de l’IA en santé : à qui il sert, quelle est la gravité des conséquences d’un échec, et qui l’examine. L’évaluation couvre trois domaines : l’exactitude examine le consensus médical, l’étayage par des preuves, la factualité, le raisonnement clinique et la pertinence contextuelle, avec un ancrage dans les sources pour les tâches de résumé ; la sécurité examine le préjudice qui pourrait suivre si quelqu’un agit — ou n’agit pas — sur la base d’une réponse, en pesant à la fois la gravité et la probabilité ; l’utilité examine la littératie en santé, la pertinence, l’exhaustivité et la possibilité de passer à l’action. Les méthodes de test se déclinent aussi en trois couches qui se contrôlent mutuellement : des bancs d’essai à questions fermées testent les connaissances, des évaluateurs automatiques notent selon des grilles écrites, et un examen humain par des experts étudie les scénarios à haut risque et soumet le système à des tests d’intrusion. Les trois méthodes s’appliquent à trois stades : pendant l’entraînement du modèle de base, pendant la construction du produit et après le lancement. Cette superposition signifie qu’un seul score à choix multiples dit peu de chose ; une réponse vraiment à haut risque doit avoir été vue et vérifiée par des humains pour être considérée comme validée.
Ce que le cadre ne répond pas, ce sont précisément les deux points les plus importants
D’abord, le livre blanc publie une méthode, pas des résultats : le blog de Google ne donne aucun score pour aucun modèle et ne trace aucune ligne de passage, de sorte que les lecteurs ne peuvent pas juger, à partir de cette publication, des performances réelles des modèles de Google sur les questions de santé. Ensuite, c’est la méthode de Google pour évaluer ses propres modèles — pas un audit indépendant, pas une certification, pas une approbation réglementaire ; quand d’autres organisations l’adopteront, la couverture des scénarios, la qualité des données et les normes de notation façonneront les résultats. Le rappel le plus lucide vient du cadre lui-même : quand deux médecins notent la même réponse, leurs jugements divergent couramment, ce qui signifie que « l’examen par des experts » n’est pas non plus un étalon sans erreur. Pour les utilisateurs ordinaires, la portée directe du cadre est limitée — il ne changera pas immédiatement la qualité d’une réponse de santé donnée ; sa valeur se situe du côté de l’offre : OpenAI a déjà travaillé avec plus de 80 experts en santé mentale pour publier le banc d’essai ouvert MentalHealthBench, qui mesure spécifiquement les conversations d’IA sur la santé mentale ; ensemble, les deux démarches transforment la question « l’IA de santé est-elle bonne ? » d’une réputation vague en éléments vérifiables et contrôlables. Ce qu’il faut surveiller ensuite, c’est si des tiers ou des régulateurs adoptent un cadre similaire et publient des résultats mesurés — c’est seulement alors que les utilisateurs ordinaires pourront utiliser une IA de santé qui a vraiment été vérifiée.
