Extraire une donnée, l'IA locale le fait à 99 %. Repérer un événement indésirable, elle obtient au mieux 0,35 sur 1. Ces deux résultats viennent de la même étude, menée par des équipes du CHUV (Centre hospitalier universitaire vaudois), de l'Université de Lausanne et de l'EPFL, publiée en 2026 dans le Journal of Medical Internet Research et relayée par Medinside. Nous l'avons lue avec intérêt. Elle dit ce qu'un établissement peut attendre d'un petit modèle de langage, et ce qu'il doit vérifier avant de lui confier une tâche.
Que dit l'étude du CHUV sur les petits modèles de langage ?
Les chercheurs ont testé six modèles open source de 8 à 24 milliards de paramètres. Ces modèles fonctionnent dans l'infrastructure de l'hôpital, sans service cloud externe. Ils ont été évalués sur des données cliniques françaises réelles, préalablement dé-identifiées. Sept tâches au total, de l'extraction d'informations à l'aide à la décision, en passant par la traduction et la génération de texte.
Sur l'extraction d'une information simple dans de longues lettres de sortie, les meilleurs modèles atteignent un score F1 d'environ 99,8 % (Llama 3.1) et 99,7 % (Mistral Small). Le score F1 combine précision et exhaustivité, 100 % correspondant à un résultat parfait. Pour la détection des événements indésirables liés à l'immunothérapie, le meilleur résultat plafonne à 0,35 sur 1. Pour repérer les données personnelles, les meilleurs modèles de langage obtiennent 0,33 à 0,34, contre 0,94 pour un modèle spécialisé de type RoBERTa. En traduction, le modèle le moins bon a produit des hallucinations dans 55 % des cas (11 lettres sur 20). Les résumés, les notes destinées aux patients et l'aide à la décision ont été jugés de neutres à insatisfaisants par les cliniciens.
Quelles limites faut-il garder en tête ?
Les auteurs signalent eux-mêmes plusieurs limites. Certaines tâches reposent sur de petits échantillons. L'évaluation a été faite par trois ou quatre cliniciens. Les modèles ont été testés sans exemples ni outils complémentaires. Ces résultats donnent une photographie utile, ils ne tranchent pas pour tous les contextes. Leur conclusion, elle, est claire : ces petits modèles conviennent à la recherche d'information simple, et ils ne suffisent pas pour l'aide à la décision, la dé-identification, l'extraction d'événements indésirables ou la synthèse médicale. Ils recommandent une évaluation locale, cas d'usage par cas d'usage, avant tout déploiement.
Pourquoi un modèle fiable sur une tâche peut-il se tromper sur la tâche voisine ?
Parce que la fiabilité se mesure tâche par tâche. Le même type de modèle réussit presque parfaitement une extraction et plafonne à 0,35 sur une détection voisine. Une démonstration convaincante ne renseigne donc que sur la tâche démontrée.
Nous saluons cette démarche. Tester l'outil sur ses propres données avant de le déployer est une règle que chaque établissement peut appliquer à son échelle.
Comment un établissement évalue-t-il un outil d'IA sans équipe de science des données ?
En désignant une personne responsable de l'évaluation. Les équipes du CHUV disposent de compétences en science des données que tous les établissements n'ont pas. Chacun peut conduire un test à sa taille : quelques documents représentatifs de son activité, des professionnels qui relisent, des critères de réussite écrits avant le test.
Ce travail demande un référent identifié. Il choisit les usages à confier à l'outil, organise les tests avant le déploiement, puis suit les résultats dans la durée, avec la direction et les équipes.
Quelle formation ARCADIA pour préparer un référent IA ?
Chez ARCADIA, notre formation « Référent IA en établissement de santé — déployez et pilotez stratégiquement les projets dans votre établissement de santé » (14 heures) prépare un professionnel de votre structure à piloter ces choix stratégiques et le déploiement des outils.
Elle se déroule en présentiel, en intra dans votre établissement ou en inter, sans prérequis technique. Les ateliers travaillent sur vos propres cas, avec des données anonymisées ou des documents non nominatifs. Le financement s'inscrit dans le plan de formation de l'établissement, avec l'OPCO Santé ou l'ANFH selon votre statut.
Questions fréquentes
Qu'est-ce qu'un référent IA en établissement de santé ?
C'est un professionnel de l'établissement chargé de choisir les usages à confier à un outil d'IA, d'organiser les tests avant le déploiement et de suivre les résultats dans la durée, avec la direction et les équipes.
Que signifie un score F1 de 99 % ?
Le score F1 combine la précision, c'est-à-dire la part de réponses justes parmi celles données, et l'exhaustivité, c'est-à-dire la part des bonnes réponses retrouvées. Un score de 1, ou 100 %, correspond à un résultat parfait.
Un modèle open source installé dans l'hôpital est-il plus fiable ?
L'étude porte sur des modèles qui tournent dans l'infrastructure de l'hôpital, sans service cloud externe, ce qui garde les données dans l'établissement. Elle ne conclut pas à une meilleure fiabilité : les performances varient très fortement selon la tâche.
Les résultats du CHUV s'appliquent-ils à mon établissement ?
Les auteurs recommandent justement une évaluation locale par cas d'usage. Vos documents, vos pratiques et vos outils diffèrent de ceux du CHUV, et le test doit se faire sur vos propres données.
Sources
- Xu H. A. et al., « "Small" Large Language Models in the Hospital: Evaluation Study on Real-World Data in a Resource-Constrained Setting », Journal of Medical Internet Research, 2026;28:e86453 : https://www.jmir.org/2026/1/e86453
- CHUV, « Les petits modèles de langage à l'épreuve du terrain clinique au CHUV » : https://www.chuv.ch/fr/onm/liste-des-actualites/detail/news/65107-les-petits-modeles-de-langage-a-lepreuve-du-terrain-clinique-au-chuv
- Medinside (relais de l'étude, non relu pour cet article).
Vous voulez structurer l'évaluation des outils d'IA dans votre établissement ? Consultez le programme ou prenez rendez-vous.