Qu'est-ce que MedGuard ?

Pourquoi une couche de sécurité pour l'IA orientée patient

L'IA destinée aux patients peut donner des réponses confiantes et fluides qui restent fausses ou dangereuses. Une couche de sécurité les intercepte avant qu'elles n'atteignent la personne, transformant un risque silencieux en un signal visible et vérifiable.

Fonctionnement de MedGuard

Ingestion de règles

Je collecte des règles de sécurité à partir de sources fiables telles que des bases de données d'interactions médicamenteuses, des lignes directrices cliniques et des conseils réglementaires. Chaque règle est exprimée sous forme de motif simple : par exemple, « si le texte mentionne 'warfarin' et mentionne également 'aspirine' sans mentionner 'surveillance de l'INR', signaler ». Je stocke ces motifs dans un fichier JSON que le service charge au démarrage.

Validation en temps réel

Lorsque l'IA renvoie une réponse, le service divise le texte en phrases et exécute chaque phrase à travers l'outil de correspondance de motifs. L'outil utilise des expressions régulières précompilées, donc l'évaluation prend quelques millisecondes par phrase. Je garde l'outil sans état, donc plusieurs requêtes peuvent être traitées en parallèle.

Signalement et blocage

Si une phrase correspond à une règle, le service crée un objet de signal qui inclut l'ID de règle, la phrase correspondante et une action suggérée. L'interface utilisateur peut choisir d'afficher le signal à côté du texte d'origine, de remplacer la phrase par un espace réservé sécurisé ou de bloquer l'ensemble du message et d'afficher un avertissement de secours. Je consigne chaque signal pour un audit ultérieur. Les agents tels que peuvent également être utilisés avec MedGuard, comme décrit dans.

Composants principaux

Moteur de règles

Le moteur de règles est au cœur de MedGuard. Il charge les fichiers de règles, compile les modèles et fournit une API simple : évaluer(texte) -> liste de drapeaux. Je l'ai écrit en Python car l'écosystème offre de bonnes performances de regex et un conditionnement facile.

Enveloppeur d'API

Autour du moteur de règles, j'ai construit une fine enveloppe HTTP qui accepte des charges utiles JSON avec la réponse de l'IA et renvoie du JSON avec des drapeaux ou une version nettoyée. L'enveloppe impose une taille de demande maximale de 64 Ko pour éviter les abus.

Kit d'intégration de l'interface utilisateur

Pour aider les développeurs à ajouter MedGuard à leurs applications, je fournisse un petit extrait de code JavaScript qui intercepte les appels de récupération à l'endpoint de l'IA, envoie la réponse à l'API MedGuard et met à jour le DOM en fonction des drapeaux renvoyés. L'extrait de code est inférieur à 5 Ko gzip.

Composant | Responsabilité Moteur de règles | Charge, compile, correspond aux modèles de sécurité Enveloppeur d'API | Gère HTTP, impose des limites, renvoie des drapeaux Kit d'interface utilisateur | Appelle l'API, affiche des avertissements, permet des substitutions

Sources de règles de sécurité

Je sélectionne des règles à partir de trois catégories principales :

- Sécurité des médicaments : étiquettes d'informations de prescription approuvées par la FDA, en mettant l'accent sur les limites de dosage, les contre-indications et la surveillance requise. - Lignes directrices spécifiques à une affection : lignes directrices de sociétés professionnelles (par exemple, l'American Heart Association pour les douleurs thoraciques, l'American Diabetes Association pour l'hypoglycémie). - Avis réglementaires : alertes des agences telles que les CDC ou l'OMS sur les risques émergents.

Chaque règle est écrite sous la forme d'un modèle de texte brut qui peut être évalué avec des expressions régulières. Par exemple, une règle pour l'utilisation d'AINS chez les patients atteints de maladie rénale pourrait ressembler à ceci : « si le texte mentionne 'ibuprofène' et mentionne également 'créatinine > 1,5' sans mentionner 'ajustement de dose', signaler ».

Je conserve l'ensemble de règles dans un référentiel Git afin que tout changement puisse être examiné et annulé si nécessaire. Le numéro de version est inclus dans chaque réponse de l'API afin que les systèmes en aval connaissent l'ensemble de règles appliqué.

Ce que cela n'est pas

MedGuard ne promet pas de détecter toutes les suggestions dangereuses possibles. L'approche basée sur des règles peut manquer des formulations nouvelles ou des dangers dépendants du contexte qui ne sont pas capturés dans l'ensemble de règles actuel. Je ne prétends pas avoir une couverture de 100 %, et je conseille aux cliniciens de traiter la sortie comme un outil d'aide à la décision, et non comme un remplacement du jugement professionnel.

Il ne s'agit pas d'un outil de diagnostic. Le système n'essaie pas de déduire l'état d'un patient ou de recommander un plan de traitement ; il ne vérifie que le texte généré par l'IA contre des modèles de sécurité connus.

Il ne remplace pas la nécessité pour un clinicien qualifié d'examiner les messages à haut risque. Si un drapeau apparaît, le clinicien devrait toujours évaluer la situation et prendre la décision finale.

Questions fréquentes

Comment MedGuard vérifie-t-il l'IA de santé ?

Il examine le texte exact destiné aux patients qu'une IA de santé afficherait, effectue des contrôles de sécurité et de preuve, et renvoie un signal de risque visible avant que le message n'atteigne la personne.

Références

- Langage clair / encadrement de la prise de décision - Directives publicitaires de la FTC

Essayez MedGuard

Lectures associées

- Comment MedGuard vérifie-t-il l'IA de santé? - La matrice de sujets LX AI Micro-SaaS