由MedGuard
什么是MedGuard?
MedGuard 是一层安全屏障,在患者看到之前,对面向患者的 AI 输出进行筛查,识别不安全的医疗建议。
为什么需要为面向患者的AI添加安全层
面向患者的 AI 可能给出自信、流畅但错误甚至危险的回答。安全层会在这些内容触达用户之前将其拦截,把隐性风险转化为可见、可复核的标记。
MedGuard 的工作原理
规则摄取
我从可靠的来源(如药物相互作用数据库、临床指南和监管建议)收集安全规则。每个规则都用一个简单的模式来表示:例如,“如果文本提到‘华法林’并且也提到‘阿司匹林’,但没有提到‘INR 监测’,则标记”。我将这些模式存储在一个 JSON 文件中,该文件在服务启动时加载。
实时验证
当 AI 返回响应时,服务将文本分割成句子,并将每个句子传递给模式匹配器。匹配器使用预编译的正则表达式,因此评估每个句子只需几毫秒。我保持匹配器无状态,因此可以并行处理多个请求。
标记和阻塞
如果任何句子匹配规则,服务创建一个标记对象,包括规则 ID、匹配的句子和建议的操作。UI 可以选择在原始文本旁边显示标记、用安全占位符替换句子或阻塞整个消息并显示回退警告。我记录每个标记以便稍后进行审计。
核心组件
规则引擎
规则引擎是MedGuard的核心。它加载规则文件,编译模式,并提供一个简单的API:evaluate(text)-> 标志列表。我使用Python编写了它,因为Python的生态系统提供了良好的正则表达式性能和易于打包的功能。
API包装器
在规则引擎周围,我构建了一个薄的HTTP包装器,接受包含AI响应的JSON有效载荷,并返回包含标志或清理版本的JSON。包装器强制执行最大请求大小64 KB,以避免滥用。
UI集成工具包
为了帮助开发人员将MedGuard添加到他们的应用程序中,我提供了一个小的JavaScript代码段,拦截AI端点的fetch调用,将响应发送到MedGuard API,并根据返回的标志更新DOM。代码段在5 KB gzip下。
组件 | 责任 规则引擎 | 加载、编译、匹配安全模式 API包装器 | 处理HTTP、强制执行限制、返回标志 UI工具包 | 调用API、显示警告、允许覆盖
安全规则来源
我从三个主要类别中整理规则:
- 药物安全:FDA批准的处方信息标签,重点关注剂量限制、禁忌症和必需的监测。 - 特定病况指南:专业学会的指南(例如,美国心脏协会针对胸痛,美国糖尿病协会针对低血糖)。 - 监管建议:CDC或WHO等机构关于新兴风险的警报。
每个规则都以可以使用正则表达式评估的纯文本模式写成。例如,关于肾脏疾病患者使用NSAID的规则可能如下所示:'如果文本提到“布洛芬”并且也提到“肌酸酐>1.5”而没有提到“剂量调整”,则标记。'
什么这不是
MedGuard 不承诺捕获每一个可能的不安全建议。基于规则的方法可能会错过新颖的措辞或依赖上下文的危险,这些危险在当前的规则集中没有被捕获。我不声称100%的覆盖率,我建议临床医生将输出视为决策支持工具,而不是专业判断的替代品。
它不是一个诊断工具。该系统不尝试推断患者的病情或推荐治疗计划;它只检查AI生成的文本与已知的安全模式。
它不替代合格的临床医生审查高风险消息的需要。如果出现标志,临床医生仍应评估情况并做出最终决定。
常见问题
MedGuard 如何检查健康 AI?
它会审查健康 AI 将向用户展示的确切面向患者的文本,执行安全与证据检查,并在该消息触达用户之前返回一个可见的风险信号。
参考资料
- 简单语言/决策支持框架 - FTC 广告指导
尝试 MedGuard
相关阅读
- MedGuard 如何检查健康 AI? - LX AI 微 SaaS 主题矩阵
仅用于决策辅助。不构成医疗建议、诊断或 FDA 器械许可。