MedGuard
MedGuard 如何检查健康 AI？
一份关于 MedGuard 如何检查健康 AI 输出的实用指南——从输入捕获到可见的风险信号。
操作员检查清单：MedGuard 如何检查健康 AI？
我在每个版本中都保留一个书面检查清单，用于检查这个主题。这个清单故意很枯燥：命名所有者，命名证据文档，命名回滚。如果一个步骤不能产生一个文件、一个票据或一个日志行，那么它不是一个步骤——它是一个愿望。
在更改生产环境之前
- 冻结您要测量的分支或配置修订版。 - 记录当前的故障模式，使用一个具体的输入和一个具体的输出。 - 确认作业运行的身份，并检查该身份是否可以访问不应访问的数据。 - 打开您将要引用的主要参考资料：https://commission.europa.eu/strategy-and-policy/priorities-2019-2024/europe-fit-digital-age_en，https://genai.owasp.org/llmrisk/-prompt-injection。
在运行检查时
- 更喜欢一个可复现的路径，而不是十个传闻截图。 - 在触发工具或查询之前，写下预期的安全结果。 - 捕获正在测试的确切命令、提示、模式或正则表达式——而不是一个概括。 - 如果系统可以执行操作（发送、写入、删除、转移），则需要在同一通行中要求确认边界。
完成后
- 即使扫描结果干净，也要将残余风险与所有者和日期一起存档。 - 不要将绿色检查转换为声称完整性的销售语言。 - 当模型、工具模式或验证规则更改时，请重新运行相同的检查清单。
信号 | 记录内容 | 停止发货？ 意外写入或发送 | 工具名称、参数、身份 | 是，直到被阻止 缺少对破坏性操作的确认 | 调用路径和绕过 | 是 未经信任的文本被视为指令 | 源表面和结果操作 | 是，适用于代理范围 扫描结果干净，判断开放 | 推迟的项目 + 所有者 | 仅当核心路径安全时
我如何向买家解释限制
当一个潜在客户问产品是否"涵盖一切"时，我会以这样的界限回答：自动检查可以捕捉已知模式，但新的链式和政策判断仍需要人工审查。这样的诚实可以降低支持负担，并保持博客与产品实际功能的一致性。
什么是MedGuard？
我创建MedGuard的原因是看到太多面向患者的AI工具提供未经核实的医疗准确性的建议。该产品作为一个守门员，在AI输出到达用户之前读取其输出。
当开发人员提交一个模型或聊天机器人时，MedGuard会要求提供AI显示给患者的确切文本。然后，它会对该文本运行一系列检查。
MedGuard 如何评估健康 AI
我设计了评估流程，将从原始文本到数字风险评分的过程分为一个管道。每一步都增加了一层审查，并产生了中间结果供下一步使用。
步骤 1：输入捕获
开发人员将患者面向的文本粘贴到表单字段中或上传纯文本文件。MedGuard 将字符串存储为未更改的状态，并计算哈希值，以便我们能够检测到是否提交了相同的输入。
步骤 2：声明提取
在这里，系统扫描文本以查找类似于医疗建议的语句。模式包括命令动词（使用、避免）后面跟着一个名词短语，指的是药物、补充剂、设备或程序。提取器还查找条件语言，例如“如果您有 X，那么 Y 可能有帮助。”
为了防止操纵，我参考了 OWASP 提示注入指南 https://genai.owasp.org/llmrisk/-prompt-injection，并添加了规则以忽略代码块或 markdown 注释中的文本。
步骤 3：证据查找
每个提取的声明都被发送到一个轻量级查找服务，该服务检查一组经过策划的来源：FDA 标签、NIH 临床试验注册表和主要社会指南。该服务返回一个布尔值，指示声明是否出现在至少一个具有 A 级证据评级的来源中。
步骤 4：免责声明检查
MedGuard 查找限制责任的短语，例如“这不是医疗建议”或“请咨询临床医生。”如果文本缺少任何这些短语，系统将标记缺少免责声明。免责声明的措辞不被判断为法律上的充分性；只记录其存在。
我将此检查与 NIST AI 风险管理框架 https://www.nist.gov/itl/ai-risk-management-framework 对齐，该框架建议明确地向用户传达系统限制。
步骤 5：风险评分
所需输入和格式
MedGuard 期望一个单独的 UTF‑8 编码文本文件。该文件必须仅包含人工智能显示的患者面向副本。无代码，无 HTML，无 JSON 封装。
接受的格式
- 普通.txt 文件 - 复制并粘贴到网页文本区域（最大 10 KB） - 附件以纯文本形式发送
可选元数据
您可以添加一个以 # 开头的标题行，后面跟着键值对。MedGuard 在评分时忽略这些行，但将其存储用于审计。
- # 版本：1.2.0 - # 受众：糖尿病成年人 - # 语言：en-US
什么这不是
MedGuard 是一个筛查辅助工具，而不是取代合格临床医生的审查。它不能保证每一个不安全的错误都会被捕获；一些细致的错误陈述可能会通过，如果它们类似于合法的措辞。
该工具不评估底层模型权重或训练数据。它只查看您提供的静态输出，因此一个根据上下文改变其答案的模型仍可能产生有害文本，而 MedGuard 无法看到。
MedGuard 不提供关于免责声明措辞的法律建议。它仅检查短语的存在；律师必须决定该短语是否符合当地法规。
常见问题
MedGuard 如何检查健康 AI？
它会审查健康 AI 将向用户展示的确切面向患者的文本，执行安全与证据检查，并在该消息触达用户之前返回一个可见的风险信号。
参考
- 简单语言/决策支持框架 - FTC 广告指南
尝试 MedGuard
相关阅读
- 什么是 MedGuard？ - LX AI 微 SaaS 主题矩阵
仅用于决策辅助。不构成医疗建议、诊断或 FDA 器械许可。