MIT团队教AI模型识别它们之前不知道的内容。
人工智能（AI）的应用正在快速增长，并逐渐融入我们的日常生活以及医疗、通信和能源等高风险行业。但强大的能力也伴随重大责任：AI系统有时会出错或给出不确定的回答，这可能导致严重后果。
麻省理工学院的Themis AI，由CSAIL实验室的Daniela Rus教授共同创立并领导，提供了一种突破性的解决方案。他们的技术使AI模型能够“知道自己不知道”的情况。这意味着AI系统可以在对其预测感到不确定时主动指出，从而在造成损害之前防止错误发生。
这为什么如此重要？
许多AI模型，即便是先进模型，有时也会出现所谓的“幻觉”——给出错误或没有依据的答案。在决策影响重大的领域，如医学诊断或自动驾驶，这可能产生灾难性后果。Themis AI开发了Capsa平台，应用不确定性量化（uncertainty quantification）：以详细且可靠的方式测量并量化AI输出的不确定性。
它是如何工作的？
通过让模型具备不确定性感知（uncertainty awareness），它们可以为输出提供风险或置信度标签。例如：一辆自动驾驶汽车可以指出它对某种情形不确定，从而触发人工干预。这不仅提升了安全性，也增强了用户对AI系统的信任。
技术实现示例
- 在与PyTorch集成时，通过对模型进行包装（wrapping）来实现，
capsa_torch.wrapper()输出由预测结果和风险值两部分组成：
对于 TensorFlow 模型，Capsa 使用装饰器：
对企业和用户的影响
对于NetCare及其客户而言，这项技术是巨大的进步。我们能够交付不仅智能且更安全、更可预测、且更少出现幻觉的AI应用。这有助于组织在将AI引入关键业务应用时做出更有依据的决策并降低风险。
对于NetCare及其客户而言，这项技术是巨大的进步。我们能够交付不仅智能且更安全、更可预测、且更少出现幻觉的AI应用。这有助于组织在将AI引入关键业务应用时做出更有依据的决策并降低风险。
结论
麻省理工学院 团队 表明AI的未来不仅在于变得更聪明，更重要的是变得更安全和更公平。NetCare认为，只有当AI对自身局限性保持透明时，它才能真正创造价值。借助像Capsa这样的先进不确定性量化工具，您也可以将这一愿景付诸实践。
