人工智能(AI)的应用正在迅速增长,并日益融入我们的日常生活以及医疗保健、电信和能源等高风险行业。然而,能力越大,责任也越大:AI系统有时会出错或给出不确定的答案,这可能带来严重后果。
麻省理工学院的Themis AI,由CSAIL实验室的Daniela Rus教授共同创立并领导,提供了一个开创性的解决方案。他们的技术使AI模型能够“知道自己不知道什么”。这意味着AI系统可以自行指出何时对其预测不确定,从而在错误造成损害之前进行预防。
为什么这如此重要?
许多AI模型,即使是先进的模型,有时也会出现所谓的“幻觉”——它们给出错误或没有根据的答案。在决策至关重要的领域,如医疗诊断或自动驾驶,这可能导致灾难性后果。Themis AI开发了Capsa,一个应用不确定性量化(uncertainty quantification)的平台:它以详细可靠的方式测量和量化AI输出的不确定性。
它是如何工作的?
通过赋予模型不确定性感知能力,它们可以为输出提供风险或可靠性标签。例如:一辆自动驾驶汽车可以指出它对某种情况不确定,因此激活人工干预。这不仅提高了安全性,也增加了用户对AI系统的信任。
capsa_torch.wrapper()
进行封装,输出包括预测和风险:
结论
麻省理工学院的团队表明,AI的未来不仅在于变得更智能,更在于更安全、更公平地运行。在NetCare,我们相信AI只有在对其自身局限性透明时才能真正发挥价值。借助Capsa等先进的不确定性量化工具,您也可以将这一愿景付诸实践。