인공지능(AI)의 적용은 빠르게 성장하고 있으며 일상 생활과 의료, 통신, 에너지와 같은 고위험 산업에 점점 더 깊이 얽혀 있습니다. 그러나 큰 힘에는 큰 책임이 따릅니다: AI 시스템은 때때로 오류를 범하거나 불확실한 답변을 제공하여 큰 영향을 미칠 수 있습니다.
왜 이것이 이렇게 중요한가요?
많은 AI 모델, 심지어 고급 모델도 때때로 이른바 ‘환각’ 현상을 보일 수 있습니다—잘못되거나 근거 없는 답변을 제공합니다. 의료 진단이나 자율 주행과 같이 결정이 중요한 분야에서는 이는 재앙적인 결과를 초래할 수 있습니다. Themis AI는 불확실성 정량화(Uncertainty Quantification)를 적용하는 플랫폼인 Capsa를 개발했습니다: 이는 AI 출력의 불확실성을 상세하고 신뢰할 수 있게 측정하고 정량화합니다.
어떻게 작동하나요?
모델에 불확실성 인식을 부여하면 출력에 위험 또는 신뢰도 라벨을 붙일 수 있습니다. 예를 들어, 자율 주행 자동차가 상황에 대해 확신이 없음을 표시하고 인간 개입을 활성화할 수 있습니다. 이는 안전성을 높일 뿐만 아니라 AI 시스템에 대한 사용자 신뢰도 향상시킵니다.
capsa_torch.wrapper() 출력은 예측과 위험을 모두 포함합니다:
결론
MIT 팀 NetCare는 AI가 자신의 한계에 대해 투명할 때 비로소 진정한 가치를 발휘한다고 믿습니다. Capsa와 같은 고급 불확실성 정량화 도구를 사용하면 이 비전을 실제로 구현할 수 있습니다.