MIT 팀은 AI 모델에 아직 알지 못했던 것을 가르칩니다.
인공지능(AI)의 적용은 빠르게 확대되어 일상생활과 의료, 통신, 에너지와 같은 고위험 산업에 점점 더 깊이 스며들고 있습니다. 그러나 큰 힘에는 큰 책임이 따릅니다. AI 시스템은 때때로 오류를 범하거나 중대한 결과를 초래할 수 있는 불확실한 답변을 제공하기도 합니다.
MIT의 Themis AI는 CSAIL 연구소의 다니엘라 루스 교수 등이 공동 설립하고 이끄는 획기적인 해결책을 제시합니다. 이 기술은 AI 모델이 '자신이 모르는 것'을 알 수 있게 합니다. 즉, AI 시스템이 자신의 예측에 대해 불확실할 때 이를 스스로 표시하여 피해가 발생하기 전에 오류를 방지할 수 있다는 뜻입니다.
왜 이것이 중요한가요?
많은 AI 모델, 심지어 고급 모델도 때때로 이른바 '환각(hallucination)'을 보일 수 있습니다 — 근거 없는 잘못된 답변을 내놓는 경우입니다. 의료 진단이나 자율주행과 같이 결정이 중대한 영향을 미치는 분야에서는 이러한 현상이 치명적일 수 있습니다. Themis AI는 Capsa라는 플랫폼을 개발하여 불확실성 정량화(uncertainty quantification)를 적용합니다. 이는 AI 출력의 불확실성을 상세하고 신뢰성 있게 측정하고 수치화하는 방법입니다.
어떻게 작동하나요?
모델에 불확실성 인식을 가르치면 출력에 위험도나 신뢰도 라벨을 붙일 수 있습니다. 예를 들어 자율주행차는 특정 상황에 대해 자신이 확실하지 않다고 표시하고 인간의 개입을 요청할 수 있습니다. 이는 안전성을 높일 뿐만 아니라 사용자들의 AI 시스템에 대한 신뢰를 증진합니다.
- PyTorch와 통합할 때 모델 래핑은 다음을 통해 이루어집니다
capsa_torch.wrapper()출력은 예측과 위험을 모두 포함합니다:
NetCare와 그 고객에게 이 기술은 엄청난 도약을 의미합니다. 우리는 지능적일 뿐만 아니라 안전하고 환각(hallucination) 발생 가능성이 낮아 더 예측 가능한 AI 애플리케이션을 제공할 수 있습니다. 이는 조직이 더 근거 있는 의사결정을 내리고, 업무상 중요한 애플리케이션에 AI를 도입할 때의 위험을 줄이는 데 도움을 줍니다.
결론
MIT 팀 이는 AI의 미래가 단순히 더 똑똑해지는 것뿐만 아니라 더 안전하고 공정하게 작동하는 데 있음을 보여줍니다. NetCare는 AI가 자신의 한계에 대해 투명할 때 비로소 진정한 가치를 발휘한다고 믿습니다. Capsa와 같은 고급 불확실성 정량화 도구를 통해 귀사도 그 비전을 실제로 구현할 수 있습니다.
