MIT 팀, AI 모델에 아직 알지 못하는 것을 교육하다.
인공지능(AI)의 활용이 급속도로 성장하며 우리의 일상생활 및 의료, 텔레콤, 에너지와 같은 고위험 산업에 점점 더 깊이 스며들고 있습니다. 그러나 큰 힘에는 큰 책임이 따르는 법입니다. AI 시스템은 때때로 오류를 범하거나 큰 결과를 초래할 수 있는 불확실한 답변을 내놓기도 합니다.
이것이 왜 그토록 중요할까요?
고도화된 모델을 포함한 많은 AI 모델은 때때로 소위 '환각(hallucination)' 현상을 보이며 잘못되거나 근거 없는 답변을 제공합니다. 의료 진단이나 자율주행과 같이 의사결정의 무게가 큰 분야에서는 이것이 치명적인 결과로 이어질 수 있습니다. 테미스 AI(Themis AI)는 불확실성 정량화(uncertainty quantification)를 적용하는 플랫폼인 캡사(Capsa)를 개발하여, AI 출력의 불확실성을 세밀하고 신뢰할 수 있는 방식으로 측정하고 정량화합니다.
어떻게 작동하나요?
모델에 불확실성 인식(uncertainty awareness) 능력을 부여함으로써, 결과물에 위험 또는 신뢰도 레이블을 지정할 수 있습니다. 예를 들어, 자율주행차는 특정 상황에 대해 확실하지 않음을 감지하고 이에 따라 운전자의 개입을 유도할 수 있습니다. 이는 안전성을 높일 뿐만 아니라 AI 시스템에 대한 사용자의 신뢰도 또한 향상시킵니다.
- PyTorch와의 통합 시 모델 래핑(wrapping)은 다음을 통해 이루어집니다.
capsa_torch.wrapper()출력 결과가 예측값과 위험도로 동시에 구성되는 방식:
넷케어와 고객에게 이 기술은 엄청난 도약을 의미합니다. 당사는 지능적일 뿐만 아니라 안전하고 예측 가능성이 높으며 환각 현상의 가능성이 적은 AI 솔루션을 제공할 수 있습니다. 이는 조직이 더 타당한 의사결정을 내리고 비즈니스 크리티컬 애플리케이션에 AI를 도입할 때 리스크를 줄이는 데 도움을 줍니다.
결론
MIT 팀 연구진은 AI의 미래가 단순히 똑똑해지는 것뿐만 아니라, 무엇보다 더 안전하고 공정하게 작동하는 것에 달려 있음을 보여줍니다. 넷케어(NetCare)는 AI가 자신의 한계에 대해 투명할 때 비로소 진정한 가치를 지니게 된다고 믿습니다. 캡사(Capsa)와 같은 고도화된 불확실성 정량화 도구를 통해 여러분도 이러한 비전을 실제로 구현할 수 있습니다.
