의약품 데이터 및 AI 헬스케어 솔루션 전문기업 원스글로벌(대표 박경하)은  AI 임상의사결정지원솔루션 ‘Dr.DI(닥터디아이)’가 처방 맥락까지 반영해 의료진의 임상 의사결정을 돕는 근거 기반 성능에 대해 가천대학교 연구진 기술 성능평가를 통해 검증받았다고 밝혔다. 이번 검증은 검증되지 않은 정보를 사실처럼 생성하는 생성형 AI의 ‘환각(Hallucination)’ 문제를 설계 단계에서부터 최소화한 Dr.DI 신뢰성을 객관적인 수치로 입증했다는 점에서 의미가 크다.

가천대학교 연구진의 이번 평가는 AI 시스템의 품질 특성에 관한 국제표준 ISO/IEC 25059 체계를 상위 프레임워크로 참조해 수행됐다. 검색과 생성 단계를 분리하는 RAG(검색증강생성) 구조 특성을 반영해 검색 정확도, 답변 충실도, 답변 관련성, 견고성 네 가지 차원에서 의약품 허가정보를 효능효과·용법용량·주의사항·상호작용·부작용 등 섹션별로 나눠 정밀 측정했으며, 모든 항목은 통계적 신뢰도 기준(신뢰수준 95%)을 충족하는 표본으로 검증됐다.

평가 결과 사용자 질문에 맞는 근거 원문을 정확히 찾아내는 검색 정확도는 전체 0.92를 기록했으며, 주요 의약정보 섹션에서는 0.89 이상으로 안정적인 성능을 보였다. 

생성된 답변이 질문 의도에 부합하는지를 서로 다른 3개 대형언어모델(LLM)이 교차 채점한 답변 관련성은 5점 만점에 4.87~4.97점(통과율 95% 이상)으로 나타났고, 답변이 원문 근거에 충실한 정도를 보는 의미적 충실도 역시 전 섹션에서 일관되게 높은 수준을 유지했다.

의약품 정보는 오답이나 누락이 사용자 안전에 직결되는 고위험 영역인 만큼, 안전성 검증에서도 우수한 결과가 확인됐다. 의약품과 무관한 ‘범위 외 질문’에 대한 안전 응답률은 98.2%, 잘못된 전제가 포함된 ‘오정보 질문’에 대한 안전 응답률은 94.5%로, Dr.DI가 답을 지어내는 대신 무관한 질의는 안전하게 안내하고 틀린 전제는 바로잡거나 경고하는 방식으로 일관되게 대응하는 것으로 나타났다. 

실사용 환경에 대한 견고성도 입증됐다. 사용자가 약품명을 정확히 모르거나 오탈자를 포함해 질문하는 상황을 가정한 평가에서 오탈자가 섞인 질문에도 충실도 하락폭은 0.01 미만으로 정상 질문과 사실상 동등한 성능을 유지했다. 특히 이번 평가는 사람의 개입 없이 전 과정을 자동화한 ‘휴먼-프리(human-free)’ 평가 파이프라인으로 진행돼, 방대한 의약품 정보에 대한 반복적이고 확장 가능한 품질 검증 체계를 갖췄다는 점에서도 주목된다.

박경하 원스글로벌 대표는 “원스글로벌이 지난 수년간 자체 개발한 의료용어 온톨로지인 Dtree(디트리)와 빅데이터를 활용해 Dr.DI의 정확도를 높일 수 있었다”며 “이번 외부 전문기관 검증을 통해 그 신뢰성을 객관적인 수치로 확인한 만큼, 의료진과 환자가 안심하고 활용할 수 있는 근거 중심의 의약정보 서비스로 고도화해 나가겠다”고 밝혔다.

한편 Dr.DI는 권역책임의료기관 AI 기반 진료지원시스템에 선정돼 의료기관에 공급된다.

원스글로벌은 이번 성능검증을 계기로 Dr.DI를 차세대 의약정보 플랫폼 ‘커넥트디아이(ConnectDI)와 결합해 의료 현장 활용성을 넓히는 한편, 임상진료지침 및 근거중심 데이터 확보로 국내 의료 환경에 부합하는 ‘한국형 Open Evidence’ 모델로 단계적으로 발전시켜 나간다는 방침이다.