생성형 AI와 의료 AI 기술 발전으로 신약개발과 임상시험에서 인공지능 활용이 빠르게 확대되고 있다. 후보물질 발굴과 환자 선별, 임상시험 설계 등 AI 활용 범위는 넓어지고 있지만, 실제 의료 현장에서는 "AI가 제안한 결과를 실제 의료현장에서 누가 승인하고, 어떻게 안전하게 실행하며, 그 과정을 어떻게 검증할 것인가"라는 새로운 질문이 제기되고 있다.

AI의 예측 성능을 높이는 연구는 빠르게 발전하고 있지만, 실행 과정의 안전성과 책임성을 체계적으로 관리하는 연구는 아직 초기 단계라는 평가가 나온다.

이러한 가운데 AI 헬스케어 기업 D3319헬스케어가 의료 AI의 실행 단계를 체계적으로 관리하는 ‘Healthcare Execution Governance’ 개념을 정리한 연구 논문을 최근 IEEE 학술지에 투고하며 국제 학술 검토를 추진하고 있다.

▶Decision AI에서 Execution AI로

그동안 의료 AI 연구는 주로 질병 예측, 후보물질 탐색, 영상 판독 등 AI의 판단 성능을 향상시키는 데 집중돼 왔다. 그러나 실제 의료현장에서는 AI의 판단보다도 ▲누가 실행을 승인했는가 ▲실행 과정은 안전했는가 ▲변경 이력은 추적 가능한가 ▲모든 과정이 감사 가능한가가 더욱 중요한 요소가 되고 있다.

D3319는 이러한 실행 영역을 독립적으로 관리하는 Execution Governance 개념을 제안하며, 의료 AI 연구의 새로운 방향을 제시하고 있다.

▶IEEE 논문에서 제안한 핵심 개념

이번 IEEE 학술지에 투고한 ‘An Agentic Healthcare AI Operating System for Closed-Loop Action Control and Real-Time Safety Governance in Clinical Workflows’(임상 워크플로우에서 폐쇄루프 실행 제어와 실시간 안전 거버넌스를 위한 에이전틱 의료 AI 운영체제) 논문은 기존 AI 플랫폼 위에 실행 거버넌스 계층을 추가해 ▶Closed-loop Action ControlRuntime Safety Governance▶Human Oversight ▶Multi-Agent Arbitration ▶ExecutionVerification▶Execution Evidence 등 핵심 요소를 하나의 운영체계(Operating System)로 통합하는 구조를 제안하고 있다.

이를 통해 AI의 판단이 실제 의료행동으로 이어지는 전 과정을 안전하게 통제하고 검증할 수 있는 실행 프레임워크를 제시했다.

▶특허와 논문의 상호 보완 전략

특허와 논문은 서로 다른 역할을 수행한다.

회사 측에 따르면 특허는 독창적인 기술과 구현 구조를 보호하는 역할을 수행하고, 논문은 핵심 개념과 아키텍처를 국제 학술 커뮤니티와 공유하며 학술 심사를 통해 검토받는 역할을 수행한다. 

D3319는 연구개발 과정에서 축적한 특허를 기반으로 기술을 보호하는 한편, 논문을 통해 국제 학술 교류를 확대하는 투트랙(Two-Track) 전략을 추진하고 있다.

▶국내 제약·CRO 산업에 주는 의미

AI 기반 신약개발과 임상시험이 확대될수록 제약사와 CRO는 AI 모델 성능뿐 아니라 실행 과정의 안전성과 규제 대응 역량도 함께 확보해야 한다.

D3319는 Execution Governance 프레임워크가 이러한 산업적 요구에 대응하는 하나의 기술적 접근이 될 수 있을 것으로 기대하고 있으며, 향후 국내 산업계와 국제 학술 연구를 연결하는 기반으로 발전시켜 나간다는 계획이다.

▶"AI의 미래는 안전한 실행"

D3319 개발에 참여한 약사는 "의료 AI의 경쟁력은 더 높은 예측 정확도만으로 결정되지 않는다. AI의 판단이 실제 의료행동으로 이어질 때, 그 실행을 얼마나 안전하게 통제하고 검증하며 설명할 수 있는지가 앞으로 더욱 중요한 과제가 될 것"이라고 밝혔다. 

이어 “이번 IEEE 논문은 Execution Governance 개념을 국제 학술 커뮤니티와 공유하기 위한 첫걸음입니다. 앞으로도 특허와 학술 연구를 함께 발전시키며 의료 AI 실행 안전성 분야의 연구를 지속적으로 확대해 나갈 계획”이라고 덧붙였다.

의료 AI는 이제 단순한 판단 기술을 넘어 안전한 실행(Execution Safety), 책임성(Accountability), 규제 대응 준비(Regulatory Readiness)가 요구되는 단계로 진입하고 있다.

D3319헬스케어 관계자는 “ 의료 AI 실행 거버넌스 분야 연구를 지속적으로 확대하고, 국내 연구 성과를 국제 학술 커뮤니티와 산업계에 공유해 나갈 계획”이라며 “향후 국제 학술 심사와 산업 현장에서 적용 경험이 축적되면서 의료 AI 실행 거버넌스가 하나의 독립적인 연구 분야로 발전할 수 있을지에 대해 제약·바이오 업계도 관심을 갖고 지켜보고 있다”고 전했다.