인공지능(AI)이 신약개발 전반에 활용되면서 규제기관의 관심도 기술 자체에서 활용 방식과 신뢰성 확보 체계로 확대되고 있다. 신약 후보물질 탐색과 임상시험 설계, 제조공정 관리 등 다양한 분야에서 AI 활용이 증가하는 가운데 규제기관 역시 AI 기반 의사결정 결과를 어떻게 평가하고 수용할 것인지에 대한 기준 마련에 나서고 있다.

김경순 드림씨아이에스 부사장은 지난 5일 서울대학교 호암교수회관에서 열린 ‘한국FDC규제과학회 춘계학술대회’에서 'AI 기반 신약개발 의사결정의 규제 수용성과 임상 데이터 신뢰성 평가'를 주제로 발표하고 글로벌 규제 동향과 AI 기반 의사결정 평가체계를 소개했다.

김 부사장은 최근 규제과학이 데이터와 디지털 기술 중심으로 변화하고 있다고 설명했다. 그는 규제기관들이 위험기반 접근(Risk-Based Approach)과 품질고도화(Quality by Design), 규제 민첩성(Regulatory Agility)을 중심으로 새로운 기술 수용 체계를 구축하고 있다고 소개했다.

그는 AI 도입 여부를 논의하는 단계를 넘어 실제 의약품 개발과 허가심사 과정에서 AI를 어떻게 신뢰하고 평가할 것인지가 주요 과제로 떠오르고 있다고 설명했다.

발표에서는 AI 규제 수용성의 핵심 개념으로 활용 목적(Context of Use·COU)이 제시됐다.

김 부사장은 동일한 AI 기술이라도 활용 목적에 따라 요구되는 검증 수준이 달라질 수 있다고 설명했다. 예를 들어 문헌 검색이나 번역 지원 목적으로 활용되는 AI는 상대적으로 위험도가 낮다. 반면 AI 결과가 임상시험 설계나 환자군 분류, 안전성 평가, 허가 의사결정에 직접 활용될 경우 보다 높은 수준의 검증이 요구될 수 있다는 것이다.

그는 AI 기반 의사결정을 평가하기 위해서는 우선 해당 기술이 어떤 문제를 해결하기 위해 사용되는지 명확히 정의해야 한다고 설명했다.

최근 글로벌 규제기관 역시 활용 목적을 중심으로 AI를 평가하는 접근을 채택하고 있다고 소개했다.

발표에서는 유럽의약품청(EMA)의 AI 활용 정책도 소개됐다.

김 부사장에 따르면, EMA는 2025년 'AI/ML in Medicines Lifecycle' 가이드라인을 발표하고 의약품 전주기에 걸친 AI 활용 방향을 제시했다. 해당 가이드라인은 신약 탐색과 비임상시험, 임상시험, 제조, 시판 후 안전관리 등 의약품 전 과정을 대상으로 한다.

EMA는 AI가 개발 효율성을 높이고 분석 역량을 향상시킬 수 있다고 보고 있으며, 이를 위한 규제 프레임워크 구축을 추진하고 있다고 설명했다.

미국 FDA의 움직임도 소개됐다. 김 부사장은 FDA가 2026년부터 생성형 AI 플랫폼 'ELSA'를 도입해 내부 업무에 활용하기 시작했다고 설명했다.

FDA는 ELSA를 활용해 문서 분석과 정보 검색, 업무 지원 기능을 강화하고 있으며, 동시에 AI 거버넌스 체계 구축 경험을 축적하고 있다고 소개했다. 그는 FDA가 AI를 규제 대상으로만 바라보는 것이 아니라 직접 활용하면서 관련 경험과 평가체계를 함께 축적하고 있다는 점을 설명했다.

발표에서는 AI 규제 수용성(Regulatory Acceptability)의 핵심 요소도 제시됐다.

김 부사장은 규제 수용성을 구성하는 요소로 데이터 신뢰성(Data Credibility), 모델 신뢰성(Model Credibility), 의사결정 신뢰성(Decision Credibility)을 설명했다.

데이터 신뢰성은 AI 학습과 분석에 사용되는 데이터의 품질과 적절성을 의미한다. 모델 신뢰성은 알고리즘의 성능과 검증 결과, 재현성 등을 포함한다. 의사결정 신뢰성은 AI 결과를 활용해 도출된 결론이 과학적·의학적으로 타당한지 여부를 의미한다.

김 부사장은 규제기관이 AI를 평가할 때 모델 성능만 검토하는 것이 아니라 데이터부터 최종 의사결정까지 전체 과정의 신뢰성을 함께 검토하고 있다고 설명했다.

FDA가 제시한 위험기반 신뢰성 평가체계(Risk-Based Credibility Assessment Framework)도 발표의 주요 내용으로 다뤄졌다. 이 체계는 AI 활용 목적과 위험도를 중심으로 검증 수준을 결정하는 접근법이다.

김 부사장은 AI 평가에 앞서 먼저 해결하려는 과학적 질문을 정의하고, 활용 목적을 설정한 뒤 위험도를 평가하는 과정이 필요하다고 설명했다. 위험도는 AI가 의사결정에 미치는 영향(Model Influence)과 해당 결정이 환자 또는 공중보건에 미치는 영향(Decision Consequence)을 종합해 평가한다. AI가 최종 의사결정을 수행하거나 환자 치료에 직접적인 영향을 미치는 경우에는 보다 엄격한 검증이 요구될 수 있다.

반대로 사람이 최종 판단을 수행하고 AI가 참고자료를 제공하는 역할에 머무르는 경우에는 상대적으로 낮은 수준의 위험도로 평가될 수 있다고 설명했다.

김 부사장은 이러한 개념을 설명하기 위해 임상시험과 제조 현장의 사례를 제시했다.

임상시험 과정에서 AI가 환자를 고위험군과 저위험군으로 분류하고 치료 전략 결정에 직접 활용된다면 높은 수준의 위험도를 가질 수 있다.

반면 제조공정에서 AI가 공정 이상 징후를 예측하거나 충전량 편차를 분석하고 최종 판단은 사람이 수행하는 경우에는 지원 도구로 분류될 수 있다는 설명이다.

그는 같은 AI 기술이라도 역할과 활용 범위에 따라 요구되는 검증 수준이 달라질 수 있다고 설명했다.

발표에서는 AI 모델의 지속적 관리 필요성도 언급됐다.

김 부사장은 AI가 일반적인 소프트웨어와 달리 데이터 변화에 영향을 받을 수 있다고 설명했다. 과거 데이터를 기반으로 학습된 모델이 새로운 환자군이나 변화된 의료환경에서는 다른 결과를 보일 수 있다는 것이다.

그는 이러한 현상을 데이터 드리프트(Data Drift) 또는 시간적 드리프트(Temporal Drift)라고 설명했다.

이에 따라 AI는 개발 단계의 검증만으로 충분하지 않으며 운영 과정에서 지속적인 성능 모니터링과 재검증이 필요하다고 설명했다.

규제기관 역시 AI 모델의 생애주기 관리(Lifecycle Management)를 중요하게 보고 있다고 소개했다.

실제임상자료(RWD)와 실제임상근거(RWE) 활용 시 고려해야 할 요소도 다뤄졌다.

김 부사장은 AI 분석 결과의 신뢰성을 확보하기 위해서는 데이터 자체에 대한 검증이 선행돼야 한다고 설명했다. 특히 데이터가 어디에서 생성됐고 어떤 과정을 거쳐 수집·가공됐는지를 확인할 수 있어야 한다고 강조했다.

그는 이를 데이터 기원(Data Provenance) 개념으로 설명했다. 데이터 수집 시점과 생성 환경, 처리 과정, 사용된 알고리즘 등을 추적할 수 있어야 AI 기반 분석 결과의 신뢰성을 확보할 수 있다는 것이다.

아울러 데이터 계보(Data Lineage) 관리와 사람의 감독(Human Oversight) 체계 역시 중요하다고 설명했다.

김 부사장은 AI 기반 신약개발과 임상 의사결정 활용이 확대될수록 데이터와 모델, 의사결정 과정 전반에 대한 신뢰성 확보 체계가 중요해질 것으로 전망했다.

그는 활용 목적을 명확히 설정하고 위험도에 따른 검증 체계를 구축하는 것이 AI 규제 수용성 확보의 핵심이라고 강조했다.