임상약 제조기록 1,061쪽, 사람이 놓친 항목 7건을 클로드가 짚었다

검사란에는 ‘불합격’이라고 쓰여 있었는데 측정값이 비어 있었다. 다른 쪽에서는 세척액에 담가 두는 시간이 정해진 범위를 약 8분 넘겼다. 바이오 기업 엔베다가 10월 27일 발표한 임상시험용 의약품 제조기록 검토 사례다. 두 항목 모두 사람이 처음 읽을 때 놓쳤고, 클로드 오퍼스 4.7을 쓰는 문서 검토 프로그램이 찾아냈다.

사진의 두 조사원은 미국 볼티모어의 의약품 충전라인에서 제품의 배치기록을 확인하고 있다. FDA가 남긴 1990년대 초 현장 사진이다. 제조번호가 같은 제품이라도 어느 원료를 얼마나 넣었는지, 장비 온도와 공정 시간이 승인된 기준에 들었는지는 기록을 펴야 알 수 있다. 엔베다와 앤트로픽은 임상 2상용 의약품 생산에서 나온 이런 문서 네 건을 대상으로 삼았다. 대부분 손글씨가 든 스캔 자료였고 모두 1,061쪽이었다.

사람이 다시 읽는 시간까지 더했다

엔베다 내부 검토자들이 네 건을 직접 대조하는 데에는 합계 1,553분, 25시간 53분이 들었다. 프로그램이 의심스러운 곳에 메모를 달고 사람이 지적 사항과 그 근거를 확인한 쪽에서는 166분, 2시간 46분이 걸렸다. 회사가 밝힌 89% 단축은 이 두 시간을 비교한 수치다. 166분에는 모델이 문서를 읽고 결과를 돌려준 시간도 포함됐다.

비교에 참여한 내부 검토자는 넷이다. 제조 관련 업무를 맡은 사람과 품질 담당자가 둘씩 짝을 지어 각 팀이 기록 두 건을 우선 직접 읽었다. AI가 의견을 단 기록을 살펴볼 때는 두 팀이 자료를 바꿨다. 이미 어디가 잘못됐는지 아는 문서를 다시 읽느라 시간이 줄어드는 일을 피하기 위해서였다. 별도로 외부 전문가 두 명도 네 건을 함께 읽고 한 벌의 의견을 제출했다.

엔베다의 검토 도구 이름은 CDP다. 사람이 기준을 정해 작성한 제조 지시서와 공장에서 그 지시를 수행하며 작성한 기록을 먼저 짝짓는다. 문서 번호와 버전, 제조 단위 번호가 이때 쓰인다. CDP는 실제 기록을 연속된 쪽 단위로 나눠 해당 지시서, 원료 규격 등과 함께 읽는다. 글자가 지워진 자리나 표의 행과 열까지 볼 수 있도록 스캔한 페이지를 이미지로 넘긴다.

승인된 제조기록 원본은 고치지 않는다. CDP가 찾아낸 내용과 근거 쪽수는 원본 옆에 별도 메모로 남는다. 실제 제조사에 설명을 요구하거나 내용을 바로잡는 결정은 검토자가 자신의 계정으로 내린다. 미국 의약품 제조 규정은 출하·유통 전에 품질 부서가 생산·관리 기록을 검토하고 승인하도록 요구한다. 시간을 잰 시험에서도 그 책임은 품질 부서에 남았다.

검사란의 표시와 기기 측정값은 따로 남는다

FDA 실험실 사진에서 화학자가 다루는 기기는 고성능 액체크로마토그래프(HPLC)다. 시료 속 성분을 나눠 얻은 신호는 시험 결과의 근거가 된다. 미국 의약품 제조 규정은 시험 중 얻은 그래프·차트·스펙트럼 등 원자료를 해당 제품 및 제조번호와 연결해 두도록 한다. 엔베다가 공개한 사례에서 CDP가 지적한 것은 공정 검사란에 ‘불합격’이 적혔는데 그 판정을 뒷받침할 수치가 기입되지 않았다는 점이었다. 해당 검사가 어떤 장비로 이뤄졌는지는 보고서에 나오지 않는다.

메모 96건과 42건, 무엇을 지적했나

사람이 찾아낸 문제를 같은 사안끼리 묶으면 11건이었다. 오퍼스 4.7과 5.5를 사용해 CDP를 실행한 결과를 합치면 각각 적어도 한 번은 표시됐다. 아홉 건은 사람과 AI가 같은 지점을 직접 지적했다. 두 건은 품질 심사자가 두 설명을 같은 문제로 인정했다. 예컨대 CDP는 반응기 온도가 갑자기 오른 쪽을 짚었지만, 그 온도가 명시된 허용 범위를 넘어섰다고 적지는 않았다.

사람이 먼저 낸 의견에 없던 지적은 오퍼스 4.7을 쓴 한 차례 검토에서 7건이 나왔다. 프로그램이 붙인 등급은 경미한 사항 두 건, 정보 확인 다섯 건이었다. 심사자가 일곱 건 모두 제조사에 확인하거나 수정할 필요가 있다고 판단했고, 엔베다는 출하 전에 제조사와 처리했다고 밝혔다. 손글씨로 고친 검사 기록을 잘못 읽어 원자료를 다시 확인해 달라는 메모를 남긴 사례도 있었다.

사람이 단 메모 96건 중 79건(82%), CDP가 단 메모 42건 중 33건(79%)은 후속 조치가 필요 없었다. 제조사가 허용한 방식대로 수치를 반올림했는데도 프로그램이 합계 차이를 지적한 일이 그 예다. 사람도 지시서 양식을 바꾸자는 제안을 메모로 남겼다. 품질 심사자는 감사자가 제조사에 수정이나 설명을 요구할지를 기준으로 이런 의견을 따로 분류했다.

36.97달러에 들어간 비용

엔베다가 공개한 모델 호출 비용은 1,061쪽 전체에 36.97달러다. 사용한 토큰 수에 정가를 적용한 값으로 시스템 개발과 서버 운영, 검토자의 인건비는 빠져 있다. 품질 부서가 출하 승인 전에 기록 전체를 최종 확인하는 절차도 여전히 수행한다. 이 시험만으로 의약품 한 배치의 전체 품질관리 비용이나 임상시험 일정을 얼마나 줄일 수 있는지는 계산하기 어렵다.

엔베다는 문서를 빠짐없이 읽도록 쪽을 나누고 검토 결과를 합치는 방식 등을 별도 공개 코드로 내놨다. 다만 이번에 사용한 제조기록에는 제품과 생산 공정의 비공개 정보, 작업자 개인정보가 들어 있어 원자료는 공개하지 않았다. 공개 코드에는 실무 시스템의 사내 연동 코드나 실제 운용 규칙도 포함되지 않는다. 다른 회사가 같은 문서와 같은 설정으로 89%라는 수치를 곧바로 재현할 수 없는 이유다.

공개 저장소에서 비교 방식을 확인할 수 있는 한 쌍은 가상의 정제 제조기록과 그 지시서다. 지시서 MBR-0042에는 주성분을 10.00kg, 허용오차 1% 안에서 달도록 적혀 있다. 연습기록 EBR-B24-0117의 같은 칸은 10.40kg이다. 내려받은 예제에서 이 차이를 짚는 것과 실제 생산에서 발견했다는 일곱 건을 재현하는 일은 구분된다. 연구에 쓰인 네 건의 원본과 작업자 정보는 공개 자료에 없다.