撰文/孫世昌 生醫資深顧問 2022/03/15

如筆者於上一篇文章中所提到的，這回要來為讀者們就美國「食品藥物管理局」(Food and Drug Administration，簡稱FDA)在2021(去)年10月與「加拿大衛生部」(Health Canada)及英國「藥品與健康照護產品管理局」(Medicines and Healthcare products Regulatory Agency)所共同發布的10項新指引原則做個簡單的整理，而為了讓閱讀者能更快速的掌握各項原則中的規範精神，故以下，筆者決定採取以「原則-對應說明」而非僅單純條列出10項新指引原則的方式，來與大家做較詳細的分享。

       關於上述提到的由美、英、加等國主管機關所共同鑑別出的10項新指引原則，其主要目的，無非是為了要促進此項新興領域技術的快速發展，並協助其境內醫療器材製造商，能夠在兼顧安全性、有效性等前提下，開發出高品質的「以AI/ML技術為基礎」的醫療器材產品，有鑑於此，筆者認為，讀者們何不如從前述角度出發來觀察這10項與將來「優良機器學習規範」(Good Machine Learning Practice，簡稱GMLP)建置密切相關的各項原則，說不定對這些原則背後所隱含的規範思維，可產生更深一層的認識…。現即整理於下：

指引原則-1：在整體產品生命週期中妥善運用多門學科的專業知識

• 說明：對於某項模型在臨床作業流程中所預期的整合、可能產生的利益及相關病患風險進行深入瞭解，可協助確保配置有ML的醫療器材產品，是為安全與有效的，且亦可在該項醫療器材產品的整體生命週期內，妥善處理有臨床上意義的需求。

指引原則-2：落實優良軟體工程與相關安全性規範

• 說明：應在注意「基本原則」的前提下，來進行模型的設計。根據這份文件內容，於此處所提到的「基本原則」，主要是指；優良軟體工程規範、數據資料品質保證、資料管理與健全的網路安全規範等等，原因是，在這些個規範中，實包含著一定合理的風險管理及設計流程方法，可以適當的銜接與連結此類產品開發設計、執行及各項風險管理決策及合理理由，並進一步確保資料的真實性與完整性。

指引原則-3：臨床研究的「參與者」與「資料組群」(Data Sets)能代表預期的病患族群

• 說明：「資料收集流程方法」(Data Collection Protocols)應確保預期病患群體的相關特徵(例如在年齡、性別、種族及民族等方面)、使用與測量輸入，在臨床研究、訓練與測試的資料組群中，有足夠規模的代表性樣本，從而使結果可合理地推論並擴及至感興趣的人口群。而這對於偏見(Bias)管理、提升預期病患群體整體的合適性與普及性的功能表現、可用性評估及鑑別出該模型可能的功能表現不良的情況來說，是相當重要的。

指引原則-4：訓練用的資料組群獨立於測試用的資料組群之外

• 說明：「訓練用」與「測試用」資料組群的選擇及維護，彼此間應適當的區隔(即相互獨立)，且應同時考慮並解決所有潛在依賴因素的來源，包括：病患、資料取得與現場實地因素，以確保兩不同資料組群間的獨立性。

指引原則-5：所選擇的「參考用資料組群」(Reference Datasets)是以現有的最佳方法為基礎

• 說明：應建置一套「參考用的資料組群」(其為一種參考性標準)，除宜使用一種公認性的、最佳可得的方法，以確保所收集到的數據資料係為具臨床相關性與明確的特徵外，亦應清楚的瞭解及掌握所建置的參考用資料組群的局限性。(如可得，於模型開發及測試中應使用具公認性的參考用資料組群，以提升及證明模型的穩健性，及其在預期病患群體中的普遍性)

指引原則-6：模型設計(Model Design)適於現行可取得數據資料並可反映出醫療器材的預期用途

• 說明：

1. 1. 模型設計應適於所可取得的數據資料，並要能夠支援對已知風險的主動緩減，比如說：「過度擬合」(Overfitting)、功能表現下降與安全風險等。
   2. 該產品的臨床效益及相關風險均已被充分瞭解，並被用來作為獲取具臨床意義的功能表現的測試目標，以支援該產品能夠安全且有效地實現其預期用途。
   3. 此處所應考量的因素包括：對整體及局部的功能表現影響、該醫療器材數據資料的輸入(Input)、輸出(Output)、預期病患群體以及臨床使用條件的不確定性/變異性等等。

指引原則-7：應將重點擺放在“Human-AI Team”的整體表現上

• 說明：當所設計的模型具有“Human in the Loop”(人為監督)的情況下，對於人為因素的考量及該模型輸出數據資料的人為的可解釋性等部分，應著眼在“Human-AI team”的整體表現上，而不應僅是聚焦於採取單獨分離的模型功能表現來加以處理。

指引原則-8：在「相對應的臨床條件下」來測試證明醫療器材的功能表現

• 說明：制訂並執行具統計學上意義的測試計畫，以產生獨立於「訓練用」資料組群之外的且具臨床相關性的醫療器材功能表現資料。對此，於這份文件中所建議的相關考量點包括：預期病患群體、重要的次群體(Subgroup)、臨床環境及透過“Human-AI team”方式所進行的使用、量測數據資料的輸入及「潛在干擾因子」(Potential Confounding Factors)等。

指引原則-9：提供使用者明確、必要的資訊

• 說明：
  1. 向使用者提供明確的、與其背景相關的、適合於預期的訊息受眾(例如：醫療照護提供者或病患)的資訊。
  2. 就上述所提到的資訊包括：產品的預期用途及適應症、模型在合適的Subgroups中的功能表現、用於訓練與測試模型的數據資料特徵、可接受的輸入、已知的限制、使用者介面解釋及模型的臨床作業流程整合。
  3. 另外，亦應讓該產品使用者能夠意識到：該醫療器材的修正/變更、與從真實世界功能表現監測而來的相關資訊更新、決策作成依據(如可得)，及與開發商溝通產品問題的方法等。

指引原則-10：對於已部署的模型應進行功能表現監測，並對「再訓練的風險」(Re-training Risks)進行管理

• 說明：

1. 1. 就已部署的模型 在聚焦於維持或改善其安全及功能表現前提下，應具備可對其在真實世界中的使用加以監控的能力。
   2. 另外，當模型部署後，如後續將以定期或持續的方式對其進行訓練時(即所謂的再訓練)，應具有適當的管控措施來對可能的風險進行管理(例如：Overfitting、Unintended Bia或模型衰退(如資料組群漂移)等可能會影響該模型的安全性與功能表現的風險)。

       總括來說，就這次所公布的10項指引原則，除是FDA打算要為將來「優良機器學習規範」(Good Machine Learning Practice，簡稱GMLP)的建置與一致化發展，預先性的奠下基礎外，於草擬之初，這些指引原則也被FDA設想可用於：1.進一步採納於其他領域中已被證實的優良實務範例；2.進一步將來自於其他領域中的作法量身進行調整後，使其能適用於醫療及健康照護領域；3.進一步為醫療及健康照護領域打造新的特定規範等用途上。而值得留意的是，目前FDA正積極地與開發AI/ML技術&共識性標準的相關機構(如IMDRF、國際標準組織、英國標準協會等)及其他民間社群團體合作，來推動GMLP及相關共識性標準的發展，故由此讀者們也不難端倪出，為了加速美國國內以AI/ML為基礎的醫療器材軟體產品的開發與創新，FDA這回可真的是卯上了全力！而至於…後續FDA又將會提出(或更新)哪些管理規範或相關措施？也請各位讀者們耐心的與筆者一同繼續保持關注。