病理圖像人工智能分析軟件性能評(píng)價(jià)審評(píng)要點(diǎn)(2023年第23號(hào))旨在指導(dǎo)醫(yī)療器械注冊(cè)申請(qǐng)人對(duì)病理圖像人工智能分析軟件注冊(cè)申報(bào)資料中非臨床評(píng)價(jià)部分的準(zhǔn)備及撰寫,同時(shí)也為技術(shù)審評(píng)部門提供參考。本要點(diǎn)是對(duì)病理圖像人工智能分析軟件申報(bào)資料的一般要求,申請(qǐng)人需依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若不適用,需具體闡述理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)產(chǎn)品的具體特性對(duì)醫(yī)療器械注冊(cè)申報(bào)資料的內(nèi)容進(jìn)行充實(shí)和細(xì)化。
病理圖像人工智能分析軟件性能評(píng)價(jià)審評(píng)要點(diǎn)
本要點(diǎn)旨在指導(dǎo)醫(yī)療器械注冊(cè)申請(qǐng)人對(duì)病理圖像人工智能分析軟件注冊(cè)申報(bào)資料中非臨床評(píng)價(jià)部分的準(zhǔn)備及撰寫,同時(shí)也為技術(shù)審評(píng)部門提供參考。
本要點(diǎn)是對(duì)病理圖像人工智能分析軟件申報(bào)資料的一般要求,申請(qǐng)人需依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若不適用,需具體闡述理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)產(chǎn)品的具體特性對(duì)醫(yī)療器械注冊(cè)申報(bào)資料的內(nèi)容進(jìn)行充實(shí)和細(xì)化。
本要點(diǎn)是供注冊(cè)申請(qǐng)人和技術(shù)審評(píng)人員使用的指導(dǎo)性文件,但不包括審評(píng)審批所涉及的行政事項(xiàng),亦不作為法規(guī)強(qiáng)制執(zhí)行,需在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。如果有能夠滿足相關(guān)法規(guī)要求的其他方法,也可以采用,但是需要提供詳細(xì)的研究資料和驗(yàn)證資料。
本要點(diǎn)是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的,隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善,以及科學(xué)技術(shù)的不斷發(fā)展,本要點(diǎn)的相關(guān)內(nèi)容也將進(jìn)行適時(shí)的調(diào)整。
一、適用范圍
病理圖像人工智能分析軟件是指基于數(shù)字病理圖像,采用深度學(xué)習(xí)等人工智能技術(shù)實(shí)現(xiàn)對(duì)病理圖像的分割、檢測(cè)等功能的醫(yī)療器械。數(shù)字病理圖像包括經(jīng)數(shù)據(jù)成像設(shè)備獲得的顯微鏡下細(xì)胞或組織圖像、全玻片數(shù)字掃描技術(shù)(Whole Slide Imaging, WSI)的病理圖像等。產(chǎn)品在醫(yī)療機(jī)構(gòu)和/或醫(yī)學(xué)實(shí)驗(yàn)室使用,可輔助病理醫(yī)師為疾病的診斷、預(yù)后、治療等提供信息,不能作為臨床診斷決策的唯一依據(jù)。
根據(jù)《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》,本文所述軟件用于輔助決策,可為病理醫(yī)生提供病灶特征識(shí)別、病變性質(zhì)等信息,按第三類醫(yī)療器械管理。
分類編碼:21-04-02。
產(chǎn)品名稱:建議依據(jù)軟件醫(yī)療用途進(jìn)行產(chǎn)品名稱命名,體現(xiàn)處理對(duì)象和臨床用途,如宮頸細(xì)胞學(xué)數(shù)字病理圖像計(jì)算機(jī)輔助分析軟件、免疫組化病理圖像計(jì)算機(jī)輔助診斷軟件。申請(qǐng)人可結(jié)合申報(bào)產(chǎn)品的特征,根據(jù)《醫(yī)用軟件通用名稱命名指導(dǎo)原則》,參考《醫(yī)療器械分類目錄》中的品名舉例確定命名。
若作為軟件組件集成于其他醫(yī)療器械(如病理切片掃描儀、醫(yī)學(xué)顯微圖像掃描分析產(chǎn)品)中,可以參考本要點(diǎn)的要求。
本要點(diǎn)基于《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的基本框架要求,其中關(guān)于人工智能醫(yī)療器械的的術(shù)語定義、相關(guān)要求參照上述指導(dǎo)原則。
二、產(chǎn)品簡(jiǎn)介
產(chǎn)品的工作原理:產(chǎn)品為獨(dú)立軟件,采用深度學(xué)習(xí)技術(shù)對(duì)數(shù)字病理圖像進(jìn)行前處理(如圖像質(zhì)量改善)和常規(guī)后處理(如圖像分割、細(xì)胞/組織定位、細(xì)胞分類等),實(shí)現(xiàn)對(duì)數(shù)字病理圖像中疑似異常細(xì)胞的計(jì)數(shù)和定位識(shí)別功能或異常組織區(qū)域的定位和標(biāo)記功能;通過算法對(duì)細(xì)胞/組織圖像塊的分類結(jié)果進(jìn)行分析,實(shí)現(xiàn)對(duì)病理圖像的輔助診斷功能。
主要結(jié)構(gòu)及組成:結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊,其中交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件,功能模塊包括客戶端、服務(wù)器端(若適用)等,若適用注明選裝、模塊版本。
服務(wù)器端:負(fù)責(zé)接收并處理請(qǐng)求,對(duì)請(qǐng)求進(jìn)行數(shù)據(jù)處理,調(diào)用人工智能算法(此處應(yīng)體現(xiàn)核心算法名稱,如AlexNet,ResNet,MobileNet,EfficientNet,ResNeXt等)對(duì)圖像數(shù)據(jù)進(jìn)行處理并輸出分析結(jié)果。把用戶請(qǐng)求的數(shù)據(jù)結(jié)果返回客戶端。
客戶端:將服務(wù)器端分析結(jié)果呈現(xiàn)到用戶界面。用戶可在用戶界面進(jìn)行輔助診斷/閱片、任務(wù)管理、報(bào)告管理、檢索查詢、用戶管理、查看日志等功能操作。
三、基本要求
(一)綜述資料
詳細(xì)描述該產(chǎn)品的圖像前處理和后處理功能及功能實(shí)現(xiàn)方法,描述配套使用圖像采集設(shè)備、切片制作流程(包括配套試劑、設(shè)備)和圖像質(zhì)量的要求,簡(jiǎn)述軟件采用的主要算法。
簡(jiǎn)述軟件研發(fā)背景,包括對(duì)可輔助診斷疾病的介紹,目前相關(guān)疾病臨床診斷參考標(biāo)準(zhǔn)、病理診斷類型或細(xì)胞異常類型等依據(jù)。申報(bào)產(chǎn)品的病理閱片標(biāo)準(zhǔn)和病理分型依據(jù)應(yīng)與臨床標(biāo)準(zhǔn)一致。
(二)非臨床資料
1.產(chǎn)品技術(shù)要求及檢驗(yàn)報(bào)告
產(chǎn)品技術(shù)要求可參考《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》(2022年修訂版)附錄中的模板進(jìn)行編寫,此外性能指標(biāo)還應(yīng)包括“臨床功能”,如圖像處理、圖像分析、細(xì)胞/組織識(shí)別、病理圖像診斷提示等內(nèi)容。
2.軟件研究資料
按照《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》(2022年修訂版)、《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則》(2022年修訂版)、《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》的要求,提交研究資料。明確軟件發(fā)布版本號(hào)。提交的研究資料主要包含軟件研究資料、算法研究資料、網(wǎng)絡(luò)安全研究資料。研究資料內(nèi)容應(yīng)涵蓋申報(bào)產(chǎn)品適用范圍中描述的全部?jī)?nèi)容。
2.1風(fēng)險(xiǎn)管理
參考YY/T 0316、YY/T 1406.1和YY/T 0664、GB/T 42062進(jìn)行產(chǎn)品的風(fēng)險(xiǎn)管理活動(dòng)。風(fēng)險(xiǎn)管理活動(dòng)應(yīng)當(dāng)基于軟件的預(yù)期用途、使用場(chǎng)景、核心功能予以實(shí)施,并貫穿軟件全生命周期過程。此類產(chǎn)品臨床使用中的風(fēng)險(xiǎn)主要包括圖像分析過程中的識(shí)別、標(biāo)記錯(cuò)誤,非病理醫(yī)師使用和樣本采集錯(cuò)誤等,造成的假陰性和假陽性錯(cuò)誤。算法風(fēng)險(xiǎn)主要包括過擬合和欠擬合,數(shù)據(jù)擴(kuò)增和數(shù)據(jù)偏移等。
2.2需求規(guī)范
提供軟件需求規(guī)范文檔,明確軟件的功能、性能、接口、用戶界面、運(yùn)行環(huán)境、網(wǎng)絡(luò)安全、數(shù)據(jù)采集等需求,另附軟件開發(fā)所形成的原始文檔。
數(shù)據(jù)采集需考慮數(shù)據(jù)來源的合規(guī)性、充分性和多樣性,數(shù)據(jù)分布的科學(xué)性和合理性,數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性。數(shù)據(jù)應(yīng)來源于不同地域的不少于3家機(jī)構(gòu)。機(jī)構(gòu)應(yīng)采用軟件說明書明確的切片制作流程、組織染色和免疫組織化學(xué)技術(shù)制備的切片(包含指定的樣本來源,即指定的切片制備流程和/或樣本保存液、抗體試劑、染色液等)和配套的圖像采集設(shè)備獲得的符合要求的數(shù)字病理圖片。數(shù)據(jù)分布的科學(xué)性和合理性,應(yīng)考慮包括但不限于疾病構(gòu)成(如分型、分級(jí)、分期)、人群分布(如高危人群、患者,性別、年齡)等情況。
算法性能需結(jié)合產(chǎn)品預(yù)期用途,綜合考慮分析速度、敏感性、特異性、重復(fù)性與再現(xiàn)性、泛化性等性能指標(biāo)的適用性及其要求。同時(shí)還需考慮因梯度消失、梯度爆炸、過擬合和欠擬合等影響算法性能的因素。
使用限制需考慮產(chǎn)品禁用、慎用等場(chǎng)景,準(zhǔn)確表述產(chǎn)品使用場(chǎng)景,提供必要警示提示信息。
2.3軟件性能研究
提供產(chǎn)品性能研究資料以及產(chǎn)品技術(shù)要求的研究和編制說明,給出軟件相關(guān)的功能性、安全性指標(biāo)的確定依據(jù)。注冊(cè)申請(qǐng)人需在軟件研究資料中提交GB/T 25000.51自測(cè)報(bào)告,亦可提交自檢報(bào)告或檢驗(yàn)報(bào)告代替自測(cè)報(bào)告。產(chǎn)品技術(shù)要求中各指標(biāo)依據(jù)產(chǎn)品自身特點(diǎn)確定。
2.4算法研究資料
根據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》提交算法研究資料。提交每個(gè)人工智能算法或算法組合的算法研究報(bào)告。
2.4.1算法基本信息
明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù)。
其中,算法類型從學(xué)習(xí)策略、學(xué)習(xí)方法(基于模型的算法和基于數(shù)據(jù)的算法)、可解釋性(白盒算法和黑盒算法)等角度明確算法特性。算法結(jié)構(gòu)部分應(yīng)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。流程圖應(yīng)包含輸入圖像示例、學(xué)習(xí)方法示意圖和輸出圖像示例。算法框架應(yīng)明確所用人工智能算法框架的基本信息,包括名稱、類型(自研算法框架、現(xiàn)成算法框架)、型號(hào)規(guī)格、完整版本、制造商等信息。若基于云計(jì)算平臺(tái),應(yīng)明確云計(jì)算的名稱、服務(wù)模式、部署模式、配置以及云服務(wù)商的名稱、住所、服務(wù)資質(zhì)。運(yùn)行環(huán)境應(yīng)明確算法正常運(yùn)行所需的典型運(yùn)行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片應(yīng)明確其名稱、型號(hào)規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述算法或算法組合選用的理由和基本原則。
2.4.2算法風(fēng)險(xiǎn)管理
結(jié)合預(yù)期用途、使用場(chǎng)景、核心功能、算法成熟度、網(wǎng)絡(luò)安全等因素,此類產(chǎn)品的軟件安全性級(jí)別為嚴(yán)重級(jí)別。提供算法風(fēng)險(xiǎn)管理資料,若無單獨(dú)文檔可提供軟件風(fēng)險(xiǎn)管理資料,并注明算法風(fēng)險(xiǎn)管理所在位置。
2.4.3算法需求規(guī)范
提供算法需求規(guī)范文檔,若無單獨(dú)文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。
2.4.4數(shù)據(jù)收集
2.4.4.1提供數(shù)據(jù)來源合規(guī)性聲明,列明數(shù)據(jù)來源機(jī)構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件(或科研合作協(xié)議)編號(hào)等信息。
2.4.4.2數(shù)據(jù)采集
建議參考2.2需求規(guī)范的要求,提供數(shù)據(jù)采集操作規(guī)范文檔,包括數(shù)據(jù)采集方案和數(shù)據(jù)采集標(biāo)準(zhǔn)操作規(guī)程。
數(shù)據(jù)采集主要由臨床機(jī)構(gòu)實(shí)施,應(yīng)明確病理切片或細(xì)胞涂片的制作流程、圖像采集方式(如眀場(chǎng)掃描)和采集參數(shù)要求(包含掃描倍率、掃描層數(shù)、焦點(diǎn)數(shù)量要求、聚焦方式、采樣閾值等)、采集設(shè)備要求(應(yīng)包含掃描儀的型號(hào)、分辨率、圖像尺寸等)、病理切片或細(xì)胞涂片要求、樣本的來源與分布、樣本質(zhì)量要求(包含切片或涂片的保存時(shí)限、玻片完整性等)、圖像質(zhì)量要求(應(yīng)包含圖象區(qū)域、清晰度等要求)、采集過程、數(shù)據(jù)脫敏、數(shù)據(jù)轉(zhuǎn)移等要求。采集過程應(yīng)對(duì)樣本數(shù)據(jù)進(jìn)行編號(hào)并加密,方案中應(yīng)包含編號(hào)規(guī)則。
2.4.4.3數(shù)據(jù)整理
明確數(shù)據(jù)清洗/預(yù)處理程序,對(duì)數(shù)據(jù)處理中應(yīng)用的軟件進(jìn)行簡(jiǎn)述,并以附件的形式提交數(shù)據(jù)處理中各軟件的軟件研究資料。
2.4.4.4數(shù)據(jù)標(biāo)注
明確標(biāo)注人員和仲裁人員的資質(zhì)要求和培訓(xùn)內(nèi)容,標(biāo)注人員和仲裁人員應(yīng)為病理醫(yī)師,數(shù)據(jù)應(yīng)經(jīng)過不少于2人標(biāo)注。簡(jiǎn)述標(biāo)記系統(tǒng)信息,配合病理圖像和標(biāo)注系統(tǒng)界面截圖,介紹標(biāo)注過程、標(biāo)注對(duì)象和標(biāo)注標(biāo)準(zhǔn)(注意與病理診斷標(biāo)準(zhǔn)的一致性)等。明確標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評(píng)估、數(shù)據(jù)安全保證等要求。標(biāo)注質(zhì)量評(píng)估可抽選一定比例數(shù)據(jù)進(jìn)行非標(biāo)注人員的評(píng)估。
提供原始數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、標(biāo)注數(shù)據(jù)庫(kù)、擴(kuò)增數(shù)據(jù)庫(kù)(如有),關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況,包括適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素。
若數(shù)據(jù)來自公開數(shù)據(jù)庫(kù),提供公開數(shù)據(jù)庫(kù)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)分布等)。
2.4.4.5數(shù)據(jù)集構(gòu)建
明確各數(shù)據(jù)集劃分的方法及依據(jù)。訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性,訓(xùn)練樣本應(yīng)涵蓋不同病理類型。調(diào)優(yōu)集應(yīng)保證樣本分布符合臨床實(shí)際情況,如陽性比例,不同病理類型比例、不同臨床分型比例等均應(yīng)符合臨床實(shí)際情況。訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本應(yīng)兩兩無交集并通過查重予以驗(yàn)證。
進(jìn)行數(shù)據(jù)擴(kuò)增驗(yàn)證時(shí),應(yīng)當(dāng)明確擴(kuò)增的方式、方法、倍數(shù),并考慮數(shù)據(jù)擴(kuò)增對(duì)軟件的影響及風(fēng)險(xiǎn)。列表比較擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)的差異,論證擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及分布的合理性。
2.4.5算法訓(xùn)練
依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素,提供訓(xùn)練集、調(diào)優(yōu)集(若有)關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。
算法訓(xùn)練基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),應(yīng)明確算法訓(xùn)練所用的評(píng)估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法,提供ROC曲線或混淆矩陣等證據(jù)(如:迭代次數(shù)-訓(xùn)練CountIOU曲線和迭代冊(cè)數(shù)-召回率曲線)證明訓(xùn)練目標(biāo)滿足醫(yī)療要求,提供訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線(如迭代次數(shù)-Loss曲線)等證據(jù)以證實(shí)算法訓(xùn)練的充分性和有效性。
2.4.6算法性能評(píng)估
基于測(cè)試集對(duì)算法設(shè)計(jì)進(jìn)行評(píng)估,確認(rèn)軟件算法性能的效率、敏感性、特異性,性能應(yīng)滿足算法設(shè)計(jì)要求。
算法性能評(píng)估應(yīng)包括軟件對(duì)樣本滿意度評(píng)價(jià)的能力測(cè)試、泛化能力的測(cè)試、壓力測(cè)試(指采用罕見或特殊的真實(shí)數(shù)據(jù)樣本開展的算法性能測(cè)試)、對(duì)抗測(cè)試、重復(fù)性與再現(xiàn)性測(cè)試、敏感性與特異性測(cè)試、分析效率測(cè)試、算法性能影響因素分析、性能評(píng)估結(jié)果比較分析、偏差報(bào)告等研究。
通過樣本量估算確定測(cè)試集中陰、陽性樣本和壓力樣本的樣本量,提供測(cè)試集關(guān)于疾病構(gòu)成(包括年齡和病理類型、異常細(xì)胞類型等)、數(shù)據(jù)來源的數(shù)據(jù)分布情況。明確對(duì)抗樣本的選擇原則;明確性能評(píng)估的可接受標(biāo)準(zhǔn)和標(biāo)準(zhǔn)制定依據(jù)。提交測(cè)試報(bào)告和細(xì)胞/組織形態(tài)圖示例。
若使用第三方數(shù)據(jù)庫(kù)開展算法性能評(píng)估,提供第三方數(shù)據(jù)庫(kù)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測(cè)試數(shù)據(jù)樣本量、評(píng)估指標(biāo)、評(píng)估結(jié)果等)。提交第三方數(shù)據(jù)庫(kù)數(shù)據(jù)樣本來源和本計(jì)算機(jī)輔助分析軟件產(chǎn)品的產(chǎn)品技術(shù)要求、說明書中指定的制片流程和圖像采集設(shè)備的一致性的評(píng)價(jià)(包含指定的樣本來源,即指定的切片制備流程和/或樣本保存液、抗體試劑、染色液等)和配套的圖像采集設(shè)備獲得的符合要求的數(shù)字病理圖片。
根據(jù)研究結(jié)論,確定軟件使用限制并在說明書中進(jìn)行描述。
2.4.7算法可追溯性分析
提供算法可追溯性分析報(bào)告,即追溯算法需求、算法設(shè)計(jì)、源代碼(明確軟件單元名稱即可)、算法測(cè)試、算法風(fēng)險(xiǎn)管理的關(guān)系表。
(三)產(chǎn)品說明書和標(biāo)簽樣稿
明確該產(chǎn)品適用范圍,明確產(chǎn)品適用的顯微鏡和圖像采集設(shè)備的名稱和型號(hào),明確圖像參數(shù)及質(zhì)量。明確病理切片或細(xì)胞涂片的制備流程及試劑廠家信息。明確軟件報(bào)告內(nèi)容。對(duì)產(chǎn)品帶來的假陽/假陰性風(fēng)險(xiǎn)進(jìn)行提示。
根據(jù)算法影響因素分析報(bào)告,在說明書明確產(chǎn)品使用限制和必要的警示提示信息。列明算法訓(xùn)練總結(jié)和算法性能評(píng)估總結(jié)以及臨床評(píng)價(jià)總結(jié)。