成·人午夜在线观看_日本一点不卡高清_午夜剧场a级毛片_国产精品免费AV片在线观看

醫(yī)療器械法規(guī)、注冊、臨床、體系認(rèn)證、信息系統(tǒng)一站式服務(wù)
24×7服務(wù)熱線:0571-86198618 簡體中文 ENGLISH
當(dāng)前位置:網(wǎng)站首頁>關(guān)于我們>新聞動態(tài)
血液病流式細(xì)胞學(xué)人工智能分析軟件性能評價審評要點(2023年第23號)
發(fā)布日期:2023-07-10 00:00瀏覽次數(shù):746次
《血液病流式細(xì)胞學(xué)人工智能分析軟件性能評價審評要點》旨在指導(dǎo)醫(yī)療器械注冊申請人對血液病流式細(xì)胞學(xué)人工智能分析軟件注冊申報資料中非臨床評價部分的準(zhǔn)備及撰寫,同時也為技術(shù)審評部門提供參考。本要點是對血液病流式細(xì)胞學(xué)人工智能分析軟件申報資料的一般要求,申請人需依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若不適用,需具體闡述理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)產(chǎn)品的具體特性對注冊申報資料的內(nèi)容進(jìn)行充實和細(xì)化。

血液病流式細(xì)胞學(xué)人工智能分析軟件性能評價審評要點

本要點旨在指導(dǎo)醫(yī)療器械注冊申請人對血液病流式細(xì)胞學(xué)人工智能分析軟件注冊申報資料中非臨床評價部分的準(zhǔn)備及撰寫,同時也為技術(shù)審評部門提供參考。

本要點是對血液病流式細(xì)胞學(xué)人工智能分析軟件申報資料的一般要求,申請人需依據(jù)產(chǎn)品的具體特性確定其中內(nèi)容是否適用。若不適用,需具體闡述理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)產(chǎn)品的具體特性對注冊申報資料的內(nèi)容進(jìn)行充實和細(xì)化。

本要點是供注冊申請人和技術(shù)審評人員使用的指導(dǎo)性文件,但不包括審評審批所涉及的行政事項,亦不作為法規(guī)強(qiáng)制執(zhí)行,需在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。如果有能夠滿足相關(guān)法規(guī)要求的其他方法,也可以采用,但是需要提供詳細(xì)的研究資料和驗證資料。

本要點是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的,隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善,以及科學(xué)技術(shù)的不斷發(fā)展,本要點的相關(guān)內(nèi)容也將進(jìn)行適時的調(diào)整。

一、適用范圍

血液病流式細(xì)胞學(xué)分析,與細(xì)胞形態(tài)學(xué)、細(xì)胞遺傳學(xué)、分子遺傳學(xué)等一起,用于血液病的輔助診斷、鑒別診斷、預(yù)后判斷、治療監(jiān)測、免疫監(jiān)測、造血干細(xì)胞移植相關(guān)檢測等。樣本類型可為血液或骨髓、淋巴結(jié)、腦脊液、及其他適用樣本類型。

血液病流式細(xì)胞學(xué)人工智能分析軟件,指通過人工智能算法幫助醫(yī)生分析多參數(shù)流式細(xì)胞學(xué)技術(shù)/流式細(xì)胞儀產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)文件或圖形文件等進(jìn)行血液病輔助體外診斷的軟件,通常用于定性或定量分析,可以是軟件組件或獨立軟件。通過對結(jié)構(gòu)化數(shù)據(jù)的人工智能算法分析,用途包含:(一)基礎(chǔ)分析:通過單一的人工智能算法輔助流式細(xì)胞學(xué)數(shù)據(jù)的可視化,從而輔助流式診斷人員進(jìn)行自動設(shè)門和分析。(二)高階分析:通過多個人工智能算法組合使用(如集成學(xué)習(xí)算法和卷積神經(jīng)網(wǎng)絡(luò)算法組合使用),實現(xiàn)自動設(shè)門輔助血液疾病診斷(良/惡性、白血病亞型分類、淋巴瘤分型等)、化療后的微小殘留病監(jiān)測等。

產(chǎn)品在醫(yī)療機(jī)構(gòu)、醫(yī)學(xué)實驗室使用,其結(jié)果供執(zhí)業(yè)醫(yī)師參考。軟件作為血液病流式細(xì)胞學(xué)輔助診斷工具,其提示的診斷結(jié)果不能作為臨床診斷決策的唯一依據(jù)。

產(chǎn)品管理類別:

獨立軟件分類編碼:21-04-02(計算機(jī)輔助診斷/分析軟件)

軟件組件分類編碼:22-01-08(流式細(xì)胞分析儀器)

應(yīng)注意本要點主要適用于輔助決策類的人工智能醫(yī)療器械,按照第三類管理,其他類別的產(chǎn)品可根據(jù)其適用性參照執(zhí)行。關(guān)于人工智能醫(yī)用軟件分類的判定,可參照《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》。

產(chǎn)品名稱:建議依據(jù)醫(yī)用軟件通用名稱要求,按“特征詞1(如有)+特征詞2(如有)+特征詞3(如有)+核心詞”結(jié)構(gòu)編制。具體到該類產(chǎn)品,建議體現(xiàn)處理對象和臨床用途,如血液?。ň唧w病種)+流式細(xì)胞學(xué)輔助分析/檢測軟件,可參考《醫(yī)療器械分類目錄》、《醫(yī)用軟件通用名稱命名指導(dǎo)原則》中的品名舉例或已批準(zhǔn)的同類產(chǎn)品進(jìn)行命名。如為軟件組件,則產(chǎn)品名稱體現(xiàn)醫(yī)療器械名稱,如“多參數(shù)流式細(xì)胞儀”,但在適用范圍體現(xiàn)人工智能算法類型,在產(chǎn)品說明書體現(xiàn)使用限制等相關(guān)內(nèi)容。

本要點基于《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》的基本框架要求,其中關(guān)于人工智能醫(yī)療器械的的術(shù)語定義、相關(guān)要求參照上述指導(dǎo)原則。

人工智能分析軟件注冊.jpg

二、產(chǎn)品簡介

該類軟件的分析對象基于流式細(xì)胞儀產(chǎn)生的標(biāo)準(zhǔn)化的結(jié)構(gòu)化數(shù)據(jù)文件或圖形文件等。

產(chǎn)品的工作原理:產(chǎn)品為獨立軟件或軟件組件,采用人工智能算法對流式細(xì)胞儀數(shù)據(jù)進(jìn)行處理(如:數(shù)據(jù)特征提取、數(shù)據(jù)通過函數(shù)圖形化以及自動設(shè)門、決策分析等),實現(xiàn)對流式細(xì)胞儀數(shù)據(jù)、對細(xì)胞分類及定量結(jié)果進(jìn)行分析,達(dá)到輔助診斷的功能。

主要結(jié)構(gòu)及組成:結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊,其中交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件,功能模塊包括客戶端、服務(wù)器端(若適用)等,若適用注明選裝、模塊版本。

服務(wù)器端:負(fù)責(zé)接收并處理請求,對請求進(jìn)行數(shù)據(jù)處理,調(diào)用人工智能算法(如PCA、t-SNE、SVM等)對數(shù)據(jù)進(jìn)行處理并輸出分析結(jié)果。把用戶請求的數(shù)據(jù)結(jié)果返回給瀏覽器。

客戶端:將服務(wù)器端分析結(jié)果呈現(xiàn)到用戶界面。用戶 可在用戶界面端進(jìn)行自動設(shè)門、細(xì)胞分群、輔助分類、輔助診斷、報告管理、檢索查詢、用戶管理、查看日志等功能操作。

預(yù)期使用環(huán)境:申報產(chǎn)品主要使用環(huán)境為醫(yī)療機(jī)構(gòu)、醫(yī)學(xué)實驗室。

三、基本要求

在滿足相關(guān)法規(guī)、規(guī)章、指導(dǎo)原則、標(biāo)準(zhǔn)的前提下,還應(yīng)重點關(guān)注下列內(nèi)容:

(一)綜述資料

詳細(xì)描述該產(chǎn)品的算法名稱,選擇該算法的依據(jù)和權(quán)威文獻(xiàn),數(shù)據(jù)處理的在流式細(xì)胞分析流程中的節(jié)點及輔助決策功能及功能實現(xiàn)方法,描述配套使用流式細(xì)胞儀器設(shè)備(廠家、型號、注冊證號及主要參數(shù)設(shè)置:包括激光數(shù)、通道設(shè)置等)及儀器質(zhì)量控制參數(shù)(儀器校準(zhǔn)、電壓補(bǔ)償?shù)龋?、配套使用的流式?xì)胞檢測試劑(名稱、廠家、注冊證號等),描述數(shù)據(jù)產(chǎn)生的樣本類型。

人工智能醫(yī)療器械從成熟度角度可分為成熟和全新兩種類型,其中成熟是指安全有效性已在醫(yī)療實踐中得到充分證實的情形,全新是指未上市或安全有效性尚未在醫(yī)療實踐中得到充分證實的情形。人工智能醫(yī)療器械的算法、功能、用途若有一項為全新則屬于全新類型,反之屬于成熟類型。

在資料中應(yīng)當(dāng)說明采用算法的成熟程度,采用全新算法的,應(yīng)當(dāng)在綜述資料中詳細(xì)說明。

闡述軟件研發(fā)背景,包括對輔助決策功能的介紹,目前該血液病臨床診斷參考標(biāo)準(zhǔn)、診療指南和分型依據(jù)。申報產(chǎn)品數(shù)據(jù)處理標(biāo)準(zhǔn)和分型依據(jù)應(yīng)與臨床標(biāo)準(zhǔn)一致。

(二)非臨床資料

1.產(chǎn)品技術(shù)要求及檢驗報告

性能指標(biāo)應(yīng)包括“所分析的數(shù)據(jù)類型”、“分析速度”、“臨床功能”等,如數(shù)據(jù)處理、數(shù)據(jù)分析、診斷提示等。

其他要求請參照《醫(yī)療器械軟件注冊審查指導(dǎo)原則(2022年修訂版)》。

2.軟件研究資料

按照《醫(yī)療器械軟件注冊審查指導(dǎo)原則(2022年修訂版)》、《醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則(2022年修訂版)》、《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》的要求,提交研究資料。明確發(fā)布版本號。提交的研究資料主要包含軟件研究資料、算法研究資料、網(wǎng)絡(luò)安全研究資料。研究資料內(nèi)容應(yīng)涵蓋申報產(chǎn)品適用范圍中描述的全部內(nèi)容。

2.1風(fēng)險管理

軟件安全性級別越高,其生存周期質(zhì)控要求越嚴(yán)格,注冊申報資料越詳盡,同時由于全新類型的潛在未知風(fēng)險多于成熟類型,故需結(jié)合成熟度予以綜合考慮。

人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預(yù)期用途、使用場景、核心功能進(jìn)行綜合判定,其中預(yù)期用途主要考慮用途類型、重要程度、緊迫程度等因素,使用場景主要考慮使用場合、疾病特征、適用人群、目標(biāo)用戶等因素,核心功能主要考慮功能類型、核心算法、輸入輸出、接口等因素。

參考YY/T 0316、GB/T 42062和YY/T 0664等標(biāo)準(zhǔn)進(jìn)行風(fēng)險管理。風(fēng)險管理活動應(yīng)當(dāng)基于軟件的預(yù)期用途、使用場景、核心功能予以實施,并貫穿軟件全生命周期過程。申請人重點考慮如下風(fēng)險因素:此類產(chǎn)品算法風(fēng)險包括算法選擇風(fēng)險、算法訓(xùn)練及驗證的風(fēng)險等,主要包括算法選擇依據(jù)不充分,算法訓(xùn)練使用的數(shù)據(jù)質(zhì)量不高,數(shù)據(jù)代表性不足或數(shù)據(jù)量不夠,由于樣本前處理、流式細(xì)胞儀光路信號校準(zhǔn)和質(zhì)控,流式細(xì)胞分析過程或流式熒光試劑標(biāo)記發(fā)生錯誤等原因產(chǎn)生,造成過擬合和欠擬合導(dǎo)致的泛化能力不足,數(shù)據(jù)擴(kuò)增(如適用)和數(shù)據(jù)偏移等造成的假陰性和假陽性錯誤等;使用中的風(fēng)險主要包括未經(jīng)培訓(xùn)的人員使用,以及樣本采集、處理、儀器校準(zhǔn)等錯誤,造成的假陰性和假陽性錯誤。其中假陰性即漏診,可能導(dǎo)致后續(xù)診療活動延誤,特別是要考慮快速進(jìn)展疾病的診療活動延誤風(fēng)險,而假陽性即誤診,可能導(dǎo)致后續(xù)不必要的診療活動。

以算法特性為核心重點關(guān)注其泛化能力,以模型/數(shù)據(jù)為基礎(chǔ)重點關(guān)注其質(zhì)控情況,同時從風(fēng)險管理角度兼顧算力不足與失效的影響。

注冊申請人應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能開展風(fēng)險管理活動,采取風(fēng)險控制措施將風(fēng)險降至可接受水平,并貫穿于人工智能醫(yī)療器械全生命周期過程。

此外,進(jìn)口人工智能醫(yī)療器械還需考慮中外差異風(fēng)險,如人種、流行病學(xué)特征、臨床診療規(guī)范等差異。

2.2需求規(guī)范

提供軟件需求規(guī)范文檔,明確軟件的功能、性能、接口、用戶界面、運行環(huán)境、網(wǎng)絡(luò)安全、數(shù)據(jù)采集等需求。

數(shù)據(jù)采集需考慮數(shù)據(jù)來源的合規(guī)性、充分性和多樣性,數(shù)據(jù)分布的科學(xué)性和合理性,數(shù)據(jù)質(zhì)控的充分性、有效性和準(zhǔn)確性。數(shù)據(jù)應(yīng)來源于分布于不同地域的機(jī)構(gòu)且不少于3家,確保數(shù)據(jù)應(yīng)當(dāng)具備高度的多樣性。機(jī)構(gòu)應(yīng)使用軟件說明書中的分析流程采集數(shù)據(jù),如明確的樣本來源、儀器設(shè)備、樣本處理(前處理、單細(xì)胞懸液的制作、熒光抗體試劑的選擇等)。數(shù)據(jù)分布的科學(xué)性和合理性,應(yīng)考慮包括但不限于疾病構(gòu)成(如分型、分級、分期)、人群分布(如高危人群、患者,性別、年齡)等情況。

算法性能需結(jié)合產(chǎn)品預(yù)期用途,綜合考慮分析速度、敏感性、特異性、重復(fù)性與再現(xiàn)性、泛化性等性能指標(biāo)的適用性及其要求。

同時還需考慮因梯度消失(如適用)、梯度爆炸(如適用)、過擬合和欠擬合等影響算法性能的因素。

使用限制需考慮產(chǎn)品禁用、慎用等場景,準(zhǔn)確表述產(chǎn)品使用場景,提供必要警示提示信息。

2.3軟件性能研究

提供產(chǎn)品性能研究資料以及產(chǎn)品技術(shù)要求的研究和編制說明,給出軟件相關(guān)的功能性、安全性指標(biāo)的確定依據(jù)。注冊申請人需在軟件研究資料中提交GB/T 25000.51自測報告,亦可提交自檢報告或檢驗報告代替自測報告。產(chǎn)品技術(shù)要求中各指標(biāo)依據(jù)產(chǎn)品自身特點確定。

2.4算法研究資料

根據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》提交算法研究資料。逐項提交每個人工智能算法或算法組合的算法研究報告。

2.4.1算法基本信息

明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運行環(huán)境等基本信息以及算法選用依據(jù)。

其中,算法類型從學(xué)習(xí)策略、學(xué)習(xí)方法(基于模型的算法和基于數(shù)據(jù)的算法)、可解釋性(白盒算法和黑盒算法)等角度明確算法特性。算法結(jié)構(gòu)部分應(yīng)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。流程圖應(yīng)包含輸入示例、學(xué)習(xí)方法示意圖輸出示例。算法框架應(yīng)明確所用人工智能算法框架的基本信息,包括名稱、類型(自研算法框架、現(xiàn)成算法框架)、型號規(guī)格、完整版本、制造商等信息。若基于云計算平臺,應(yīng)明確云計算的名稱、服務(wù)模式、部署模式、配置以及云服務(wù)商的名稱、住所、服務(wù)資質(zhì)。運行環(huán)境應(yīng)明確算法正常運行所需的典型運行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片應(yīng)明確其名稱、型號規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述算法或算法組合選用的理由和基本原則。

2.4.2算法風(fēng)險管理

結(jié)合預(yù)期用途、使用場景、和核心功能、算法成熟度、網(wǎng)絡(luò)安全等因素,此類產(chǎn)品的軟件安全性級別為嚴(yán)重級別。提供算法風(fēng)險管理資料,若無單獨文檔可提供軟件風(fēng)險管理資料,并注明算法風(fēng)險管理所在位置。

2.4.3算法需求規(guī)范

提供算法需求規(guī)范文檔,若無單獨文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。

2.4.4數(shù)據(jù)收集

2.4.4.1提供數(shù)據(jù)來源合規(guī)性聲明,列明數(shù)據(jù)來源機(jī)構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件(或科研合作協(xié)議)編號等信息。

2.4.4.2數(shù)據(jù)采集

建議參考2.2需求規(guī)范的要求,提供數(shù)據(jù)采集操作規(guī)范文檔,包括數(shù)據(jù)采集方案和數(shù)據(jù)采集標(biāo)準(zhǔn)操作規(guī)程。

數(shù)據(jù)采集主要由臨床機(jī)構(gòu)實施,應(yīng)明確流式細(xì)胞分析流程的全部信息(包括全流程質(zhì)控標(biāo)準(zhǔn)、panel設(shè)計、儀器和試劑的標(biāo)準(zhǔn)化SOP等)、明確樣本及樣本處理要求、樣本的來源與分布、樣本質(zhì)量要求(樣本保存時限、質(zhì)量判斷標(biāo)準(zhǔn))、采集設(shè)備要求(應(yīng)包含流式細(xì)胞儀型號、通道數(shù)量、注冊證號、設(shè)備質(zhì)控及補(bǔ)償調(diào)節(jié)方式、數(shù)據(jù)的基本處理方式等)、流式抗體試劑要求(廠家、注冊證號等)、數(shù)據(jù)質(zhì)量要求、采集過程、數(shù)據(jù)脫敏、數(shù)據(jù)轉(zhuǎn)移等要求。采集過程應(yīng)對樣本數(shù)據(jù)進(jìn)行編號并加密,方案中應(yīng)包含編號規(guī)則。

關(guān)于數(shù)據(jù)集采集方面建議明確偏倚的控制方法,如:
    (1)為了保證研究對象的代表性,可從目標(biāo)人群中隨機(jī)抽樣、多中心,保證樣本量要足夠大。
    (2)為了保證研究對象選擇的質(zhì)量,研究設(shè)計中應(yīng)有明確、具體的診斷標(biāo)準(zhǔn)、納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn)。
    (3)檢測標(biāo)本盡量保持試驗條件的前后一致性,注意試劑質(zhì)量、儀器性能、樣本保存和操作規(guī)定。
    建議通過限制、配比、標(biāo)準(zhǔn)化、隨機(jī)化、分層分析和多元分析等進(jìn)行控制。

2.4.4.3數(shù)據(jù)整理

明確數(shù)據(jù)清洗/預(yù)處理程序,對數(shù)據(jù)處理中應(yīng)用的軟件進(jìn)行簡述,并以附件的形式提交數(shù)據(jù)處理中各軟件的軟件研究資料。

數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗需明確清洗的規(guī)則、方法、結(jié)果,數(shù)據(jù)預(yù)處理需明確處理的方法、結(jié)果。數(shù)據(jù)整理所用軟件工具均需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境,并進(jìn)行軟件確認(rèn)。

2.4.4.4數(shù)據(jù)標(biāo)注

明確標(biāo)注人員和仲裁人員的資質(zhì)要求和培訓(xùn)內(nèi)容,標(biāo)注人員和仲裁人員應(yīng)為相關(guān)專業(yè)資質(zhì)的人員,數(shù)據(jù)應(yīng)經(jīng)過2人或以上進(jìn)行標(biāo)注,標(biāo)注方式建議給出依據(jù)。簡述標(biāo)記系統(tǒng)信息,給出數(shù)據(jù)/圖像界面截圖,詳細(xì)介紹標(biāo)注過程、標(biāo)注對象和標(biāo)注標(biāo)準(zhǔn)(注意與臨床診斷標(biāo)準(zhǔn)的一致性)等。明確標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估、數(shù)據(jù)安全保證等要求,明確室內(nèi)質(zhì)控、室間質(zhì)評等要求。應(yīng)當(dāng)注意標(biāo)注數(shù)據(jù)的質(zhì)量評估,可抽選一定比例數(shù)據(jù)由有資質(zhì)的非標(biāo)注人員結(jié)合臨床進(jìn)行綜合診斷評估。

提供原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、標(biāo)注數(shù)據(jù)庫、擴(kuò)增數(shù)據(jù)庫(如有),關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況,包括適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素。

若數(shù)據(jù)來自公開數(shù)據(jù)庫,提供公開數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)分布等)。

2.4.4.5數(shù)據(jù)集構(gòu)建

明確各數(shù)據(jù)集劃分的方法及依據(jù)。訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性,根據(jù)預(yù)期用途,訓(xùn)練樣本應(yīng)涵蓋不同血液病樣本類型、不同分群類型等。調(diào)優(yōu)集應(yīng)保證樣本分布符合臨床實際情況,如陽性比例,不同類型比例、不同臨床分型比例等均應(yīng)符合臨床實際情況。訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗證。

如適用,進(jìn)行數(shù)據(jù)擴(kuò)增驗證時,應(yīng)當(dāng)明確擴(kuò)增的方式、方法、倍數(shù),并考慮數(shù)據(jù)擴(kuò)增對軟件的影響及風(fēng)險。列表比較擴(kuò)增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫的差異,論證擴(kuò)增數(shù)據(jù)庫樣本量的充分性以及分布的合理性。

2.4.5算法訓(xùn)練

依據(jù)適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素,提供訓(xùn)練集、調(diào)優(yōu)集(若有)關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

算法訓(xùn)練基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),應(yīng)明確算法訓(xùn)練所用的評估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法,提供ROC曲線或混淆矩陣等證據(jù)(如:迭代次數(shù)-訓(xùn)練CountIOU曲線和迭代冊數(shù)-召回率曲線)證明訓(xùn)練目標(biāo)滿足醫(yī)療要求,提供訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線(如迭代次數(shù)-Loss曲線)等證據(jù)以證實算法訓(xùn)練的充分性和有效性。

應(yīng)當(dāng)提供人工智能學(xué)習(xí)算法常用的評估函數(shù)來評估算法訓(xùn)練的質(zhì)量。

2.4.6算法性能評估

基于測試集對算法設(shè)計進(jìn)行評估,確認(rèn)軟件算法性能的效率、敏感性、特異性,性能應(yīng)滿足算法設(shè)計要求。

算法驗證:算法性能評估應(yīng)包括軟件對樣本滿意度評價的能力測試、泛化能力的測試、壓力測試(指采用罕見或特殊的真實數(shù)據(jù)樣本開展的算法性能測試)、對抗測試、重復(fù)性與再現(xiàn)性測試、診斷敏感性與特異性測試、分析效率測試、算法性能影響因素分析、性能評估結(jié)果比較分析、偏差報告等研究。應(yīng)以該軟件和臨床綜合診斷的一致性進(jìn)行比較.評價細(xì)胞分群的準(zhǔn)確性。

通過樣本量估算確定測試集中陰、陽性樣本和壓力樣本的樣本量,提供測試集關(guān)于疾病構(gòu)成(包括年齡和血液病類型、白細(xì)胞分化抗原種類)、數(shù)據(jù)來源的數(shù)據(jù)分布情況。明確對抗樣本的選擇原則;明確性能評估的可接受標(biāo)準(zhǔn)和標(biāo)準(zhǔn)制定依據(jù)。提交測試報告和結(jié)果圖示例。

若使用第三方數(shù)據(jù)庫開展算法性能評估,提供第三方數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測試數(shù)據(jù)樣本量、評估指標(biāo)、評估結(jié)果等)。還應(yīng)提交第三方數(shù)據(jù)庫數(shù)據(jù)樣本來源和本分析軟件在產(chǎn)品技術(shù)要求、說明書中要求的流式細(xì)胞分析流程的一致性評價(包含樣本要求、處理方式、流式細(xì)胞熒光抗體試劑的選擇、流式細(xì)胞儀、熒光及電壓補(bǔ)償方式、應(yīng)用的函數(shù)等),應(yīng)提交符合要求的流式細(xì)胞儀數(shù)據(jù)。

算法的確認(rèn):此類產(chǎn)品均需按照GCP的要求開展臨床試驗。臨床試驗的機(jī)構(gòu)應(yīng)具備該軟件要求的流式細(xì)胞分析流程所需的人員、試劑及儀器設(shè)備,臨床試驗應(yīng)以該軟件和臨床綜合診斷的一致性進(jìn)行比較,確保其產(chǎn)生的流式細(xì)胞儀數(shù)據(jù)與該軟件說明書和技術(shù)要求的一致性。

2.4.7算法可追溯性分析

提供算法可追溯性分析報告,即追溯算法需求、算法設(shè)計、源代碼(明確軟件單元名稱即可)、算法測試、算法風(fēng)險管理的關(guān)系表。若無單獨文檔可提供軟件可追溯性分析報告,需注明算法可追溯性分析所在位置。

(三)產(chǎn)品說明書和標(biāo)簽樣稿

明確該產(chǎn)品適用范圍,明確流式細(xì)胞學(xué)人工智能分析的全流程質(zhì)控標(biāo)準(zhǔn)、適用的流式細(xì)胞分析設(shè)備、設(shè)備參數(shù)設(shè)置、適用的試劑及試劑盤設(shè)計、樣本處理方法和本軟件適用的標(biāo)準(zhǔn)化SOP等。明確軟件報告內(nèi)容。對產(chǎn)品帶來的假陽/假陰性風(fēng)險進(jìn)行提示。

根據(jù)算法性能綜合評價結(jié)果,對產(chǎn)品的適用范圍、使用場景、核心功能進(jìn)行必要限制,并在說明書中明確產(chǎn)品使用限制和必要警示提示信息。明確數(shù)據(jù)采集設(shè)備和數(shù)據(jù)采集過程相關(guān)要求。

若產(chǎn)品采用人工智能黑盒算法,根據(jù)算法影響因素分析報告,在說明書明確產(chǎn)品使用期限、使用限制和必要的警示提示信息。

明確人工智能算法的算法性能評估總結(jié)(測試集基本信息、評估指標(biāo)與結(jié)果)、臨床評價總結(jié)(臨床數(shù)據(jù)基本信息、評價指標(biāo)與結(jié)果)、決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識等參考文獻(xiàn))等信息。若采用基于數(shù)據(jù)的人工智能算法,說明書還應(yīng)補(bǔ)充算法訓(xùn)練總結(jié)信息(訓(xùn)練集基本信息、訓(xùn)練指標(biāo)與結(jié)果)列明算法訓(xùn)練總結(jié)和算法性能評估總結(jié)以及臨床評價總結(jié)。

對于軟件安全性級別為嚴(yán)重級別的產(chǎn)品,需提供用戶培訓(xùn)材料。


Copyright © 2018 醫(yī)療器械注冊技術(shù)咨詢 浙ICP備18025678號 技術(shù)支持:熙和網(wǎng)絡(luò)

新聞動態(tài)