騰訊把 BERT 方法用于單細(xì)胞注釋技術(shù)，還登上了Nature 子刊。

能輔助醫(yī)生精準(zhǔn)治癌的那種。

此次聚焦的單細(xì)胞 RNA 測序（scRNA-seq）技術(shù)，一直被稱為生命科學(xué)領(lǐng)域的的革命性工具，對于 "精準(zhǔn)醫(yī)療" 具有極高的應(yīng)用價值。

但是，以前受制于數(shù)據(jù)樣本量小、人工干預(yù)多等因素，一直難以推廣使用。

這次騰訊首次將 "transformer" 應(yīng)用到該領(lǐng)域，使其真正實現(xiàn)了高解釋性、高泛化性、高穩(wěn)定性。

目前，該模型已在 GitHub 上開源 （鏈接附在文末）。

新模型怎么做到的？

眾所周知，人類各種組織之間細(xì)胞的類型、狀態(tài)和相互作用差異巨大。

而單細(xì)胞 RNA 測序技術(shù)的出現(xiàn)，可以細(xì)粒度地觀察和刻畫各個物種中組織、器官和有機(jī)體中單細(xì)胞分子圖譜（細(xì)胞表達(dá)），堪稱給細(xì)胞中的每個基因都印上專屬 " 身份證 "。

通過這一技術(shù)，研究人員可以更好地研究這些組織及其中存在的不同類型的細(xì)胞。

更進(jìn)一步地說，還可以更好地了解腫瘤微環(huán)境，以達(dá)到精細(xì)分析病因、精準(zhǔn)匹配治療方案的效果。

但是，受數(shù)據(jù)樣本量小、人工干預(yù)多、過度依賴 marker gene（已報道的特異性基因）等因素的影響，單細(xì)胞測序細(xì)胞類型注釋技術(shù)一直面臨著泛化性、可解釋性、穩(wěn)定性均比較低的問題，現(xiàn)存的算法也難以有更廣泛的應(yīng)用。

具體來說，人工注釋費時、主觀性強(qiáng)、誤差大、不利于發(fā)現(xiàn)新的細(xì)胞類型；機(jī)器注釋則經(jīng)常出現(xiàn)在一個檢測組織里有效，換到另外一個檢測組織里就沒效的問題，還是需要人工參與。

為此，研究人員開發(fā)了一種基于預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的模型：scBERT 模型，并首次將 "transformer" 運用到單細(xì)胞轉(zhuǎn)錄組測序數(shù)據(jù)分析領(lǐng)域。

scBERT 模型，顧名思義是基于 BERT 的思路和范式。

在預(yù)訓(xùn)練數(shù)據(jù)選擇上，為了保證全基因組內(nèi)基因級別的可解釋性，scBERT 沒有做任何的降維或篩選處理，最大程度上保留數(shù)據(jù)本身的特性和信息。

此外，該模型復(fù)用了大規(guī)模的公開數(shù)據(jù)集，包含不同實驗來源、批次和組織類型的單細(xì)胞數(shù)據(jù)，以保證模型能學(xué)習(xí)到更為 " 通用 " 的知識，精準(zhǔn)捕獲單個基因的表達(dá)信息及兩兩基因之間的作用關(guān)系。

在實驗中，scBERT 模型也證實了其在單細(xì)胞測序上呈現(xiàn)出的高解釋性、高泛化性、高穩(wěn)定性。

截至目前，通過了 9 個獨立數(shù)據(jù)集、超過 50 萬個細(xì)胞、覆蓋 17 種主要人體器官和主流測序技術(shù)組成的大規(guī)模 benchmarking 測試數(shù)據(jù)集上，該算法模型的優(yōu)越性均得以驗證。

值得一提的是，在極具挑戰(zhàn)的外周血細(xì)胞亞型細(xì)分任務(wù)上，相較現(xiàn)有最優(yōu)方法的 70% 準(zhǔn)確度提升了 7%。

不僅如此，這一技術(shù)的突破在實際應(yīng)用中也有很重要的價值：

未來可用于臨床單細(xì)胞測序數(shù)據(jù)，并輔助醫(yī)生描述準(zhǔn)確的腫瘤微環(huán)境、檢測出微量癌細(xì)胞，從而實現(xiàn)個性化治療方案或者癌癥早篩。

同時，對疾病致病機(jī)制分析、耐藥性、藥物靶點發(fā)現(xiàn)、預(yù)后分析、免疫療法設(shè)計等領(lǐng)域都具有極其重要的作用。

研究團(tuán)隊

研究團(tuán)隊主要來自騰訊 AI Lab，共同一作有三位：Fan Yang、Wenchuan Wang 和 Fang Wang。

研究人員稱，未來他們會繼續(xù)基于自身先進(jìn) AI 技術(shù)的積累，與下游臨床、制藥和生命科學(xué)基礎(chǔ)研究領(lǐng)域進(jìn)行密切合作。