元宇宙賦能疾病診治:未來虛實融合的就診場景

發布時間:2023年10月13日 作者:網站管理員(yuán) 浏覽量:706

2021年10月,Facebook公司宣布其更名爲“Meta”,從而引爆元宇宙這個概念,迅速引起各個領域的廣泛關注,成爲最熱的科技名詞,這一(yī)年也被稱爲元宇宙元年。

元宇宙概念的出現與發展,來自于人們對虛拟世界的更高向往和追求,對高度沉浸感的空間以及超現實能力的不斷探索。而随着人工(gōng)智能、虛拟現實、區塊鏈等信息技術的日臻成熟,元宇宙逐漸初露雛形。元宇宙整合網絡通信技術、數據存儲技術、虛拟現實技術等,構成一(yī)種新型虛實相融的新型社會形态,将虛拟世界與現實世界在經濟系統、社交系統、商(shāng)業系統、身份系統上密切融合,形成一(yī)個現實和超現實的虛拟影像世界,并允許人們去(qù)創造、生(shēng)産和擴充虛拟世界,把跨時空性、跨地域、跨載體(tǐ)、跨媒介融爲一(yī)體(tǐ)。

元宇宙時代的到來将成爲疾病診療“賦能器”,尤其對于爲醫療診斷決策、診療方案選擇、治療過程展示等醫療服務的核心環節提供技術和手段,實現身臨其境的疾病感知(zhī)、深度沉浸的診療認知(zhī),讓疾病診治的效果更好、效率更高。

一(yī)、未來疾病診斷的發展需求

随着以深度強化學習技術爲代表的人工(gōng)智能技術群的快速崛起,未來疾病診療即将進入“智慧”時代。得益于人工(gōng)智能化水平的加強、多維度數據的融合、圖像診斷技術的發展,醫生(shēng)們越來越需要醫療輔助智能決策系統幫助其應對急劇增長的、繁雜(zá)的醫療信息處理工(gōng)作,輔助其進行疾病診斷和醫患溝通。對未來疾病診療提出了以下(xià)幾個方面的要求:

一(yī))實體(tǐ)信息與知(zhī)識信息之間的快速構建

在未來疾病診療的信息環境下(xià),由于來自病曆、病例、文獻和實踐經驗,以及新設備、新技術、新項目、新藥品、新療法等複雜(zá)醫療信息參考體(tǐ)系,疾病診斷就需要對診療所需的各類信息、資(zī)料、案例與患者主要病情進行高保真快速呈現,同時在面向不同診斷需求時可以實現不同生(shēng)理部位、不同分(fēn)辨率的切換調整,爲醫生(shēng)們創造身臨其境的疾病态勢感知(zhī)環境,讓現實與虛拟之間相互對應、相互印證、相互協同,以滿足未來智能診斷的需要。

二)傳統疾病決策與醫療輔助智能決策之間的快速響應

人工(gōng)智能輔助決定是未來醫療服務的發展趨勢,使得醫療診斷決策面臨更多的選擇,更多的信息處理,對醫療決策的快速性與準确性提出了更高要求。因此,要求醫療診斷決策平台可以建立各類疾病的診療方案,對應實體(tǐ)患者和疾病的智能模型,并能随着新型機器學習技術的發展應用和醫療技術的不斷發展,經作成功診治案例的不斷累積,進行自适應學習從而不斷叠代優化滿足診療需要。醫生(shēng)們借助人工(gōng)智能決策結論,運用人的學習與推理、問題求解的優勢,與人工(gōng)智能決策在元宇宙空間對話(huà),彼此理解和認可雙方的決策,形成人機合一(yī)的決策體(tǐ)制。

三)診療方案的預推演與實踐仿真之間的快速對應

人體(tǐ)具備高度複雜(zá)性和難标準化特征,根據每名患者不同的病情表現和生(shēng)理、心理特征進行個性化的診斷和定制化的診療方案,這對醫生(shēng)們掌握最新的本學科指南(nán)和跨學科研究成果、其它地域的成功診療案例提出更高的要求。因此,智能輔助診療平台不僅要滿足預先學習已有的臨床路徑、循證結論和實體(tǐ)病例等條件,還需要滿足對預先的診療方案進行自動驗證,形成對預先診療結果的評估,同時可滿足向患者作出疾病診斷的依據和治療的過程及可能結果的多層級可視化呈現,從而引導醫生(shēng)們及時依據患者的情況作出相應的診療方案調整。

二、元宇宙的主要特性及賦能疾病診療的着力點

一(yī))元宇宙的主要特性

基于對元宇宙概念定義的分(fēn)析,元宇宙的突出特性包括真身社交性、深度沉浸性、開(kāi)放(fàng)創作性和交互協作性。

1.真身社交性

元宇宙是人類社會形态發展的新産物(wù),基于網絡硬件技術的搭建與現實生(shēng)活内容的延伸,人們開(kāi)始追求超脫于現實世界層面,準備在虛拟空間中(zhōng)開(kāi)拓社交場景。以醫生(shēng)們爲例,每個醫生(shēng)都對應一(yī)個獨立的“數字化身”,不同于現在的微信号、推特号、QQ号等賬号信息,這樣便可以在虛拟空間複刻出一(yī)個真實的自己,可以利用自己的元宇宙唯一(yī)身份進行全方位醫患社交和個人品牌信譽打造,而且能夠在不同的醫療服務場景中(zhōng)獲得全景式的社交感知(zhī)與具身的情感體(tǐ)驗,其在元宇宙中(zhōng)的所有醫療服務軌迹都将被記錄成爲醫療服務财産。

2.深度沉浸性

“真身的現實感”是元宇宙深度沉浸性的本質表現。

3.開(kāi)放(fàng)創作性

元宇宙在基礎設施、标準及協議的不斷叠代演進的支撐下(xià),可以實現現實醫療機構環境與虛拟世界信息暢通無阻的傳輸,推進多平台融合,并呈現出标準化、工(gōng)具化的發展方向。

4.交互協作性

元宇宙實現了虛拟空間與現實世界的融合,醫生(shēng)與患者将同時擁有虛拟空間中(zhōng)的超現實能力以及與現實世界的作用力,在與元宇宙交互過程中(zhōng)獲得疾病認知(zhī)力、診療方案認同力和診療過程感知(zhī)力的增強。自然人的能力在現實空間和虛拟空間得到雙提升。

二) 元宇宙賦能疾病診療的着力點

1.元宇宙可以使虛拟空間的構建與訪問更加安全。

2.元宇宙使得跨時空的群體(tǐ)交互協作更加便捷。

3.元宇宙使新診療知(zhī)識的創新創作更加有效。

三)基于元宇宙的疾病診療架構

未來虛實融生(shēng)的場景模拟是元宇宙賦能疾病診療的主要呈現形态。

1. 智能推理空間與現實診療環境關系

智能推理空間是平行于且超越現實診療環境的虛拟活動空間,繼承并且發展了現實醫療服務環境的所有屬性、行爲和社會關系。

2. 核心模塊的具體(tǐ)功能

疾病診療元宇宙作爲元宇宙在醫療服務領域的垂直應用,通過疾病認知(zhī)、智能決策、診療方案推演和執行反饋4個功能模塊的聯接與反饋,能爲醫務人員(yuán)、患者等用戶提供高度沉浸、自然交互的虛實融合疾病診療環境,不斷增強診療體(tǐ)驗與思維認知(zhī)。

1) 多重空間的疾病态勢感知(zhī)模塊

醫療數據非結構化、多源異構、海量且價值密度低等特點,對局部和整體(tǐ)都極爲複雜(zá)的病情認知(zhī)和精準決策帶來諸多挑戰,從海量數據中(zhōng)快速提取有用信息、疾病的變化趨勢讓醫生(shēng)們有效準确地進行疾病态勢感知(zhī)顯得尤其重要。

2)人機融合的智能決策模塊

疾病變化複雜(zá)多變,如何因地制宜地快速生(shēng)成符合當前疾病診治方案是面臨的挑戰之一(yī)。

3 多沉浸的推演評估模塊

推演評估是對診療方案的預先實踐、推演和評估的過程,也是在疾病診療中(zhōng)輔助決策進而掌握疾病診治主動的關鍵環節,可爲醫生(shēng)們評估診療效果、驗證是否可行,預測診療效果、發現并規避醫療風險提供科學的依據和指導。

4 協同響應的執行反饋模塊

面向智能化醫療的需求,元宇宙技術改變傳統醫療裝備須進行實體(tǐ)控制的模式,以眼動、手動、手勢、語音等多通道實現“一(yī)人遠端、多端”的設備操控,使醫師能以最簡單自然的操作與遠程系統配合完成診療任務;同時通過動作、表情甚至腦電等交互識别技術,實現遠程系統自動自覺,快速準确理解醫生(shēng)的手術意圖,從而提高手術效率;通過虛拟空間和現實環境中(zhōng)診療實體(tǐ)的關聯映射,構建醫師、醫療裝備、醫療場景的數字化化身,通過以虛制實和虛實互動,不斷增強優化醫師的決策能力和技術水平,保持決策行動的整體(tǐ)連續和穩定,提高手術質量。

5數據信息的保密存儲模塊

數據是上述功能模塊實現的基礎,是實施診斷、手術、治療、康複過程中(zhōng)的産物(wù),主要有場景構建數據、實時醫療數據以及交互過程中(zhōng)的用戶特征和交互行爲數據,其中(zhōng)蘊含着決定疾病能否治愈的關鍵因素。

 、自然人、元宇宙人和機器人相互關系

人具有全面觀察力、思維想象力、記憶理解力和實踐創造力,這些特性表現在疾病診療決策中(zhōng),則是深刻的疾病态勢感知(zhī)判斷能力、知(zhī)識融合創新能力和診療方案的執行操作能力。

自然人是存在于現實診療環境的實體(tǐ),疾病态勢的理性分(fēn)析、數據背後的疾病含義、手術操作的動手能力都需要在現實世界中(zhōng)習得。

機器人同樣存在于現實環境,是仿照自然人(例如醫生(shēng))真身制作而成,是對醫生(shēng)的功能模拟,而不是形體(tǐ)模仿,是自然人的物(wù)理實體(tǐ),同時具備控制能力、學習、判斷和處理能力,這些能力由醫生(shēng)化身的行爲數據賦予。機器人的行爲數據可向自然人本體(tǐ)反饋,擴展和豐富自然人對現實診療環境的認知(zhī)、記憶和經驗等。

面向具體(tǐ)某一(yī)疾病診治任務,醫生(shēng)們以實時化身進入智能推演空間,将自身的診療經驗、知(zhī)識和體(tǐ)會與“機”的智能相融合,形成人機融合的診療決策結論和診療方案,并通過診療方案推演評估不斷優化,将最終的診療方案呈現給醫生(shēng)真人,用于指揮包括機器人在内的藥品、耗材和設備實體(tǐ),其執行效果可動态反饋給醫生(shēng)。

醫生(shēng)通過在元宇宙空間的分(fēn)身,使其具備了處理多項診療任務的能力。面向多任務的需求,醫生(shēng)化身多個分(fēn)身,不同的分(fēn)身對應不同的任務,最終匹配到解決該任務的最佳分(fēn)身,獲得最佳解決方案。

四、疾病診療元宇宙的關鍵技術

元宇宙是多項互聯網通信技術、虛拟現實技術、數據存儲技術等數字技術的綜合應用,不僅要實現對現實世界的同步虛拟構造,更要實現适時的再造和反映動态變化,并且要多個技術疊加兼容、交互融合。

一(yī))實時渲染技術

實時渲染技術是支撐未來虛實融生(shēng)疾病診療的核心技術,其對硬件能力要求較高。

實時渲染對通信力、數據力和算力要求極高,因此,智能推理空間需要建立算力+傳輸+存儲模式,需要構建專門面向醫療機構的信息化服務。

二)人工(gōng)智能技術

在虛拟現實的疾病診療過程中(zhōng),智能決策是最關鍵的部分(fēn)之一(yī),以深度強化學習爲主的人工(gōng)智能技術将發揮出明顯的優勢。

面向日益複雜(zá)的疾病診斷,衆多生(shēng)理指标以及非結構化的病曆數據使得準确定下(xià)疾病診療方案十分(fēn)困難,無法直接通過強化學習實現智能決策。将已有非結構化病曆數據輸入到智能推理空間,利用深度學習技術将當前生(shēng)理信息進行快速準确的特征提取與分(fēn)類,結合已有的一(yī)些結構化、非結構化的數據,作出人工(gōng)智能自己的決策,供醫生(shēng)們二次決策。

三)多通道交互技術

多通道交互技術包括眼動跟蹤、骨骼姿态檢測、語音交互、腦電交互與手勢交互等,是爲元宇宙用戶提供沉浸式的虛拟現實體(tǐ)驗的階梯。

除此之外(wài),通過引入多通道人機交互技術,采集并存儲相關領域醫療專家的實時交互行爲數據,分(fēn)析各個領域醫療專家的決策行爲和認知(zhī)規律等,計算對不同患者、不同疾病的診療邏輯基點,運用專家智慧實現輔助智能決策。

四)區塊鏈數據存儲技術

區塊鏈數據存儲技術作爲高效安全的數據管理模式,是元宇宙空間數據存儲的安全保障。

在數據存儲方面,區塊鏈去(qù)中(zhōng)心化和不可篡改的特性,可以有效解決所有醫療數據集中(zhōng)于服務器所帶來的安全隐患;此外(wài),可實現診療數據的加密保護,有效保證診療數據的安全性。

對于實時的醫療數據,需要保證執行反饋之後數據才可被修改,促進數據的有序傳輸;對于診療方案數據複盤,每個醫者或患者既可以是數據的請求者,也可以是數據的提供者。區塊鏈爲醫療服務中(zhōng)的各類服務創建數據塊,方便訪問自身創建的數據,這對于醫務人員(yuán)查看複盤結果具有積極意義。

數據分(fēn)享方面,區塊鏈透明開(kāi)放(fàng)的特性可滿足醫療服務數據安全共享的需求。醫療服務空間的各個用戶都有平等權限,基于醫患雙方、醫醫雙方、患患雙方協商(shāng)一(yī)緻的規範和協議,數據對相關權限用戶開(kāi)放(fàng),打破數據隔閡的鴻溝。

五)擴展現實技術

擴展現實技術包括VR、增強現實技術和混合現實,爲疾病診療元宇宙的實現奠定了技術基礎,這既是生(shēng)成虛拟空間及對象的工(gōng)具,也是用戶進入元宇宙的人機接口,增強用戶的沉浸感、交互性及想象力。簡言之,通過XR設備識别并理解用戶活動及其所在的物(wù)理環境,幫助其構建可靠和準确的虛拟現實環境。

在疾病診斷元宇宙中(zhōng),用戶可利用擴展現實技術建立自身在智能推理空間中(zhōng)的“化身”,并且結合眼動追蹤、人體(tǐ)姿态估計、腦機接口等自然交互設備,獲得視覺、觸覺甚至是腦神經等感官增強,獲得超現實的深度沉浸感,使診療能力能力增強。

五、疾病診療元宇宙的應用與展望

一(yī)) 疾病診療元宇宙的應用優勢

1. 實化的醫學模拟訓練

實人化的醫學訓練是醫學生(shēng)們成長爲優秀醫生(shēng)的重要途徑。通過元宇宙打造高度逼真的、不同疾病的、不同表現的基礎病例,爲醫學生(shēng)們提供一(yī)種身臨其境的診療體(tǐ)驗;着眼未來疾病診療需要的心理、生(shēng)理、社會等因素出發,構造逼真、沉浸感強的實人化模拟訓練環境,讓醫學生(shēng)在酷似實人的多維空間中(zhōng)感受和體(tǐ)驗疾病診療的全過程,不斷提升對人體(tǐ)和醫學知(zhī)識的領悟能力,實現技術和人文的雙提升。

2. 社交形式知(zhī)識交流

元宇宙可以讓現有的學術交流擺脫集中(zhōng)式單一(yī)交流的特點,提供“便攜的、方便、随時”的學習機會。在元宇宙中(zhōng)可根據醫生(shēng)們的能力、學習地點與時間個性化定制高質量、碎片化的學習體(tǐ)驗,通過多感官增強使醫生(shēng)們突破對現掌握醫學前沿知(zhī)識的滞後,提升不斷學習的便攜性和可持續性;

3.醫療設備研制與效果評估

利用元宇宙+疾病診療原型系統檢驗新型醫療設備的設計方案和技術性能等的合理性,加快研制周期,以形象化的效果呈現驗證醫療裝備的醫療性能及有效性;

4.先進治療概念驗證

疾病診療元宇宙更爲逼真高效的對疾病診療先進概念進行演示驗證,對于未來醫療服務從全維度的沉浸式方式對生(shēng)理、心理指标的獲取、疾病的診斷、治療方案、手術過程、治療效果等來評估技術綜合集成的影響;醫生(shēng)們可以超越現有條件,基于元宇宙的開(kāi)放(fàng)創造性将想象中(zhōng)的治療理念、手術操作、藥物(wù)效果等進行真實呈現,在動态虛拟空間中(zhōng)進行模拟訓練。

5.診斷決策演示與虛實協同治療

在實際疾病診療過程中(zhōng),在算力允許的條件下(xià)實現毫秒級别的态勢決策結果反饋,将多種疾病診斷決策方案、診療方案、臨床路徑等進行多維立體(tǐ)呈現和動态推演,輔助醫生(shēng)們決策;通過虛拟空間和現實環境中(zhōng)人體(tǐ)的關聯映射,構建醫生(shēng)們、醫療設備耗材藥物(wù)、患者等的數字化化身,通過虛實互動和自學習,不斷增強優化醫生(shēng)們的決策能力和診療水平,形成虛實一(yī)體(tǐ)的高效醫生(shēng)隊伍和保障系統。

二) 面向未來疾病診療元宇宙應用展望

未來跨地域和跨空間聯合診療将成爲主要趨勢,不僅包括生(shēng)理、心理、社會等傳統領域,還包括知(zhī)識信息、已有病曆、循征證據等信息域,以及不同醫學學科之間的交叉聯合,如何應用疾病診療元宇宙打造沉浸式虛拟空間,增強醫療多學科的聯合診療能力,呈現出多域融合、跨域合作、人機融合、虛實協同的全新診療場景,具體(tǐ)過程如下(xià):

1.深度沉浸的态勢認知(zhī)

深度沉浸的态勢認知(zhī)是基于疾病診療元宇宙的智能認知(zhī)模塊和推理評估模塊進行的具身疾病感知(zhī)、診療方案以及治療效果驗證等一(yī)系列醫療服務活動,突破現有病例回顧的局限性,使醫生(shēng)們等能夠在疾病診療元宇宙中(zhōng)獲得真實的态勢認知(zhī)體(tǐ)驗,而且可以在自由穿梭于智能博弈推演空間與現實診療環境之間,同時獲得超現實的沉浸體(tǐ)驗。

診療方案是指利用元宇宙的功能編輯與群體(tǐ)創造功能,爲推演評估模塊實現多維度深度沉浸的診療方案設置的,充分(fēn)發揮元宇宙的“虛拟”功能。醫生(shēng)們可以在元宇宙中(zhōng)持續增加藥物(wù)、耗材、器械,也可進行預診斷、預治療,便于及時調整和總結,并對不同藥物(wù)、耗材、器械等搭配下(xià)的診療效果進行可視化與立體(tǐ)化測試,輔助實現診療方案的最終選擇。

治療效果驗證是指以疾病診斷元宇宙空間的高保真性、創造擴展性以及靈活操控性等功能爲基礎,根據實際的疾病診療需求對已采用的藥品、耗材、設備進行高保真的效果驗證。疾病診療結果能及時反饋、并動态調整參數,顯著消解藥品療效不佳、檢查檢驗過度等問題,更有效地實施價值醫療。

2.虛實融合的協同決策與平行推演

虛實融生(shēng)的協同診斷結論的生(shēng)成是醫生(shēng)們基于元宇宙中(zhōng)現實與虛拟空間融合互聯的特性,在現實疾病表征和智能推理空間中(zhōng)任意切換,診療方案構想與計劃實時驗證優化。

基于疾病診療元宇宙的智能決策模塊,針對不同的患者、不同疾情、不同的社會環境,将拟采用的治療方法、藥品耗材使用及手術操作治療進行仿真扮演,通過虛實互動和自學習,不斷優化醫療決策模型;同時醫生(shēng)們可作爲數字化身随機切入智能推理空間中(zhōng)優化診療計劃與策略,實現“人腦+AI”的協同決策。

在多感深度沉浸的推演評估模塊,醫生(shēng)們可根據當前疾病态勢進行虛實平行推演,将真實環境的手術、藥品、耗材等映射在虛拟空間中(zhōng),利用深度強化學習技術實現與實際診療同步運行的自推演,實時預測未來疾病發展變化,将高度沉浸的态勢結果反饋給醫生(shēng)們進行診療方案的調整,進而影響實際診療,實現虛實互動、以虛促實的平行診療模式。

3.跨域協同診斷與虛實協同診療

基于元宇宙的特性,尤其是其交互創作性,使跨越空間的遠程協作和操控成爲了可能,基于統一(yī)的信息傳輸标準與協議,實現遠程協作多虛拟空間、多學科之間的互動與協調,醫生(shēng)們與多虛拟實體(tǐ)、多類信息體(tǐ)等終端跨域分(fēn)布式合診療,滿足“一(yī)人多任務”的遠程協作診療,爲人機快速協作決策、高效流暢互動提供新的模式和途徑。

跨域信息資(zī)源調度與共享:疾病診療資(zī)源主要包括生(shēng)理、心理、社會信息、文獻知(zhī)識、實踐案例、藥品設備耗材等資(zī)源等。基于元宇宙的具身社交性,将多平台、多媒介、多醫生(shēng)的異地交互決策信息調用與共享,實現融合多人智慧的知(zhī)識創造與共享;在資(zī)源調度與共享過程中(zhōng),利用區塊鏈技術等保證患者涉密資(zī)源的保護與傳輸範圍,滿足資(zī)源的安全獲取與傳輸;面向分(fēn)布式、多模态及動态變化的疾病變化和藥品設備需求,可充分(fēn)利用元宇宙中(zhōng)物(wù)體(tǐ)可探索、工(gōng)具可操控以及數據全生(shēng)命周期監控等功能,實現跨空間資(zī)源的調度,還可預先驗證調度醫療資(zī)源的診療效果,發揮優秀醫療資(zī)源的輻射和均化功能。

虛實群體(tǐ)協同診療:從生(shēng)理、心理、認知(zhī)能力、知(zhī)識結構能力和學習能力多維度構建虛拟醫生(shēng)等,從而構建虛實一(yī)體(tǐ)的診療隊伍;醫生(shēng)實體(tǐ)能夠與智能推理空間中(zhōng)的虛拟人進行行爲映射,而且可直接與虛拟空間中(zhōng)的虛拟患者、虛拟藥品耗材設備進行交互,實現醫生(shēng)對現實醫療服務環境中(zhōng)的患者實體(tǐ)、手術器械、操作設備進行遠程操控,

六、結束語

面對初露端倪的智能化醫療,立足适應變化的診療環境及複雜(zá)的多任務需求,預先學習、推演多類型診療方案出現不同診療效果的多種情況,探索智能化醫療的作用機理,建設面向未來疾病診治的智能診斷平台是輔助診斷決策的一(yī)種有效方法。而沉浸感強、虛實融合與協作性強的元宇宙給疾病診療的發展帶來更多新可能,應該密切關注元宇宙相關技術的發展,積極開(kāi)展疾病診療基本理論與應用方面的探索,推進診斷推演空間關鍵功能模塊的完善與實踐應用。此外(wài),虛實融生(shēng)的疾病診治空間不僅可以爲醫療服務提供系統保障,還可被廣泛應用于搶險救災、突發事件等應急醫療救援中(zhōng),甚至是未來的分(fēn)級診療中(zhōng),爲價值醫療的發展貢獻自己的力量。

摘抄自《健康界》并删減