虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

2022-10-11    藍藍設計的小編

從去年下半年宣布進軍元宇宙(Metaverse)業(yè)務,并將母公司從Facebook更名為Meta Platforms以來,扎克伯格憑一己之力讓“元宇宙”這個已經(jīng)存在于科幻小說里30年的概念在全網(wǎng)破圈。

海外,包括“元宇宙第一股”Roblox和全球芯片巨頭英偉達在內(nèi)的一些科技企業(yè)實際上早在扎克伯格前就已經(jīng)著手布局元宇宙。近期,微軟687億美元收購暴雪也顯示了在元宇宙分一杯羹的心思。

而在扎克伯格宣布元宇宙動作之前和之后,國內(nèi)也有一些科技巨頭已經(jīng)或決定進軍元宇宙。騰訊投資了Roblox,字節(jié)跳動投資了游戲開發(fā)商代碼乾坤和VR公司Pico,百度推出了元宇宙社交app希壤等等……

在熱議的概念下,游戲行業(yè)被公認為是最具有元宇宙雛形的領域。盡管元宇宙在醫(yī)療領域的應用還不常見,但我們還是能夠看到一些初創(chuàng)公司在朝元宇宙形態(tài)下的醫(yī)療健康行業(yè)采取行動。本文一起來看一看搭上元宇宙形態(tài)的醫(yī)療有可能是什么樣子?筆者希望借此拋磚引玉,為醫(yī)療健康領域更好的發(fā)展助一份力。

一、醫(yī)療元宇宙的初級暢想

仍舊沒有一個公認的描述能夠用來定義元宇宙。Metaverse一詞首先出現(xiàn)在美國科幻小說家Neal Stephenson在1992年出版的小說《雪崩》中,是一個基于虛擬現(xiàn)實的下一代互聯(lián)網(wǎng)。在扎克伯格的愿景中,元宇宙能改變?nèi)伺c技術之間的關系,允許用戶在虛擬內(nèi)容中完成或與虛擬內(nèi)容一同發(fā)生體驗,而不是簡單地與數(shù)字產(chǎn)品和解決方案進行交互。

接下來讓我們嘗試想象一下醫(yī)療健康背景下的元宇宙。

目前,以互聯(lián)網(wǎng)技術賦能的醫(yī)療行業(yè),其產(chǎn)品和解決方案使患者和醫(yī)療提供者能夠查看、共享、交換、創(chuàng)建或以其他方式與數(shù)字內(nèi)容進行交互,如將患者數(shù)據(jù)輸入電子病歷系統(tǒng)、通過在線門戶發(fā)送付款信息、在應用程序上觀看物理治療演示或在遠程醫(yī)療咨詢期間共享視頻。在元宇宙下,我們可以想象得到的醫(yī)療健康體驗可能包括患者用VR方式參加團體治療課程、外科醫(yī)生通過全息解剖來規(guī)劃手術步驟、孕婦通過AR技術練習母乳喂養(yǎng)技術。

目前人們對于元宇宙可能會涉及的元素有這樣幾個共識:擴展現(xiàn)實(包括VR、AR和混合現(xiàn)實MR)、3D圖像技術、人工智能、區(qū)塊鏈和加密技術,甚至是腦機交互。

美國數(shù)字健康基金Rock Health認為,元宇宙中的醫(yī)療保健存在廣泛的可能性,但目前有兩大類應用場景和嘗試最為常見:

1)沉浸式環(huán)境:通過擴展現(xiàn)實創(chuàng)造的虛擬世界,醫(yī)療保健的提供者和消費者出于醫(yī)療教育、輔助或治療目的參與其中

2)數(shù)字孿生:現(xiàn)實世界的實體在虛擬世界中的映射,可以被用來協(xié)助進行醫(yī)療保健的相關決策

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

元宇宙中的數(shù)字健康應用企業(yè)示例(來源:Rock Health)

根據(jù)Rock Health的統(tǒng)計,2021年整合了VR或AR技術的數(shù)字健康初創(chuàng)公司在11起交易中拿到了1.98億美元的投融資,是2020年9300萬投融資的兩倍多。

盡管2021年的投融資還不到整個數(shù)字健康賽道的1%,但市場和資本都在釋放對于元宇宙的早期關注信號。另外根據(jù)筆者的不完全統(tǒng)計,國內(nèi)約有21家涉足VR/AR+醫(yī)療的初創(chuàng)企業(yè),在2019年以來獲得投融資的有6家,共計融資額1.31億元人民幣。

二、元宇宙+醫(yī)療可以有哪些場景應用

圍繞以上兩個維度,筆者擴展了相關領域和場景,搜羅了以下海外數(shù)字健康的產(chǎn)品形態(tài),它們或許就是醫(yī)療健康領域走向元宇宙的初始階段。

1. 醫(yī)療教學培訓虛擬化

1)數(shù)字醫(yī)學圖書館

2013年6月30日,美國醫(yī)生外科醫(yī)生Rafael Grossmann完成了首個佩戴谷歌眼鏡進行的手術。他曾表示,在看到谷歌眼鏡的第一刻,就意識到了可穿戴設備能為醫(yī)療行業(yè)帶來的顛覆性創(chuàng)新。

對于這場手術,Grossmann進行了“直播”,學生們不再需要圍繞在醫(yī)生身邊來觀摩手術從而進行學習,而是可以在一定距離外,以精準的醫(yī)生的第一視角看到、聽到手術室里發(fā)生的一切,并實時提出問題、得到回復。

這為外科教育打開了新的方向。傳統(tǒng)上來說,對于醫(yī)學生和執(zhí)業(yè)醫(yī)師的外科教育很大程度上取決于他們能否進入手術室,以便從頂級專家那里學到新的手術技術,然而這一機會通常十分有限。VR技術的應用,為醫(yī)學教育帶來完全不同的體驗。在這點上,醫(yī)療教育流媒體視頻庫GIBLIB是一類。

GIBLIB提供豐富的4K高清視頻資源,內(nèi)容包括醫(yī)學教學、講座和會議內(nèi)容、手術操作,被稱為醫(yī)學教育界的Netflix。GIBLIB將真實的手術以4K、360度VR的形式錄制成視頻,實現(xiàn)外科醫(yī)生視角的精確攝像機角度和360度全景,用戶只需要戴上VR設備就能夠以沉浸式的方式觀看手術室中的真實活動。GIBLIB還向外科醫(yī)生和醫(yī)療專業(yè)人員提供360度VR形式的繼續(xù)醫(yī)學教育 (CME)認證內(nèi)容。

CME認證指的是幫助醫(yī)療執(zhí)業(yè)人員保持并提高其自身專業(yè)技能、知識和競爭力的教育活動,在美國一些州,這是許多醫(yī)療人士保持自身執(zhí)業(yè)資格的必要條件。

有時候,醫(yī)療人士甚至需要前往世界各地的一些醫(yī)學會議來獲得相關認證,對時間、金錢、和地點都提出了更高的要求。GIBLIB的在線視頻庫則意味著人們使用手機和電腦就可以通過沉浸式的方式進行學習。

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

GIBLIB官網(wǎng)

2)手術培訓平臺Osso VR

同樣是利用VR實現(xiàn)教學培訓目標,Osso VR打造的是另一種模式。它和GIBLIB那樣將真實拍攝的視頻傳入VR設備不同,而是通過高度逼真的視覺技術,為處于VR環(huán)境中的實習醫(yī)生、外科醫(yī)生和醫(yī)療器械專家等人士再現(xiàn)一個手術室場景,讓用戶通過VR遙控裝置,在虛擬環(huán)境中鍛煉各類手術的實際操作。

Osso的平臺提供了卓越的視覺保真度,確保從解剖細節(jié)到手術室環(huán)境的各個方面都如現(xiàn)實一般。

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

Osso VR官網(wǎng)示例截圖

Osso的創(chuàng)始人、Justin Barad曾是一名骨科外科醫(yī)生和軟件開發(fā)者,他在歷經(jīng)手術室的多年考驗后創(chuàng)立了Osso VR。他曾表示:“新型醫(yī)療器械層出不窮,而我們真的曾在病人已上手術臺的情況下用谷歌搜索使用方法。學習曲線數(shù)據(jù)表明,你必須操作100次才能熟練掌握一項新手術。所以出于安全考慮,我們通常不會使用新器械,因為我們沒有時間去充分學習所有內(nèi)容。”

傳統(tǒng)的培訓方法限制了外科醫(yī)生們掌握技術和新的醫(yī)療器械的速度,同時缺乏手術操作表現(xiàn)的客觀反饋和衡量的有效途徑。有了Osso VR,醫(yī)生們就可以隨時隨地為自己安排近乎真實的手術和器械的操作練習。

Osso 還可以對醫(yī)生的模擬訓練精確度進行分析,跟蹤訓練表現(xiàn),并允許全球用戶遠程加入到協(xié)作訓練中。美國加州大學洛杉磯分校David Geffen醫(yī)學院的一項研究表示,與傳統(tǒng)培訓方法相比,Osso VR將參與者的手術表現(xiàn)提高了230%。目前,強生、史賽克和施樂輝等骨科巨頭都選擇Osso VR作為VR 培訓伙伴進行了合作。

根據(jù)筆者的不完全統(tǒng)計,醫(yī)療教學和手術實訓平臺及系統(tǒng)也是國內(nèi)VR/AR醫(yī)療企業(yè)涉足最多的場景之一,涵蓋產(chǎn)科、中醫(yī)針灸和胚胎移植等學科,如域圓科技、昱然智能、智觸計算機、醫(yī)微訊、眾繪科技、立方幻境和觸幻科技。

2. 當手術機器人遇見VR

有關機器人輔助外科手術的首次記錄發(fā)生在1985年,當時PUMA 560機器人手術臂被用于精細的神經(jīng)外科活檢。兩年后,第一個涉及機器人系統(tǒng)的腹腔鏡手術,即膽囊切除術出現(xiàn)。

到了2000年,達芬奇手術機器人成為首個得到FDA批準的用于普通腹腔鏡手術的手術機器人系統(tǒng),從此為機器人手術開辟了新的天地。手術機器人因為切口更小、精度更高、操作更加靈活等特點在今天得到了醫(yī)生們更廣泛的認可和普遍使用,也同樣具有廣大的市場滲透空間。

那么,當手術機器人碰上VR,會成為下一代手術機器人的發(fā)展方向嗎?

成立于2014年的Vicarious Surgical正在開發(fā)將類人機械臂與虛擬現(xiàn)實技術相結合的手術機器人,允許外科醫(yī)生進行360度的可視化訪問。Vicarious Surgical首先圍繞手術機器人進行了改良,其機械臂只需要通過一個1.5 厘米甚至更小的切口就可以進入腹腔,并可以在各個方向上自由移動。

同時機器人的每條手臂擁有28個傳感器,能夠測量手術機器人的力量、行動、定位,做到完全復刻外科醫(yī)生從肩部、肘部再到手腕的自然運動,做到讓手術精度、視覺影像和控制都實現(xiàn)最大化。外科醫(yī)生通過佩戴VR眼鏡、操縱手柄,就可以感受到360度全景般的逼真感,仿佛直接進入了患者腹腔的感覺。

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

Vicarious Surgical官網(wǎng)示例截圖

值得注意的是,Vicarious Surgical的手術機器人目前只獲得了FDA突破性設備的認定,還沒有完成最終的上市,VR設備也不會出現(xiàn)在第一代產(chǎn)品中。手術機器人+VR的暢想能否被外科醫(yī)生普遍接受,尤未可知。

3. 增強現(xiàn)實輔助手術

與VR輔助外科手術相比,AR技術的應用或許更加實際和可行。

在介入手術中,外科醫(yī)生通常需要借助術中X線,CT和手術導航系統(tǒng)幫助確定手術的走向,并需要抬頭在另外一塊屏幕上查看影像結果。在AR設備的幫助下,患者的導航影像和人體結構都可以直接在醫(yī)生眼前形成實時投影,既幫助醫(yī)生更加關注于手術和患者本身,對手術器械在病人哪個解剖位置、下一步應該如何進行等判斷更加一目了然,還可以降低醫(yī)生和患者受輻射照射的風險。

Augmedics的Xvision Spine System(XSV)是首個獲得FDA批準的可以用在手術中的AR導航系統(tǒng)。醫(yī)生戴上AR設備后,就可以直接在眼前清晰的看到患者的3D脊柱結構、手術器械和植入物的位置和走向,像是直接用眼睛為患者進行了CT掃描,并且避免了注意力的轉移。XSV系統(tǒng)具備98.9%的經(jīng)皮植入物放置精度。

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

Augmedics官網(wǎng)宣傳視頻截圖

在國內(nèi),維桌致遠的全息影像系統(tǒng)、妙智科技的VR影像平臺、還有霖晏醫(yī)療的AR骨科手術導航系統(tǒng)都是該場景下的代表。

4. “沉浸式療法”

如果有哪個醫(yī)學領域已經(jīng)被證明了可以將VR用作治療手段,那么VR賦能的心理健康、慢病疼痛這兩個領域的數(shù)字療法可以說已經(jīng)為其他領域開了一個好頭。

VR技術再造了3D環(huán)境,虛擬現(xiàn)實中進行的視覺、聲音、甚至是感官交互,會讓人們產(chǎn)生一種處于不同地點、時間、甚至是不同現(xiàn)實世界的感覺。通過構造這種沉浸式和交互式的環(huán)境,VR可以改變?nèi)藗兊淖⒁饬?。過去30年的學術研究表明,這種注意力的改變在一些嚴重疾病的管理方面發(fā)揮重要作用,如疼痛和焦慮。

比如接受化療或燒傷傷口護理的患者,沉浸式VR體驗可以讓治療更容易進行,患者的痛苦感和對治療時間的自我感知都會減小。

在心理健康方面,虛擬現(xiàn)實也可以在緩解壓力和焦慮方面起到作用。比如在治療焦慮癥、恐懼癥以及創(chuàng)傷后應激障礙人群時,暴露治療通常是一種重要手段?;赩R的暴露療法為患者提供了沉浸在恐懼或焦慮環(huán)境中的機會,幫助心理治療師更好地進行治療。

對于這類療法,慢性疼痛VR服務商AppliedVR更愿意稱之為“沉浸式療法”,其基于VR的下背部慢性疼痛產(chǎn)品EaseVRx,是FDA批準的首個虛擬現(xiàn)實療法。

在其他領域,Luminopia One通過VR進行的兒童弱視癥治療也得到了FDA的上市批準。BehaVR將冥想、暴露療法、認知行為療法等與VR、AR結合,提供焦慮管理、產(chǎn)后健康、疼痛管理等的治療方案。TRIPP則通過VR和AR中的游戲,引導用戶在沉浸式的環(huán)境中跟隨聲音頻率和可視化的呼吸節(jié)奏進行練習,解決心理健康和情緒健康問題。

我國醫(yī)療創(chuàng)新企業(yè)也在利用VR和AR技術展開疾病治療,如康復領域、視功能訓練和心理健康治療等,這類企業(yè)包括七鑫易維、諾亦騰、心景科技、雙琦醫(yī)療、蓋爾倫醫(yī)學和頤康醫(yī)療。

5. 數(shù)字孿生(digital twins)

除上述提到的利用VR/AR技術打造元宇宙形態(tài)的數(shù)字健康企業(yè)外,醫(yī)療元宇宙的另一大場景類別是數(shù)字孿生:這是現(xiàn)實世界的實體(器官、個人或患者群體)在虛擬世界中的映射,或者說是“雙胞胎”,可以被用來服務醫(yī)療決策。

數(shù)字孿生是合成數(shù)據(jù)的一種形式,一種利用人工智能獲取的信息,它以真實實體為模型,并且通常以持續(xù)的方式與其現(xiàn)實世界的對應物相連。這種混合連接將數(shù)字孿生直接置于元宇宙中。

Siemens Healthineers 正在開拓心臟方面的數(shù)字雙胞胎,一種反映個體患者心臟分子結構和生物學功能的復雜數(shù)字模擬。醫(yī)生可以在做出任何現(xiàn)實世界的決定之前,模擬患者的心臟對藥物、手術或導管干預的反應,提前測試各種治療方案。Virtonomy構建了骨骼和肌肉群的數(shù)字雙胞胎,以對植入物進行更好的設計,還可以模擬醫(yī)療設備或植入物如何隨著時間的推移在患者體內(nèi)降解。

除了器官,初創(chuàng)公司還在創(chuàng)造個體的全身數(shù)字雙胞胎。Q Bio的Gemini平臺可以通過人體全身掃描,獲取患者的生命體征,掃描、病史和基因測試結果,從而創(chuàng)建整個患者解剖和生理學的復雜模擬,消費者可以將結果與專家、培訓師、營養(yǎng)師和研究人員共享,以實現(xiàn)個性化護理。每當共享新的測試或掃描結果時,消費者的數(shù)字雙胞胎也會得到相應更新。

AI遠程醫(yī)療公司Babylon Health也在通過用戶的健康數(shù)據(jù),為他們建立專屬的數(shù)字雙胞胎,而Twin Health則開發(fā)了專注于開發(fā)新陳代謝領域的數(shù)字孿生,個人及其醫(yī)療提供者可以用它來規(guī)劃有助于預防或逆轉代謝類疾病的生活方式的改變。

發(fā)布在美國糖尿病協(xié)會《糖尿病》期刊上的臨床研究結果顯示,Twin Health的數(shù)字孿生技術使92%的人不再需要使用糖尿病藥物,超過90%的人實現(xiàn)了2型糖尿病的逆轉。

虛擬現(xiàn)實、數(shù)字孿生……醫(yī)療元宇宙場景有哪些應用?

Q Bio官網(wǎng)示例截圖

既然數(shù)字孿生能夠模擬個人健康數(shù)據(jù)和醫(yī)療情況,下一步,醫(yī)療和科研人員就可以將其用于模擬人群對疾病爆發(fā)或新藥的反應,繼而為元宇宙中的臨床試驗鋪平道路。

例如,Unlearn使用機器學習模型為臨床試驗的參與者構建數(shù)字雙胞胎,將來他們的預后信息整合到隨機對照試驗中,不僅能加快試驗入組速度、減少監(jiān)測需要,還能保持嚴格的證據(jù)標準和研究的隨機化和盲法。

三、我們離實現(xiàn)醫(yī)療元宇宙還有多遠?

關于元宇宙,有人深信不疑,有人嗤之以鼻,有人對元宇宙的世界感到鼓舞,有人反對它的到來,還有人保持謹慎的關注。但毫無疑問的是,在我們真正選擇擁抱(或者不擁抱)它之前,還有很多事情需要理順。

首先就是定義——元宇宙代表了什么、它是否能成為現(xiàn)實、或者是否已經(jīng)到來、誰擁有元宇宙,該怎么建設元宇宙等等。

作為元宇宙的擁躉,扎克伯格在與投資者的業(yè)績電話會議中表示:“雖然我們的方向很明確,但我們前進的道路似乎并沒有完全確定。”而年報顯示,對于元宇宙的探索,已經(jīng)讓Meta元宇宙業(yè)務所在的“現(xiàn)實實驗室”部門(與增強和虛擬現(xiàn)實相關的消費類硬件、軟件和內(nèi)容)的營業(yè)虧損在2021年超過100億美元,收入為23億美元。年報一出,Meta的股價徑直下跌27%??諝ぷ酉拢顿Y人對扎克伯格的元宇宙夢保持警惕。

與模糊的概念相比,更顯清晰的是元宇宙將會依賴的底層技術。能夠肯定的是,不管有沒有元宇宙的概念,VR/AR、人工智能、機器學習、計算機建模、3D影像等發(fā)展步伐只會加速前進。

從醫(yī)療領域看,這些前沿技術已經(jīng)在助推精準醫(yī)療向前發(fā)展,如何把他們加減乘除進行組合做出更超前的產(chǎn)品,靠的是科學家和醫(yī)療人員的技術創(chuàng)新與想象力,而人類的想象從來都不應該被低估。

FDA的CDRH中心也因為看到了采用擴展現(xiàn)實技術的醫(yī)療設備、療法正日益增多,從而設立了擴展現(xiàn)現(xiàn)實醫(yī)療設備計劃(MXR),為這類設備的監(jiān)管進行研究,與快速進步的行業(yè)同步發(fā)展。專注于底層技術的突破和技術需求的匹配,會是接近醫(yī)療元宇宙最腳踏實地的方式。

第三,生態(tài)的建立。雖然當下還不存在有關元宇宙的統(tǒng)一共識,能夠提早引領底層生態(tài)建設的一方,將在元宇宙的基礎設施建設方面擁有話語權和市場空間。

英偉達在2020年就已經(jīng)推出了公測版的Omniverse(全宇宙),即“工程師的元宇宙”。工程師、設計師等在Omniverse上協(xié)作構建和交換3D資產(chǎn)和場景數(shù)據(jù),進行虛擬世界的構建和渲染,并實現(xiàn)虛擬世界的進出。

在公測版吸引了10萬用戶后,英偉達在去年11月宣布,Omniverse將向所有NVIDIA Studio的創(chuàng)作者免費開放。對標醫(yī)療領域,信息化企業(yè)也許最有可能成為元宇宙生態(tài)的建設者,并構建出一個符合醫(yī)療行業(yè)需求和數(shù)據(jù)特色的底層生態(tài)。

此外,還有醫(yī)療元宇宙的必要性、可及性和數(shù)據(jù)隱私等問題。醫(yī)療場景下的元宇宙或許可以為患者帶來更精準、更高效的治療方案,但這也意味著這類解決方案會向有擴展現(xiàn)實和互聯(lián)網(wǎng)資源的人傾斜,有可能進一步加深醫(yī)療資源的不均衡。

在更有性價比的方案和市場上更經(jīng)濟的軟硬件面前,投資人、醫(yī)療人士、創(chuàng)業(yè)者、政策制定者等等恐怕都會問上一句是否有必要。如何對虛擬世界中交互的患者數(shù)據(jù)和隱私進行定義、監(jiān)管和保護也值得深思。

科幻小說家恐怕是世界上最有先知力的未來主義者,但科學技術的不斷創(chuàng)新才是讓這種先知變?yōu)楝F(xiàn)實的媒介。沒有元宇宙,可能還會有“園”宇宙,又或是“圓”宇宙,但它們都不會是科學創(chuàng)新的終點,因為科學創(chuàng)新,沒有終點。

第一群吃螃蟹的人,會受到質(zhì)疑,相應的也會得到關注。走自己堅信的那條道路,是創(chuàng)新者的宿命。

 

作者:王燕潔;公眾號:動脈網(wǎng)(ID:vcbeat)

藍藍設計建立了UI設計分享群,每天會分享國內(nèi)外的一些優(yōu)秀設計,如果有興趣的話,可以進入一起成長學習,請加藍小助,微信號:ben_lanlan,報下信息,藍小助會請您入群。歡迎您加入噢~~希望得到建議咨詢、商務合作,也請與我們聯(lián)系01063334945。

分享此文一切功德,皆悉回向給文章原作者及眾讀者.免責聲明:藍藍設計尊重原作者,文章的版權歸原作者。如涉及版權問題,請及時與我們?nèi)〉寐?lián)系,我們立即更正或刪除。

藍藍設計www.yvirxh.cn )是一家專注而深入的界面設計公司,為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網(wǎng)站建設 、平面設計服務、UI設計公司、界面設計公司、UI設計服務公司、數(shù)據(jù)可視化設計公司、UI交互設計公司、高端網(wǎng)站設計公司、UI咨詢、用戶體驗公司、軟件界面設計公司

日歷

鏈接

個人資料

藍藍設計的小編 http://www.yvirxh.cn

存檔