劉先林院士:AR技術(shù)與三維GIS的融合
6月15日上午,空間地理信息數據高效獲取、應用與服務(wù)峰會(huì )在北京國家會(huì )議中心開(kāi)幕,中國工程院院士、攝影測量與遙感專(zhuān)家劉先林先生做了題為“AR技術(shù)與三維GIS的融合”的演講,以下為演講實(shí)錄,未經(jīng)院士本人確認。
劉先林:
各位同志,歡迎大家來(lái)這里聽(tīng)我的報告。前不久中國電子協(xié)會(huì )邀請我做一個(gè)關(guān)于這方面的報告,因為我過(guò)去做了一些顯示的技術(shù),所以答應了。后來(lái)發(fā)現VR技術(shù)已經(jīng)向AR過(guò)渡了,就是要把實(shí)景和虛景相結合,實(shí)景就是我們測繪人的長(cháng)處了。昨天(6月14日)上海搞AR最著(zhù)名的公司來(lái)找我要搞合作,要快速把實(shí)景生產(chǎn)出來(lái)。AR行業(yè)在2015年的時(shí)候很瘋狂,到后來(lái)就越來(lái)越不行了?,F在看起來(lái),能不能把地理信息技術(shù)注入進(jìn)去,獲得新生,希望AR和VR技術(shù)進(jìn)入新一輪的潮流。
地學(xué)業(yè)者對AR有個(gè)定義,說(shuō)現在空間地理信息數據主要是形的基礎上來(lái)疊加各種實(shí)時(shí)大數據,就是流,使人們對客觀(guān)世界有更深刻的認識,這是我們對AR的見(jiàn)解。這個(gè)大會(huì )包括了三維顯示的報告,我們講的是測繪工作者,立體觀(guān)察已經(jīng)幾十年了,經(jīng)過(guò)了很多次的更新?lián)Q代。比如說(shuō)左邊這個(gè)立體機,右邊這個(gè)就是我們解析測圖儀,解析測圖儀很少,1998年之后就不怎么用了,大家可能沒(méi)見(jiàn)過(guò)。這個(gè)大家非常熟悉,就全數字,這個(gè)很流行,全國大概有幾千套。然后多通道的立體顯示,基于GPU的融合技術(shù),我們可以實(shí)現這樣的大屏幕的上下融合、左右融合,過(guò)去只能是普通三維顯示,做成了可以在立體上顯示,主要的技術(shù)就是把顯卡底層的功能專(zhuān)門(mén)做一個(gè)空間實(shí)現融合。融合也不是那么簡(jiǎn)單,幾何上要融合起來(lái)、光度融合起來(lái)、高度上融合起來(lái),要看不出任何的縫。比如說(shuō)左圖是有三通道的,這三個(gè)通道早期都是用雙液晶,最早大家都知道我們是CRT的,CRT的照度非常低,我們花幾百萬(wàn)、上千萬(wàn)買(mǎi)過(guò)這個(gè)比利時(shí)的東西,簡(jiǎn)直比較用,后來(lái)全部退掉了。后來(lái)我們發(fā)明了雙投影、高亮度液晶投影,亮度非常高,其中一個(gè)重要的技術(shù)就是兩個(gè)投影來(lái)實(shí)現一個(gè)立體的投影,同時(shí)還要融合,因為一個(gè)投影儀的寬度有限的,我們要更大的,整個(gè)會(huì )場(chǎng)要很震撼的,這個(gè)也做了不少,全國所有的地理信息產(chǎn)業(yè)部門(mén)目前用到的液晶的高亮度的東西。右邊這個(gè)用了一個(gè)國外的投影,直接人可以沉浸式的,也是國家測繪局用的。
最近新出來(lái)的就是LED大屏幕,這個(gè)比較新。所有的那些投影儀亮度還是不夠,不能在室外,只能在室內。要在室外看立體就是要高亮度的LED,LED的每一個(gè)發(fā)光管都是可以表現紅藍綠彩色的板,方便率很高,可以在野外使用。我們目前有兩種方式,一種就是主動(dòng)立體,就是戴上液晶眼鏡,把這個(gè)液晶放在眼鏡上來(lái)是可以看到的,戴上眼鏡就能看到立體。另外一種方式就是被動(dòng)的LED,被動(dòng)LED戴的不是液晶眼鏡了,目前銷(xiāo)售了第一臺,估計未來(lái)在一些大場(chǎng)合,像今天這個(gè)LED屏幕還是相當高了,但是不能看立體,給什么眼鏡都不行。我們的測繪人的立體是不需要旋轉的,現在的發(fā)展趨勢就是LED。目前LED的立體大屏幕的需求非常大,已經(jīng)開(kāi)始出現了,這是最新一代的立體。手機立體也有。
下一步我們提倡一個(gè)叫做手機的裸眼立體,手機很有意思,我們年輕的時(shí)候看立體有的要拿立體鏡,有的不用立體鏡,直接拿兩個(gè)照片折起來(lái)就可以,裸眼沒(méi)有任何的裝備就可以看立體。智能手機橫過(guò)來(lái)以后跟我們眼基線(xiàn)正好相等,所以拿來(lái)看立體非常合適。所以下一步手機的裸眼立體將會(huì )出現,我們也致力于這方面的研究。因此在三維顯示方面,應該說(shuō)我們測繪人比搞AR、VR的人很高,而且現在還有新花樣要出來(lái),就是手機的裸眼立體,這是我們下一步要提出的。
我們陸部長(cháng)提出來(lái)要把所有的二維系統變成三維系統,因此這就給我們帶來(lái)了機會(huì )。我們認為所謂的地理信息大數據分為兩種,一種叫做形為主的,一種就是流為主的,一種是時(shí)空大數據,一種是實(shí)時(shí)大數據。我們做的事就是時(shí)空大數據,實(shí)時(shí)大數據很有意思,它是沒(méi)有目的的,不知道采集是為了誰(shuí)采集的,實(shí)時(shí)大數據可以進(jìn)入流通領(lǐng)域的,它的時(shí)間周期也比較短,甚至于毫秒級在那里采集數據。我們最近采集周期也很快,一般一個(gè)城市最快三個(gè)月要掃一次,北京就每三個(gè)月要拍一次,我們拍了四萬(wàn)公里,馬上又要開(kāi)展這方面的工作了,又要拍四萬(wàn)公里。我們下一步怎么樣?是不是新的冒出來(lái)了?又要拍。實(shí)時(shí)大數據頻率是非常高的。
我們所做的時(shí)空大數據分兩種,一種是無(wú)結構大數據,一種是有結構的大數據。無(wú)結構的大數據實(shí)際上不是大數據,它是數據大,我們常常說(shuō)的這不是大數據。什么叫無(wú)結構大數據呢?比如說(shuō)航片、衛片都是這個(gè)東西,最近非常流行的叫做mesh模型,我們芯片機動(dòng)輒售價(jià)七八百萬(wàn),今年訂貨很多,國外的產(chǎn)品都沒(méi)把我們壓跨。國外的產(chǎn)品比不過(guò)我們,今年全部都找我們訂貨了。因此可見(jiàn)mesh模型非常流行,因為它的感官上感覺(jué)還是比較好的,但是mesh模型是無(wú)結構的,你看到路上的行人、車(chē),你都關(guān)不掉,它不分類(lèi),更不要說(shuō)分對象了,所以這種無(wú)結構模型的話(huà)是可以看、可以感受,它要做出決策的話(huà)只能用人腦,而結構化的時(shí)空大數據是電腦來(lái)產(chǎn)生知識的。要想用電腦產(chǎn)生知識,你所用到的數據絕不是無(wú)結構的大數據,而是有結構的大數據。這種數據才叫真正的大數據,才叫做會(huì )說(shuō)話(huà)的數據,或者叫做智慧數據。而我們所說(shuō)的mesh模型都不是智慧數據,僅僅是數據大而已。因此這套技術(shù),我們地理信息界下一步為社會(huì )提供的數據一定是這樣的數據,這樣的數據絕對不是工廠(chǎng)化處理能夠實(shí)現的,一定是智能化處理才能夠提供的。過(guò)去說(shuō)一流的企業(yè)是做標準的,現在不是說(shuō)了,現在是一流的企業(yè)做平臺。
這是一個(gè)無(wú)結構的三維模型,這個(gè)模型很老了。
傳統的測繪遙感數據量非常大,但是要把它由數據大轉化為大數據,必須要用人工智能的技術(shù)來(lái)對大數據進(jìn)行結構化,特別是當前流行的深度學(xué)習能夠自動(dòng)的監測、分割、跟蹤矢量、掛接屬性。傳統意義上的深度學(xué)習就是監測,能夠找到,找到這里是程序,但是這還遠遠不夠,一定要進(jìn)行分割,然后在這個(gè)基礎上進(jìn)行跟蹤得到矢量,然后掛接屬性,如果沒(méi)有屬性的話(huà)是不可能產(chǎn)生知識的。所以說(shuō)結構化數據第一個(gè)就是分層分類(lèi),一層層打上來(lái)的建筑物。這是我們所要求的結構化的大數據。這是電線(xiàn)的探頭,在你的系統里一定是分開(kāi)的管理的,對于他們搞虛擬現實(shí)的人來(lái)說(shuō)很不可理解,他們做的AR、做的實(shí)體模型不分層分類(lèi),他們對這個(gè)也感興趣,覺(jué)得為什么要這樣?昨天專(zhuān)門(mén)跑來(lái)問(wèn)我,我給他們講了很多的原理。第一步這個(gè)數據一定是分層分類(lèi)的,哪怕沒(méi)有類(lèi),大家都混在一起不行。這個(gè)就是對象化管理,每一棵樹(shù)都有自己的屬性,一定是對象化管理的,這是結構化數據。還有一定要有三維矢量,像是房屋。這些圖形的背后一定是一些文件來(lái)支持的,將來(lái)計算機能懂讀這個(gè)東西,它不用再自己去用深度學(xué)習來(lái)對這些不會(huì )說(shuō)話(huà)的數據進(jìn)行改造,事先采集的時(shí)候就把它搞定了,這中間就Y軸就是對象實(shí)體。你要和這些工業(yè)部門(mén)相結合的話(huà)屬性要求非常嚴格。我們可以把幾何屬性都事先做好。這種形式的數據是高級形式的,生產(chǎn)最困難,必須高度自動(dòng)化,人工是不可能生產(chǎn)出來(lái)的。這種數據做出來(lái)之后可以生產(chǎn)任何一種低級形式的數據,無(wú)結構的也可以做出來(lái)。
目前從AR的觀(guān)點(diǎn)來(lái)看是以感性為主,不是理性的。感性為主的意思就是放在卡上進(jìn)行一次碰撞檢測,或者前后遮擋檢測,這個(gè)就很低級,只能在卡上運算,不能在云上運算,我們要的數據是要在云上進(jìn)行知識產(chǎn)出,這點(diǎn)對AR是很重要的。昨天跟他們搞虛擬的人講到,我們是搞現實(shí)的,虛擬和現實(shí)一定要相結合。
當然對于A(yíng)R數據結構化的數據標準還有待研究,流動(dòng)的數據,所謂的流分兩種,一種是有形的流,比如說(shuō)車(chē)輛探頭。一種是無(wú)形的數據流,比如說(shuō)數據流、資金流,網(wǎng)購的數據。這兩種流都可以疊加到相對靜止的空間地理信息數據上,使得觀(guān)測效果更生動(dòng),這就是我們說(shuō)的熱力圖,所以我們能夠做的事很多。
最后,我給他們講了一下AR技術(shù)怎么樣才能再次成為一個(gè)潮流,它的核心問(wèn)題要使受眾達到千萬(wàn)級,甚至于億級的,我們做一個(gè)產(chǎn)品動(dòng)不動(dòng)就幾百萬(wàn)。用戶(hù)一年最多銷(xiāo)七臺,但是人家滴滴打車(chē)融資動(dòng)不動(dòng)上百億美元,因為他的受眾非常廣、非常巨大,你這個(gè)AR要想再次成為潮流的話(huà),受眾一定要從少數人變成多數人。
AR的下一步熱點(diǎn),跟我們地理信息相結合可以做些什么事情?
第一個(gè)是4DAR,就是交通部門(mén)的探頭。這個(gè)探頭的數據量是爆炸性的,警察要想從里面找到一點(diǎn)知識是很困難的,就要用4DAR技術(shù)幫助他。因為這個(gè)探頭數據里面有大部分的數據都是靜止的,比如說(shuō)樹(shù)、標線(xiàn)、房子,都是靜止的,只要把移動(dòng)的部分提取出來(lái)。每個(gè)探頭是有模型的,有它的位置和方位,在這個(gè)基礎上就可以把探頭的數據進(jìn)行疊加,這個(gè)就是錄像用深度學(xué)習很方便的可以把車(chē)找到,過(guò)去用這個(gè)技術(shù)是在街景發(fā)布的時(shí)候把車(chē)牌給隱蔽掉,現在不是了?,F在是要把這個(gè)車(chē)牌用上,沒(méi)有車(chē)牌的數據無(wú)法使用,這是我們三維模型。車(chē)上去之后這個(gè)模型還可以旋轉,這就是AR現場(chǎng)的實(shí)景。也就是通過(guò)深度學(xué)習的辦法把警察的數據拿出來(lái),把車(chē)找出來(lái),把固定場(chǎng)景的東西更真實(shí)的表現在上面,僅僅把警察所關(guān)心的車(chē)提取出來(lái),然后投上去,這就是4D。
如果警察關(guān)心人的話(huà)也是可以的,這有什么好處呢?就是數據量大的現狀,而且不僅可以看到現狀,還可以追溯歷史、預測未來(lái),看這個(gè)車(chē)下面要跑到哪兒去。這里面最核心的是移動(dòng)對象應該是有屬性的,就是說(shuō)這些移動(dòng)對象他的車(chē)牌號、車(chē)型、車(chē)的顏色,這都是移動(dòng)對象的屬性。所以我們的三維對象的話(huà)過(guò)去有點(diǎn)狀對象、線(xiàn)狀對象、面狀對象、體狀對象,這是我們的對象化管理中的四種。點(diǎn)狀對象比如說(shuō)電桿,線(xiàn)狀對象是隔離帶,面狀對象是墻,體狀對象是建筑物或者過(guò)街天橋?,F在出來(lái)了第五種就是移動(dòng)的對象,這個(gè)移動(dòng)對象在我們的結構里面能改,僅僅是把屬性里面對這個(gè)對象要有描述,在我們的屬性里面有它的大寫(xiě)坐標、小寫(xiě)坐標、幾何形狀,還要增加它的時(shí)間。就是我們過(guò)去三維時(shí)代的時(shí)候,這個(gè)屬性里面的幾何對象三維矢量,比如說(shuō)一個(gè)路燈三個(gè)點(diǎn)就夠了,一個(gè)坐標也是三個(gè)點(diǎn),一個(gè)電桿兩個(gè)點(diǎn)就夠了,一個(gè)房子當然多一些?,F在移動(dòng)對象的話(huà)屬性里面的幾何矢量就增加了,T1XYZ,T2X2Y2Z2,屬性項里面的矢量部分變成了四維的矢量,這就是4DAR結構的數據基礎。如果不是這樣的,警察可以在系統里面調任何時(shí)刻、任何地點(diǎn)的場(chǎng)景,任意時(shí)間、任何地點(diǎn)、你所需要的任何對象的場(chǎng)景,可是周?chē)囊磺袞|西都是真實(shí)的。把干擾的車(chē)也可以去掉了。
這是第一個(gè)“熱”,我們預計在國家公安部門(mén)大量的探頭數據量爆炸的情況下,將會(huì )有這個(gè)“熱”支持AR技術(shù)進(jìn)一步的發(fā)展。當然AR技術(shù)可以在手機上發(fā)布,也可以在LED上發(fā)布,也可以在網(wǎng)上發(fā)布。
第二點(diǎn)就是手機上的立體觀(guān)察,因為手機的數據量有限,目前要都從網(wǎng)上下載的話(huà),你在網(wǎng)上下載一個(gè)帶紋理的模型數量會(huì )很大。那么怎么辦呢?最近我們就搞了一個(gè)數據量幾乎為零的,幾乎可以忽略不計的,叫做“白膜”。這就是一個(gè)“白膜”,當然這里面把建筑物關(guān)掉了,當時(shí)做得還不是很成功,完全用激光,不用影像就可以把“白膜”輸入進(jìn)來(lái),做好之后它的數據量幾乎可以忽略不計,用本地數據就可以漫游,但是標線(xiàn)、路桿、天橋都是真實(shí)的,雖然沒(méi)有用影像,但是也足夠讓人看到這一切。所以這種“白膜”做出來(lái)以后就有可能在手機上進(jìn)行漫游,這個(gè)我們認為是AR的下一個(gè)熱點(diǎn)。
這個(gè)“白膜”做出來(lái)之后有什么用呢?首先一個(gè)就是可以作為自動(dòng)導航,給他們注入一些新的血液?,F在的導航軟件當然也有三維,但三維基本上都是虛假的,跟真實(shí)的情況不一致。我們現在雖然不是真實(shí)的紋理,但是基本上形狀是真實(shí)的,因此從過(guò)去所謂的百度、高德這些自動(dòng)駕駛的軟件中注入這樣的東西,就是所謂的實(shí)體導航。實(shí)體導航有什么好處呢?第一個(gè)好處就是到了目的地之后可以找到真正要去的地方,而不是走錯了?,F在因為北京搞拆偽建,把大廠(chǎng)商和賓館的標志都拆了,所以到了目的地之后導航結束了你也找不到要去的地方。因此這樣的實(shí)體導航就可以把你的目標所處在的路口,或者是建筑物進(jìn)行渲染,渲染成另外一種顏色,你這樣就很容易的在最后100米的時(shí)候找到你要去的地方,這是一個(gè)模式。另外一個(gè)就是實(shí)體定位,假設我們把這個(gè)街區所有的“白膜”都建起來(lái),這個(gè)“白膜”建起來(lái)并不是很復雜,只要車(chē)開(kāi)過(guò)去數據拿回家,第二天早上就出來(lái)了,這個(gè)就靠云計算,靠GPU,第二天早上就可以拿到“白膜”,基本上八九不離十,應該說(shuō)基本上不用編輯了。這樣的數據對于未來(lái)的實(shí)體定位提供了一個(gè)基礎,現在的定位潮流很多,現在的地基增強、藍牙定位、基站定位,這些都是無(wú)線(xiàn)電定位,跟我們搞測繪的沒(méi)有關(guān)系。但是我們搞測繪的下一步會(huì )推一個(gè)實(shí)體定位,我實(shí)體都做出來(lái)了,你拿我就可以了,當然也不是圖像定位,圖像定位的話(huà)信息量太大。所以我們測繪工作者在定位的技術(shù)上可能會(huì )有新的思路。
第三個(gè)熱點(diǎn),就是AR車(chē)窗的自動(dòng)駕駛。也就是說(shuō)在國外是有這個(gè)想法的,還沒(méi)有完全實(shí)現。會(huì )上有一個(gè)公司說(shuō)他可以做AR車(chē)窗,AR車(chē)窗就是在車(chē)上可以既把你計算機里面的實(shí)體街景的模型投影到屏幕上去,同時(shí)你又可以從,AR車(chē)窗是一個(gè)透明的,可以看到地面、看到實(shí)景。這兩者結合起來(lái)對于自動(dòng)駕駛,對于駕駛的樂(lè )趣會(huì )提高。一方面你的數據是不是對,就可以知道了。另外一方面你自動(dòng)駕駛的路線(xiàn)是不是對,如果不對的話(huà)一定是模糊的。因此AR在移動(dòng)物體,包括人當中都會(huì )很有用,過(guò)去的頭盔都是VR頭盔,目前所看到的都是VR頭盔,這個(gè)VR頭盔看不到自己的身體,也看不到地面,用戶(hù)用一會(huì )兒就頭暈。因此提出來(lái)一個(gè)AR頭會(huì )的概念。而AR頭盔要想推廣的話(huà),那就離不開(kāi)我們搞測繪的人了,因為它要實(shí)際模型,實(shí)際模型由誰(shuí)提供呢?就是靠我們測繪人提供的,所以我們在這個(gè)當中的應用是有很多場(chǎng)合的,雖然我們是跨界融合碰撞了一下,最后反響還是很好的。十多個(gè)人來(lái)加我的微信,我為什么在這里做報告呢?就是希望我們測繪人不要局限在過(guò)去的二維、三維,現在是四維時(shí)代了。也許這個(gè)會(huì )來(lái)的很快,把AR技術(shù)和我們現有的采集技術(shù)結合起來(lái),我們現在做的數據就要求非??茖W(xué)的,將會(huì )在馬路上每隔200米就修一個(gè)5G的基站。剛才我們四五十類(lèi)的路線(xiàn)都可以全要素的采集出來(lái),這點(diǎn)是有基礎的。但是客戶(hù)提出來(lái)的一個(gè)需求,你采集了之后我怎么知道它的變化?是不是再采一次?我現在初步的思路還不是這樣的,而是用電子標簽,用RFDI的技術(shù)實(shí)現動(dòng)態(tài)的監測,因此我們測繪工作者的服務(wù)面,雖然我們測繪局現在定到自然資源部去了,但是服務(wù)面是非常寬的,幾乎沒(méi)有一個(gè)行業(yè)能夠不用我們的技術(shù)。所以我們測繪地理信息工作者是在新一輪的創(chuàng )新大潮中大有可為。我的報告就到這里,謝謝。
下一篇: “黃河大合唱”中的測繪樂(lè )章
所屬類(lèi)別: 行業(yè)動(dòng)態(tài)