從近年來科技圈的表現來看,幾乎絕大部分的世界級科技產業巨頭都開始了對AR領域的布局。三星在CES 2020上展示了消費級AR概念眼鏡,聯想、佳能價值數萬元的企業級AR眼鏡已用于商用。2019年,Vivo、OPPO接連發布AR眼鏡,谷歌推出第二代AR眼鏡產品,微軟的Hololens 2也已經開始發售。在科技行業風云變幻而又煙波詭譎的形勢之下,蘋果迄今為止似乎從未真正發布出一款AR光學硬件產品。

蘋果到底是不重視AR這一戰略方向,還是另有隱情呢?不妨,讓我們一探究竟。

一、產品未動、專利先行

古人云:“兵馬未動,糧草先行。”這句話放在今天的商業中依然不算過時,只是將冷兵器時代的“糧草”的概念換為了21世紀互聯網時代的“技術專利”。

作為全球領先的科技企業,蘋果深知技術專利的重要性。在產品進入市場之前,已經默默申請了無數AR相關專利。

2020年2月美國專利商標局公布一項蘋果的虛擬會議方案相關專利,而專利中指出一種通過網絡遠程連接,讓兩個或兩個以上的用戶可在計算機、AR眼鏡(專利圖為一款配備雙攝透視功能的MR頭顯)、平板電腦、智能手機多種平臺上參與的線上虛擬會議方案。該方案適用于商務會議、遠程辦公、社交平臺等。

同月,美國專利商標局公開蘋果一項與MR頭顯光學相關專利,據了解,這專利指出一種透鏡可調節的光波導光學系統,,可以讓頭顯體積更小。而這MR頭顯采用分體式設計,可與iPhone、iPad或mac相連,并可采用疊加多層高透明度材料(玻璃或塑料)平面光波導,并且支持普通AR模式和攝像頭透視模式。而MR頭顯的輸入和輸出耦合器或采用布拉格光柵、棱鏡、有角度的透明結構或透鏡結構,可采用全息耦合元件衍射耦合結構。

同年3月, USPTO公布了蘋果公司最新的MR頭戴式設備專利,其主要圍繞前方蓋板展開。具體來看,前側蓋板支持透明度調節,可在AR或VR模式下進行按需切換。如果你需要體驗沉浸式VR內容,那么可以讓前側蓋板變暗,把透光度變低;如果你需要體驗AR內容,可以把透光度調高,畫面也會變通透。

隨即,蘋果公司發布了第二項HMD發明專利,該專利指出:該設備可根據不同人的瞳距,面部輪廓等對透鏡模組進行自適應調整,從而達到最佳的顯示效果?？梢詽M足家庭中爸爸、媽媽成年人,以及10歲以上的兒童,在不同人群之間進行自適應調整。而在專利描述中,描繪了一家人使用的場景。

諸如此類的專利還有很多,從美國專利商標總局官網以“蘋果”、“Augmented Reality”(AR全稱)為關鍵詞進行搜索,可以找到多達2335項相關專利。

蘋果AR相關專利布局分析圖(僅部分)

蘋果AR技術專利布局分析圖

從專利布局上來看,蘋果公司申請的AR相關專利涵蓋了硬件、軟件、系統、交互等諸多方面。僅在2020年1月,蘋果公司就獲得了增強現實與3D重建技術方面的59項專利,而這一數字隨著時間發展,還在不斷增多。由此看來,蘋果已經建立了一條由核心技術專利的護城河,無論何時入局AR行業,專利都是蘋果的重要保障,這些技術是很多AR領域的初創公司繞不開的壁壘。隨著科技發展,21世紀的商業競爭逐漸演化為知識產權的競爭,這條規則在AR領域也同樣適用。我們所有從事這一領域的科技公司,都應當要及時通過相應途徑保護自己的產品及技術專利。

二、常開大會,技術布局

蘋果在2017年WWDC推出的ARKit開發平臺。開發人員可以使用這套工具為iPhone和iPad等iOS設備創建增強現實應用程序。開發者可以在蘋果設備上開發出高質量的增強現實應用,此舉極大的刺激了谷歌公司,隨后重拾曾經放棄的Tango并推出ARCore平臺與之抗衡。

蘋果每年都會召開 WWDC 全球開發者大會,WWDC是蘋果公司每年定期在美國加州舉辦的會議活動,向全球的軟件的設計師展示蘋果公司最新的軟件和技術。從2017起,AR技術也成為了WWDC大會奪目的亮點之一,每年都有極為重要且強大的功能更新。

2017年 WWDC ARKit 1 功能

在2017年的WWDC上,蘋果首次推出ARKit技術,并推出了平面檢測、SLAM、環境理解、光照估計等功能。

2018年 WWDC ARKit 2 功能特性

2018年WWDC,ARKit2．0版本正式推出,提供了圖片識別、環境貼圖、物體檢測、多人AR等重要功能。

2019年WWDC  ARKit 3 功能特性

2019年WWDC,ARKit3．0版本推出,提供了動作捕捉、協同會話、人體遮擋等功能。并在更大程度上推廣 AR Quick Look 基于瀏覽器的AR功能,以及AR開發工具 Reality Composer等。

從技術角度來看,蘋果對AR技術的投入非常巨大,發展日新月異,以至于不考慮自身設備的兼容性。每年推出的最新技術,幾乎只有同一時期的最新設備才能支持。不僅刺激了大眾用戶花錢購買最新產品,也讓很多追求新技術的開發者流出了感激的淚水。

以2017年推出的人臉表情追蹤為例,需要A11以上處理器,也就是要求帶有前置TrueDepth攝像頭的iOS設備:iPhone X,iPhone XS,iPhone XS Max或iPhone XR,iPad Pro(11英寸)或iPad Pro(12．9英寸,第三代),iOS 11．0或更高版本,而完全不考慮在此之前的iOS設備是否兼容。

再以2019年推出的動作捕捉、人物遮擋這類功能為例,需要A12以上處理器,也就是iPhone XS、iPhone XR、iPhone 11等以上版本才可以支持?？梢钥闯?蘋果對AR技術的發展十分焦慮,幾乎是在自我迭代,每年都在拼命更新更為強大的AR功能,放眼未來,不看過去。

這樣做的后果是,最新的技術功能推出以來,由于支持的設備較少,無法滿足所有用戶,短時間內一直無法應用普及。但不難想象,憑借蘋果iPhone XR、iPhone 11系列產品2019年全球第一、第二的銷量,在未來幾年,這些新技術又將會慢慢逐漸成為主流。

在很多報告中都可以得到iOS 最新系統中包含了XR眼鏡相關功能的信息,所以把蘋果的AR技術僅視為手機端AR技術來看,顯然是不夠長遠的。

在蘋果開發者平臺,AR技術被放置在中心模塊的第一位,甚至在Siri之上,這點看來有些耐人尋味。蘋果可以說是世界上最重視開發者生態的科技公司之一,正是因為其深刻知道今天iOS AppStore的輝煌源于無數開發者一直以來的探索和創新,所以它對AR領域的布局,也一定會先從開發者群體出發。

蘋果通過WWDC與開發者建立了長期且友好的互動關系,為其AR應用生態的建立提供了基礎。

三、百花齊放,應用生態

蘋果從iphone 6s/se以上版本的手機型號支持ARKit,可以運行高質量的AR應用。iPad同理,A9處理器以上全面支持ARKit技術。

據統計,僅2019年,蘋果商店上線AR應用就超過4000款,包括游戲、工具、旅游、商務等多個類型。蘋果為此特地在AppStore中設置了AR游戲和AR應用的專欄,并為用戶推薦優質iOS 平臺AR應用。

相對安卓平臺碎片化、缺乏標準的AR系統生態,蘋果在iOS平臺AR方面的表現可謂是業內良心。

四、三軍奪帥,高管觀點

據國外媒體報道,蘋果高管2019年10月于加州總部召開了一場內部會議,由副總裁邁克 · 羅克韋爾(Mike Rockwell)主持,有超過1000名員工參與。明確提出,蘋果計劃于2022年推出AR頭顯,2023年發布輕量級AR眼鏡。

根據外媒報道,在愛爾蘭IDA活動上,蘋果公司CEO蒂姆·庫克被問及未來5-10年技術最大的技術變革有哪些時?庫克再次發表 “AR將是下一個重要的技術”觀點。蒂姆·庫克表示:“我對AR技術感到興奮,并認為這是下一個重要的技術,AR技術將影響我們未來的一生的生活。”

五、從軟到硬,貫通全局

蘋果作為移動互聯網時代的科技霸主,無論在硬件和軟件領域都有著近乎絕對的資源優勢。我們不妨看看蘋果與AR有關的硬件產品和軟件技術,提前瞻望一下蘋果在AR領域暗中建造的通天塔。

從PC時代的電腦,到移動互聯網時代的智能手機,再到AR時代的眼鏡頭顯,蘋果具有強大的硬件生態體系。不論iPhone還是iPad,從近幾年的發展來看,這些產品對AR技術的支持都越來越好。

雖然AR眼鏡還沒有正式發布,但從蘋果申請的大量AR眼鏡專利來看,其想法已是路人皆知。Home Pod 智能音箱屬于物聯網智能家居類產品。而在一項專利中顯示,Home Pod在設計的過程中為蘋果的AR頭顯設計了隱藏接口,未來或許可以通過眼鏡設備操控。

Apple Watch手表作為智能穿戴設備,已經用于和手機搭配使用,可以實現接聽電話一類的功能,但其作用并沒有被完全激發出來,如果在蘋果推出AR眼鏡以后,通過Apple Watch搭配眼鏡使用,會發揮出更好的交互效果。

在前文中所提到的蘋果專利中,其中包含了數項車載AR顯示專利,加上蘋果本身有智能汽車的戰略規劃。在未來與谷歌在自動駕駛時代的競爭中,蘋果一旦發布汽車產品,必定會搭載AR顯示功能。

3D內容是一切AR應用的基礎,蘋果作為極端的科技統治者,深諳閉環生態的玩法。在發展AR技術的過程中,蘋果做了一套可以稱得上是“釜底抽薪”的操作。

蘋果推出了一種叫USDZ 的模型格式,主要用于ARKit增強現實內容的展示。USDZ是蘋果公司和皮克斯公司基于皮克斯公司的Universal Scene Description技術共同開發的一種新型文件格式。

這個模型的特點是,USDZ可以通過 fbx、obj 等諸多格式的3D模型轉換而來,但并不提供USDZ轉換為其他格式的方式。這意味著不支持逆向轉換,也就是說只進不出。舉個簡單的例子,如果有一天,一個開發人員發現一款模型的其他格式的模型文件找不到了,只有USDZ,那就只能用USDZ格式的模型,而USDZ只能用于ARKit及其相關技術開發,進而就只能選擇ARKit。

那么問題來了,為什么開發者和設計人員一定要用USDZ呢,用別的格式不好嗎?蘋果早就考慮到了這點。蘋果通過 ARKit Quick Look為用戶提供了小白式的AR開發流程,在AR QuickLook 的WebAR生態下,USDZ格式模型拖進去就能用,可以在蘋果手機上直接實現AR效果,無需復雜的編程。

舉個比較有代表性的,如蘋果官網的Mac Pro AR展示就是通過 USDZ+AR QuickLook模型實現的。

除了ARQuick Look,蘋果還為不會編程的美術、設計類開發人員提供了Reality Composer,通過Reality Composer這款軟件,通過簡單的拖、拉、拽,無需編程就可以實現AR開發。而Reality Composer 強制使用的模型格式就是——USDZ。

在早些時候,USDZ的轉換過程有些繁瑣,需要用到XCode進行復雜的編譯和命令調整。蘋果又很快推出了Reality Converter,進一步簡化了 USDZ 的轉換方式,小伙伴們終于可以快速轉換USDZ格式模型的文件了。但別忘了,USDZ依然是只進不出。

面對Reality Composer和AR Quick Look的誘惑,如此便宜、簡單又大碗的開發方式,誰不愛呢?

很快,就有電商公司、AR營銷公司紛紛采用了USDZ 模型文件的技術方案。如AR廣告營銷解決方案公司NexTech宣布,將支持蘋果的3D文件格式USDZ,進一步優化iPhone端用戶體驗,用戶通過手機內置的Quick Look功能就可以開啟應用和瀏覽器中的AR內容。

加拿大跨境電商公司Shopify宣布擁抱Apple AR Quick技術,采用USDZ格式模型文件,為商家帶來增強現實展示功能,并為消費者提供AR預覽體驗。

老大哥一看,都想做電商是吧?蘋果順水推舟,把 Apple Pay (蘋果支付)也加進來了,順帶著對AR QuickLook 做了一波優化。

2020年2月,基于Safari 瀏覽器和Quick Look技術實現的網頁端WebAR加入了大量優化并加入部分新功能,其中在Quick Look(AR快速預覽功能)加入了Apple Pay支付按鈕,并且可跳轉到購買頁,通過Apple Pay打通電商購物從體驗到購買的閉環。并且ARKit還新增空間音頻效果,客戶在與3D控件交互時可觸發逼真的提示音、音樂等。移動虛擬物品時聲音也會改變。

說到這,我們不難看出硬件、軟件、技術、開發工具,蘋果幾乎已經把AR領域中能做的幾乎都做了一遍了,甚至連模型格式都不放過。只有你想不到,沒有它做不到。

蘋果為AR開發者提供了開發工具、流程、文件格式全家桶套餐,覆蓋了iOS開發者、Web前端人員以及零編程基礎的小白創作用戶,通過上圖可以看出蘋果已經形成了完整的AR開發流程體系。

六、蘋果的AR上半場對決

由于蘋果涉足了AR行業幾乎所有方面,因此蘋果的對手也極多,無論是從操作系統、硬件設備、開發工具、應用生態等諸多方面。

首當其沖的必定是操作系統,目前在AR領域可見的對手有谷歌旗下的安卓,微軟的Windows Core、華為應用于IOT時代的鴻蒙OS、以及Linux等。很多AR硬件創業公司認為在AR時代操作系統市場會重新洗牌,便選擇了自研操作系統,用來爭那一角未來。所以在新的時代背景下,操作系統市場必定會亂戰一團。如Linux這類較為原始的系統,憑借龐大的市場體量與永恒的開源精神在服務器端依舊穩如泰山,但在AR時代的客戶端可能會被甩出邊緣。

其次是開發工具,蘋果先后推出了Reality Kit、RealityComposer。并且有著成熟的開發工具XCode和Swift編程語言。蘋果希望通過 RealityKit ,iOS開發人員無需再學習Unity或虛幻引擎等游戲引擎工具,Reality Kit將是iOS開發人員更熟悉和更簡單的選擇。

蘋果這些開發工具雖好,卻只能用于開發iOS平臺應用,而用戶顯然不可能只使用蘋果的設備,當今AR市場風云變幻,除了安卓平臺的ARCore還有Vuforia、SenseAR、HuaweiAR、EasyAR、VoidAR等群雄逐鹿。在MR眼鏡平臺,有微軟的Hololens MRTK、創業公司Magic Leap,以及國內眾多MR眼鏡廠商自己的開發平臺。但開發工具往往依賴編程語言,所以大部分AR技術公司不會選擇自研開發工具。蘋果在開發工具方面的對手并不是創業公司,所以可能更接近上圖情況。

總之,蘋果面臨的挑戰還是很多的,面對廣泛的技術開發需求,開發者不可能完全擺脫Unity、Unreal這類開發工具。大部分開發者可能只是同時使用,或者極少部分開發者會選擇只開發iOS平臺AR應用。

蘋果在智能手機、AR眼鏡以及AR技術方面的對手會有很多,在未來會更多,可能有些主角正在成長中甚至目前還沒有誕生,所以就不一一贅述了。

七、鈔能力與時間線

2010年9月20日      蘋果收購面部識別技術公司Polar Rose。

2015年5月 蘋果收購了增強現實創業公司Metaio,隨即于2017年推出了ARKit。

2015年11月       蘋果收購瑞士實時運動捕捉技術公司Faceshift。

2016年1月7日 蘋果收購情緒識別技術公司 Emotient。

2016年1月29日 蘋果收購增強現實技術公司Flyby Media。

2016年12月1日      蘋果收購室內地圖導航技術公司 indoor．io。

2017年6月16日 蘋果收購德國眼動追蹤硬件和軟件技術公司SensoMotoric Instruments。

2017年9月22日      蘋果收購加拿大AR頭戴顯示硬件公司Vrvana。

2017年9月29日      蘋果收購法國公司Regaind,這是一家計算機視覺技術公司。

2017年12月       蘋果收購丹麥專注機器學習綠幕摳像技術的AR初創公司Spektral。

2018年 蘋果收購機器學習技術公司Laserlike。

2018年9月24日      蘋果收購英國圖像及音頻識別技術公司Shazam。

2018年8月29    蘋果收購AR眼鏡初創公司Akonia Holographics。

2019年6月25日 蘋果收購自動駕駛汽車公司Drive．ai。

2019年10月3日      蘋果收購英國動作捕捉技術公司IKinema,完善ARKit人體姿態識別追蹤技術功能。

2019年12月收購了英國AI初創公司Spectral Edge; 該初創公司使用機器學習來增強照片,從而可以改善iPhone圖片。

2020年1月15日,蘋果據收購AI公司Xnor．ai,傳聞斥資2億美元獲得的低功率AI技術和相關專業技術可用于其AR頭顯。

自2015年開始,蘋果收購了大量AR與AI技術的軟件、硬件公司,市值超過萬億美元的蘋果公司堪稱一臺沒有感情的收割機。上面所述的蘋果在AR領域周密的技術布局,很大程度依賴于對這些技術的投資和收購。

以上也只是僅僅一部分,蘋果據傳聞和國際光學巨頭合作開發AR眼鏡,隨后又傳聞取消AR眼鏡研發,不久之后iOS 13內部版本又透露出AR頭顯相關功能。蘋果的AR眼鏡就像是一只薛定諤的貓,一會兒出現一會兒又消失,大家都在猜到底有沒有,搞得跟量子糾纏一樣。唯一不同的是,AR行業的從業者們心里很清楚,雖然不確定時間,但它一定會到來。

總結

蘋果的優勢在于其封閉的生態體系,一環扣一環,在這個平臺上從硬件到軟件,將開發者與用戶牢牢鎖住。在AR時代蘋果宛如一座通天塔,封閉而獨裁,絕立而高聳,它既是孤獨的強者,同時也與世皆敵。

蘋果遲遲未發布AR光學硬件產品,不意味著蘋果不重視AR領域。相反,蘋果非常重視AR,多年以來,都在這一領域默默耕耘。用一句古話來形容也不為過:“此鳥不飛則已,一飛沖天;不鳴則已,一鳴驚人”。

不論如何,蘋果在AR領域的布局,已經慢慢的浮現出來。作為移動互聯網時代抓住那一次科技范式變化的主角,憑借它在科技領域的影響力,以及與對下一代計算平臺的執著,蘋果的入場注定會為AR行業帶來翻天覆地的變化。