編譯/VR陀螺
注：本文作者為暢銷書《元宇宙》作者M(jìn)atthew Ball（馬修·鮑爾），今年6月20日，Matthew Ball與Meta CTO Andrew Bosworth（后稱Boz）進(jìn)行了一場(chǎng)深度對(duì)話。
對(duì)話內(nèi)容涉及Meta的相關(guān)元宇宙戰(zhàn)略：VR/MR年銷量突破1億所需條件、理想的頭戴式設(shè)備規(guī)格、Reality Labs的支出分配情況、即將發(fā)布的AR眼鏡的技術(shù)細(xì)節(jié)、AI對(duì)于元宇宙的作用等。
人物介紹：Boz于2006年加入Facebook，是公司的第十位工程師，隨后參與構(gòu)建最初的News Feed、Messenger、Groups以及許多早期的反濫用和基礎(chǔ)設(shè)施系統(tǒng)，并負(fù)責(zé)管理廣告和業(yè)務(wù)平臺(tái)產(chǎn)品組。2017年，Boz擔(dān)任Reality Labs的負(fù)責(zé)人，2022年擔(dān)任Meta的首席技術(shù)官。
Boz，圖源：網(wǎng)絡(luò)
以下是采訪原文：
馬修·鮑爾：我想先從Meta對(duì)Reality Labs的愿景開始。Oculus VR于2014年被收購(gòu)，收購(gòu)價(jià)大約是兩年前Instagram收購(gòu)價(jià)的兩倍。2018 年，F(xiàn)acebook董事會(huì)收到了一份關(guān)于發(fā)展虛擬現(xiàn)實(shí)的主題為“元宇宙”的備忘錄。2020年，第一款Quest面世；2021年，公司更名為Meta。這些都是外界所知的事件。
從您的角度來看，尤其是您在2006年加入Facebook，2017年開始領(lǐng)導(dǎo)Reality Labs，到2022年擔(dān)任Meta的首席技術(shù)官，我想知道在公司內(nèi)部，有哪些重大事件改變了您或公司對(duì)元宇宙的看法、改變了對(duì)頭戴式顯示器時(shí)機(jī)的看法，并導(dǎo)致了對(duì)元宇宙如此大規(guī)模的公開押注？
Boz：在我真正參與之前，發(fā)生了幾件事。最著名的是扎克伯格做了一個(gè)演示，他們有一個(gè)早期版本的Oculus Toybox，在這個(gè)VR體驗(yàn)中，他在玩一個(gè)小型拳擊游戲，面前的桌面上有小人物。此時(shí)演示仍然用膠帶粘在一起，這是Oculus時(shí)代的早期。
在演示結(jié)束時(shí)，扎克伯格將他的手柄放在桌子上，只是桌子是虛擬的，這些手柄自然會(huì)落在地上。他真的相信這是一個(gè)重要的未來平臺(tái)，在這個(gè)平臺(tái)上，你可以做 [無法通過其他方式完成的事情]。
當(dāng)時(shí)我并沒有真正參與其中，那時(shí)我還在Facebook其他部門工作。在面對(duì)每一次收購(gòu)時(shí)，你都會(huì)與被收購(gòu)團(tuán)隊(duì)一起制定一個(gè)目標(biāo)圖，以及公司希望實(shí)現(xiàn)的目標(biāo)和時(shí)間表?；仡欉^去（即Oculus收購(gòu)），我可以委婉地說他們有點(diǎn)樂觀。他們對(duì)能力、成本、上市時(shí)間和采用率幾乎全盤持樂觀態(tài)度。我不知道這份文件是否被挖掘出來過——順便說一句，我從未見過它——我只知道他們?cè)诿恳粋€(gè)維度上都至少偏離了一個(gè)甚至多個(gè)數(shù)量級(jí)。
當(dāng)我加入時(shí)，扎克伯格仍然非常相信這項(xiàng)技術(shù)，但我認(rèn)為他需要獨(dú)立評(píng)估。我是一個(gè)在新領(lǐng)域?qū)W習(xí)很快的人，我會(huì)給他一個(gè)獨(dú)立的視角。
我加入進(jìn)來不久，團(tuán)隊(duì)出現(xiàn)了分歧。當(dāng)時(shí)，約翰·卡馬克和不少人都全身心投入到VR一體機(jī)的研發(fā)中，他們希望壓低價(jià)格，從而真正消除將昂貴的PC連接到頭戴設(shè)備的需求。 而另一組人，實(shí)際上是最初的Oculus的領(lǐng)導(dǎo)團(tuán)隊(duì)，仍然致力于真正高端的外圍設(shè)備 （即PCVR）。
發(fā)售于2019年的Oculus Rift S，圖源：VR陀螺
坦白說，扎克伯格進(jìn)入Oculus或Reality Labs并不是為了涉足外設(shè)業(yè)務(wù)。（PCVR）這種業(yè)務(wù)規(guī)模不足以引起像Facebook這種體量公司的興趣。你會(huì)意識(shí)到，你在PC生態(tài)系統(tǒng)的戰(zhàn)斗中必?cái)o疑，你不僅會(huì)輸給Steam，還會(huì)直接輸給獨(dú)立開發(fā)者。如果你只是連接到這臺(tái)機(jī)器，那么這臺(tái)機(jī)器就是你在那里獲得的所有體驗(yàn)的錨點(diǎn)。
我甚至不需要從戰(zhàn)略層面考慮，單從產(chǎn)品角度來看，我也認(rèn)為我們必須開發(fā)獨(dú)立設(shè)備。我們必須達(dá)到這樣的境界：擺脫線纜束縛、擺脫昂貴的生態(tài)系統(tǒng)、擺脫設(shè)置繁瑣等問題。
不過后來，我們同意讓Oculus Rift再上一代，也就是我們與聯(lián)想所合作的Rift S，但我們接手并打造了它。我們同時(shí)試用了Gear VR，我很確定它的性能不足，但我們想測(cè)試它，因?yàn)槿绻鸊ear VR已經(jīng)足夠好，那么就會(huì)有一條更具成本效益的途徑將其推向主流。但事實(shí)并非如此。不過在我看來，它為Quest鋪平了道路。
在我們發(fā)布Quest 1之前 [注：2019 年 5 月]，當(dāng)我們體驗(yàn)它時(shí)，就知道這是確信的路線。實(shí)際上在我們推出 Quest 1之前，我們也已經(jīng)在籌備Quest 2 [注：Quest 2 于 2020 年 10 月推出]。我們差不多已經(jīng)知道了我們希望擁有什么。所以我基本上認(rèn)為我們的時(shí)代（或指Quest？）是最初的時(shí)代，這要?dú)w功于創(chuàng)始團(tuán)隊(duì)，他們從無到有創(chuàng)造了一些東西，并創(chuàng)造了足夠好的體驗(yàn)，特別是他們開創(chuàng)的一些體驗(yàn)，比如《First Contact》和《Toybox》，非常精彩地講述了VR這個(gè)媒介的故事。
隨后，我們?cè)谶@個(gè)時(shí)代正在努力應(yīng)對(duì)生產(chǎn)成本、上市成本、消費(fèi)者接受度、內(nèi)容策略等現(xiàn)實(shí)問題，這將帶你走上一條不同的道路，即走向獨(dú)立頭顯之路。我想，在我的職業(yè)生涯結(jié)束時(shí)——我很幸運(yùn)能擁有這樣的職業(yè)生涯——我會(huì)非常懷念Quest 2的發(fā)布，后續(xù)每一年都能以更低的價(jià)格推出更好的產(chǎn)品，這真是一件特別的事情。這太瘋狂了，尤其是在消費(fèi)電子領(lǐng)域。
所以我認(rèn)為這對(duì)我來說有點(diǎn)像是我們戰(zhàn)略的揭示。這就是戰(zhàn)略，這就是我們正在做的事情，這就是令人興奮的事情：什么時(shí)候平臺(tái)才能從根本上足夠完整，可以真正地把一切都寄托在上面？而現(xiàn)在我們有了一個(gè)穩(wěn)定的平臺(tái)。
從某種意義上說，我們已經(jīng)向Quest 1的開發(fā)人員承諾，我們將能夠?qū)崿F(xiàn)跨代連接，而答案就是Quest 3。所以實(shí)際上我認(rèn)為第一個(gè)時(shí)代是這種與PC相連的時(shí)代，這非常重要，沒有它，你就不會(huì)達(dá)到我們現(xiàn)在的水平。然后是構(gòu)建獨(dú)立平臺(tái)時(shí)代，包括 Quest 1 和 Quest 2。
在我看來，隨著Quest 3的推出，這一時(shí)代已經(jīng)結(jié)束。Quest 3就像是一個(gè)平臺(tái)。當(dāng)然，你可以添加或不添加眼動(dòng)追蹤、你可以添加或不添加 AI 助手、你可以添加或刪除所有這些功能。這些都是優(yōu)化。但真正優(yōu)秀的色彩混合現(xiàn)實(shí)功能是我們想到的最后一塊缺失的拼圖，順便說一句，至少在我看來，它是讓這個(gè)東西成為主流并解鎖所有這些額外用例的關(guān)鍵組成部分。這就是我們現(xiàn)在所處的時(shí)代。
Quest 3發(fā)布后，它在勢(shì)頭、銷售和采用方面都是積極的?，F(xiàn)在，一旦您知道這是您的基礎(chǔ)平臺(tái)，大量的軟件工作就會(huì)發(fā)生變化。以前，我們不要重新審視合成器，不要弄亂它，因?yàn)槿绻麄€(gè)架構(gòu)在下一代發(fā)生變化，那將是浪費(fèi)工作?，F(xiàn)在您從功能的角度知道了架構(gòu)將會(huì)是什么樣子，您可以真正開始合并和結(jié)合，并提高速度，例如您的軟件速度會(huì)大大提高。所以我認(rèn)為我們現(xiàn)在處于一個(gè)有趣的混合現(xiàn)實(shí)時(shí)代。我們每次都會(huì)重新命名團(tuán)隊(duì)。以前是 Oculus，那是VR，而現(xiàn)在是MR。現(xiàn)在我們對(duì)至少未來幾代和下一組工作都有了非常清晰的愿景。這仍然很困難，但令人興奮，我們確實(shí)感覺正處在一個(gè)新時(shí)代。
發(fā)布于2023年的Quest 3，圖源：網(wǎng)絡(luò)
馬修·鮑爾：那么讓我們來談?wù)勥@個(gè)新時(shí)代。個(gè)人電腦每年的銷量約為2.5億臺(tái)，峰值為3.5億臺(tái)。智能手機(jī)的峰值約為15億臺(tái)，現(xiàn)在約為12億臺(tái)。您認(rèn)為，MR/VR頭戴設(shè)備（非眼鏡）實(shí)現(xiàn)年銷量1億臺(tái)的最大障礙是什么？
Boz：嗯，可能有三個(gè)答案，但我們?nèi)圆磺宄@三個(gè)答案的優(yōu)先順序。
其中之一肯定是內(nèi)容。有些人會(huì)把它理解為游戲，我的意思是在設(shè)備上可以做的事情。我認(rèn)為這個(gè)領(lǐng)域確實(shí)有一些超前的硬件，背后甚至可以追溯到90年代。最近的Magic Leap 2（市場(chǎng)表現(xiàn)）不是硬件問題——硬件可能存在一些問題——但這不是核心原因，只是缺乏生態(tài)系統(tǒng)和可以做的事情。
價(jià)格肯定也是其中一個(gè)答案。我認(rèn)為這兩個(gè)答案之間的關(guān)聯(lián)程度是不同的。顯然，價(jià)格越低，你需要增加的價(jià)值就越低，但人們也就越不重視它。價(jià)格越高，你需要增加的價(jià)值就越多。
最后一個(gè)是可訪問性。這是一個(gè)有點(diǎn)含糊的術(shù)語，所以讓我解釋一下我的意思。從舒適度到重量、從暈動(dòng)癥到適應(yīng)眼睛的寬窄、對(duì)頭發(fā)或化妝、造型程度的影響、需要充電多少次以及充電頻率、輸入方法：它需要兩只手嗎？你能用一只手嗎？你能不用手嗎？所有這些都限制了它可以在多少地方使用、使用頻率和人數(shù)。當(dāng)然，它們肯定會(huì)與成本進(jìn)行權(quán)衡。其中一些是價(jià)值。如果你降低光學(xué)清晰度，你可以減輕重量，但現(xiàn)在你有一個(gè)價(jià)值問題。所以這些東西的權(quán)衡空間很小。
我們?cè)谒羞@些方面都取得了進(jìn)展，但這需要真正的創(chuàng)新。你之前提到了Meta在這方面投入成本，當(dāng)然我會(huì)更傾向于“投資”一詞，新技術(shù)并不是一出現(xiàn)就準(zhǔn)備好投入使用的。供應(yīng)鏈必須建立，制造業(yè)必須建立，技術(shù)本身必須開發(fā)，這意味著在你找到第11條可行的道路之前，你必須為你走過的10條錯(cuò)誤的道路付出代價(jià)。我們顯然相信這項(xiàng)投資，我認(rèn)為它將達(dá)到我們所說的數(shù)字，即數(shù)億人可以接觸到這些技術(shù)，并在個(gè)人和專業(yè)方面使用這些技術(shù)。盡管我有信心我對(duì)產(chǎn)品和平臺(tái)的未來發(fā)展有一個(gè)清晰的愿景，但仍有許多工作要做。
發(fā)布于2022年的Quest Pro，圖源：網(wǎng)絡(luò)
馬修·鮑爾：您目前領(lǐng)導(dǎo)Reality Labs已有7年。當(dāng)再過7年，甚至10年，當(dāng)您提到HMD時(shí)，您會(huì)想到什么？我說的是電池壽命、分辨率、幀速率、重量，所有這些。您本能地想到的是什么？
Boz：我們?cè)赗eality Labs研究中做的一件有趣的事情就是建造這些時(shí)間機(jī)器，如探索將分辨率最大化會(huì)怎么樣？將分辨率調(diào)到絕對(duì)的100%，而忽略其他一切。這些裝置看起來令人難以置信，但你會(huì)獲得體驗(yàn)，并對(duì)它有很好的感覺。所以當(dāng)你有這些小型的時(shí)間機(jī)器，可以實(shí)現(xiàn)視野、分辨率、顏色、深度、色域、高動(dòng)態(tài)范圍、亮度等（極限）。我們?cè)谧鲞@些體驗(yàn)時(shí)總是在尋找參數(shù)化，讓它們能穩(wěn)定體驗(yàn)。你只是在尋找曲線和曲線的形狀。那條曲線上有一個(gè)拐點(diǎn)嗎？?jī)r(jià)值函數(shù)是否有一個(gè)開始穩(wěn)定的地方？這并不是說它不會(huì)繼續(xù)，也不是說人們無法繼續(xù)觀察到改進(jìn)，而是它對(duì)功能性來說變得不那么重要了。
所以當(dāng)我展望未來七年時(shí)，這可能是我能可靠地瞥見的最遠(yuǎn)的未來，我們考慮的是每度像素?cái)?shù)PPD。你真的希望達(dá)到至少45像素，這時(shí)文本效果會(huì)非常好。60像素可能是視網(wǎng)膜分辨率的一半，但實(shí)際上你無法分辨，原因我就不多說了。因此，你確實(shí)希望PPD達(dá)到50至60。超過40像素后，效果就已經(jīng)變得很好了。我們已經(jīng)看到Varjo、Apple等公司做到了這一點(diǎn)，你也看到了今天要獲得這樣的分辨率需要付出的代價(jià)。在視野、亮度和其他一些方面，你會(huì)犧牲一些東西。這些都是真正的付出。
因此，你想要到達(dá)那個(gè)目標(biāo)，就必須有一個(gè)合適的視野。如果你的視野比Quest 3小得多，你就會(huì)開始注意到這一點(diǎn)。你眼睛里的細(xì)胞可以檢測(cè)到垂直方向的運(yùn)動(dòng)變化，因此，你需要有較寬的視場(chǎng)角，這樣你就不會(huì)一直注意到它的邊緣。實(shí)際上，我認(rèn)為對(duì)于沉浸感來說，較高的視野比較寬的視野更重要。當(dāng)然，就信息密度而言，更寬的視野對(duì)我們?nèi)祟悂碚f更為重要，因?yàn)槲覀兊难劬Υ_實(shí)能看到更多水平方向的信息。但垂直視角是一種很好的方式，它可以以一種有點(diǎn)欺騙性的方式讓你相信沉浸在一個(gè)空間中。
Magic Leap 2 FoV，圖源：網(wǎng)絡(luò)
當(dāng)然，你需要有計(jì)算能力來運(yùn)行所有這些東西。在我看來，從散熱角度來看，設(shè)備必須是獨(dú)立的，沒有電線 [注：蘋果的Vision Pro有一個(gè)類似于起搏器的外部有線電池]。我不想讓人看到我添加了一堆東西。我并不是說它沒有用處。你當(dāng)然可以想象工業(yè)應(yīng)用。順便說一下，PC VR一大笑話在于，我們現(xiàn)在實(shí)際上已經(jīng)制造了最好的最受歡迎的PC VR（Quest 3）。你只需將電線或使用Air Link將其連接到電腦端。
對(duì)我來說，我確實(shí)認(rèn)為舒適度是其中非常重要的一部分。你希望看到（設(shè)備的）重量降低，這不僅僅是克數(shù)，這不是最重要的：設(shè)備如何在頭上保持平衡，光學(xué)堆棧離眼睛有多近，平衡點(diǎn)位于鼻子邊緣到設(shè)備邊緣之間，它決定著臉頰的舒適度，前額的壓力大小取決于你使用哪種表帶等。
因此，你可以將頭顯的堆疊稍微向內(nèi)移動(dòng)，這是從Quest 3到Quest 2的重大轉(zhuǎn)變之一，距離向內(nèi)移動(dòng)了相當(dāng)多，因此用戶在執(zhí)行這些操作時(shí)會(huì)感覺更舒適。因此，我希望到那時(shí)設(shè)備重量能減輕1到200克。
我認(rèn)為音頻效果也會(huì)變得很好。你會(huì)得到越來越棒的立體聲音頻。當(dāng)設(shè)備使用外揚(yáng)時(shí)，你能做的事情會(huì)受到一些限制，用戶也可以選擇有線耳機(jī)。我們可以隨著時(shí)間的推移為人們提供更多選擇。我們今天在耳機(jī)插孔方面就是這么做的。
幀率。我們已經(jīng)采用了感覺十分不錯(cuò)的120 Hz。但顯然，在PC游戲中使用240 Hz或更高頻率的玩家不會(huì)同意，他們喜歡那種如絲般順滑的感覺，我尊重這一點(diǎn)。（但后續(xù)采用120Hz是保持產(chǎn)品平衡的一大代價(jià)）。例如，視場(chǎng)角面臨的挑戰(zhàn)之一是，視場(chǎng)角邊緣的像素要比視場(chǎng)角中心的像素多四倍。而這些像素對(duì)你的價(jià)值遠(yuǎn)遠(yuǎn)低于四倍。它們是相對(duì)不重要的像素。因此，如果你在價(jià)值明顯較低的像素上花費(fèi)了更多，這很難證明是合理的。
我對(duì)幀速率也有類似的看法，我并不是說240 Hz不比120 Hz好，就像我認(rèn)為60 PPD之于40 PPD一樣，但是在有限的計(jì)算預(yù)算內(nèi)，我們看不到這方面的代際巨大改進(jìn)。我們需要更多策略，因此，我認(rèn)為注視點(diǎn)渲染技術(shù)對(duì)于解鎖提高分辨率的能力具有真正的希望。我們能否想象這樣一個(gè)世界：顯示器能夠?qū)崿F(xiàn)更高的幀速率，但您在系統(tǒng)的其他地方做出了犧牲，如您無法進(jìn)行多任務(wù)處理，我可以想象這些事情，尤其是對(duì)于工業(yè)用例。不過，這在很大程度上取決于面板。再說一次，我認(rèn)為我們不會(huì)為此進(jìn)行優(yōu)化。
順便說一句，關(guān)于120 Hz的有趣故事，這是如今一個(gè)很受歡迎的功能。當(dāng)時(shí)我們還沒解鎖120 Hz，（當(dāng)時(shí)是90 Hz)，我們的一位工程師發(fā)現(xiàn)屏幕面板其實(shí)支持120 Hz，約翰·卡馬克對(duì)此非常憤怒。如果設(shè)備支持該功能，我們應(yīng)該為需要該功能的消費(fèi)者解鎖。我們做到了，而它現(xiàn)在非常受歡迎。
所以，有些故事很傳奇，你為某種規(guī)格和某種功率而制造設(shè)備，但我們確實(shí)希望讓消費(fèi)者有機(jī)會(huì)、有能力選擇如何使用這些功率。我們將繼續(xù)在這些系統(tǒng)中加入更多靈活性。我真的希望七年后的情況是，你有更多的頭顯可供選擇，而這些頭顯都能運(yùn)行適應(yīng)你使用情況的生態(tài)系統(tǒng)。
如果你是一名游戲玩家，并且習(xí)慣使用240 Hz的華碩ROG顯示器，那么，有沒有一款可以為你提供這種體驗(yàn)的同等頭顯呢？雖然這樣做會(huì)犧牲一些其他方面，但這是一個(gè)你應(yīng)該能夠做出的選擇。因?yàn)槠吣旰螅覀內(nèi)詿o法擺脫重量、成本和性能等基本權(quán)衡。實(shí)際上，這三者只能選一個(gè)，甚至不能選兩個(gè)。
約翰·卡馬克在Oculus，圖源：網(wǎng)絡(luò)
馬修·鮑爾：蘋果最近宣布，他們將向開發(fā)者開放Vision Pro的透視相機(jī)數(shù)據(jù)，但僅限于由企業(yè)賬戶管理的設(shè)備和通過該企業(yè)內(nèi)部系統(tǒng)分發(fā)的應(yīng)用程序。Meta對(duì)此有何看法？是否有這類計(jì)劃？您如何考慮安全性和功能之間的權(quán)衡？
Boz：好吧，我當(dāng)然希望人們尊重并欣賞我們?cè)陔[私方面的立場(chǎng)，這一點(diǎn)比蘋果更甚。我認(rèn)為我們不應(yīng)該忘記，我們已經(jīng)確立了這一地位，而蘋果從市場(chǎng)角度來看正在削弱這一地位。當(dāng)然，這是玩笑。
嚴(yán)肅的回答是，如果開發(fā)人員可以直接訪問相機(jī)，我們都可以想象出非常有用的用例。你是一名機(jī)械師，你正在看一個(gè)你不熟悉的引擎，開發(fā)人員可以構(gòu)建各種工具來幫助你查看覆蓋圖、查看示意圖，甚至診斷問題，但Meta永遠(yuǎn)不會(huì)做到這一點(diǎn)，在開發(fā)人員沒有能力的情況下[做到這一點(diǎn)]……開發(fā)人員不能[預(yù)先]上傳我們可能看到的所有圖像配置，讓我們圍繞這些配置建立分類器，這也是不可信的......[那么]如果你不[自己]建立這種能力，這種用例就會(huì)得不到充分的服務(wù)。
同時(shí)，由于這項(xiàng)技術(shù)在世界上還很新，我們也希望確保人們、旁觀者感到舒適。如果有人選擇在飛機(jī)上佩戴頭顯，他們就會(huì)明白這對(duì)他們意味著什么?，F(xiàn)在，我們正在尋找越來越多的技術(shù)來解決這個(gè)問題。有多種方式可以向旁觀者發(fā)出信號(hào)。我前面開了個(gè)關(guān)于蘋果的小玩笑，但我認(rèn)為，Apple Vision Pro的出現(xiàn)對(duì)我們整個(gè)行業(yè)都很棒，現(xiàn)在人們對(duì)這些設(shè)備具有了更多了解，我認(rèn)為，人們對(duì)它的了解越多，旁觀者感到恐懼或戴上它時(shí)感到不舒服的恐懼就越少，因?yàn)橛行┤藫?dān)心別人會(huì)對(duì)它產(chǎn)生負(fù)面反應(yīng)，或者他們會(huì)對(duì)它感到驚訝。
所以我認(rèn)為，我們總是以自己的方式看待我們行業(yè)中的技術(shù)，這并不公平。技術(shù)存在于社會(huì)背景中，社會(huì)對(duì)技術(shù)的適應(yīng)程度越高，你就越能自由地執(zhí)行。社會(huì)對(duì)技術(shù)的適應(yīng)程度越低，你將技術(shù)推向市場(chǎng)時(shí)就越需要謹(jǐn)慎。因?yàn)槿绻悴恍⌒?，你?shí)際上可能會(huì)阻礙它隨著時(shí)間的推移而被采用。所以我認(rèn)為我們?cè)谶@方面采取了相當(dāng)保守的立場(chǎng)。我想每個(gè)人都可能理解我們?yōu)槭裁床扇∵@種保守的立場(chǎng)。我堅(jiān)持認(rèn)為這是當(dāng)時(shí)正確的做法。但當(dāng)然，與此同時(shí)，我們對(duì)混合現(xiàn)實(shí)的潛在應(yīng)用感到興奮，如果開發(fā)人員得到了消費(fèi)者的完全同意，并且了解使用它的人的背景，那么我們就可以解鎖該功能。所以我們將繼續(xù)關(guān)注我們?nèi)绾慰创M(fèi)者的舒適度，以及這項(xiàng)技術(shù)的發(fā)展以及它釋放了什么樣的力量。
Vision Pro，圖源：網(wǎng)絡(luò)
馬修·鮑爾：蘋果的另一大賭注是EyeSight（Vision Pro的外置顯示屏，旨在實(shí)時(shí)顯示用戶眼睛畫面），這或許反映了蘋果的內(nèi)部文化，或者試圖解決您之前提到的技術(shù)污名。這對(duì)設(shè)備的成本、重量、電池消耗以及設(shè)備上的所有方面都有很大的影響。您認(rèn)為這些權(quán)衡值得嗎？您喜歡這個(gè)功能嗎？
Boz：其實(shí)我們非常確定這是我們發(fā)明的。我的團(tuán)隊(duì)很早的時(shí)候曾在華盛頓州雷德蒙德的Reality Labs Research的一次會(huì)議上向公眾展示了一個(gè)演示，而我們?cè)贑onnect大會(huì)也談到了它，并做了一個(gè)演示。所以這其實(shí)是我們玩了一段時(shí)間的東西，但蘋果率先推出了。對(duì)我來說，它成本、重量和價(jià)值之間的權(quán)衡真的不存在。在我看來，它甚至沒有給人們帶來很好的視覺體驗(yàn)。我本周在AWE上其實(shí)看到了一些更好的產(chǎn)品，我認(rèn)為我們的產(chǎn)品實(shí)際上也很好，面板分辨率更高，不過也更昂貴。
我認(rèn)為，對(duì)于消費(fèi)者來說，這不是一項(xiàng)好的成本效益交易，即使對(duì)于使用該設(shè)備讓人們感到舒適的消費(fèi)者也是如此。我不認(rèn)為使用該設(shè)備的人會(huì)因?yàn)镋yesight而感覺與人交談時(shí)感覺會(huì)更好。不過我并不討厭它，我認(rèn)為，市場(chǎng)上有一系列做出不同選擇和不同權(quán)衡的設(shè)備，看看人們對(duì)此有何反應(yīng)，這很好。對(duì)于我們來說，我們投入了大量的金錢和時(shí)間來嘗試讓這款產(chǎn)品價(jià)格實(shí)惠、而且易于獲得，不僅在成本方面，而且在重量和舒適度方面也是如此。這是一項(xiàng)艱難的交易。
萬有引力反向透視解決方案，圖源：萬有引力
馬修·鮑爾：我想談?wù)劯y的技術(shù)，您曾和Meta的AR眼鏡硬件主管說過，真正的光學(xué)AR眼鏡要想成為主流，需要四種、六種，甚至七種不同的NTI。您能解釋一下什么是NTI以及您認(rèn)為實(shí)現(xiàn)這一愿景需要哪些NTI嗎？
Boz： NTI是一項(xiàng)新技術(shù)計(jì)劃，這是行業(yè)術(shù)語。如果您是產(chǎn)品團(tuán)隊(duì)，硬件產(chǎn)品團(tuán)隊(duì)，那么就會(huì)有之前已成功集成的技術(shù)。您可以將其從供應(yīng)鏈中移除，也可以繼續(xù)采用。這會(huì)帶來很多便利和 [已知] 參數(shù)。您可以進(jìn)行實(shí)時(shí)測(cè)試，也可以進(jìn)行構(gòu)建。而新技術(shù)只會(huì)給項(xiàng)目增加風(fēng)險(xiǎn)（如果你引入它）。您不知道它是否會(huì)起作用、您不知道功率特性是否正確、性能是否正確，因此 [這些技術(shù)] 會(huì)增加風(fēng)險(xiǎn)。
隨著深入研究，你會(huì)發(fā)現(xiàn)NTI確實(shí)有很多不同的類型。有些NTI就像是，嘿，這是一項(xiàng)現(xiàn)有的技術(shù)，但它從未出現(xiàn)在這個(gè)特定領(lǐng)域，也有些技術(shù)就像是第一代技術(shù)。但NTI一直在不斷深入，直到所謂的高級(jí)開發(fā)，這已經(jīng)超出了研究范圍。
我們有一個(gè)概念驗(yàn)證，我們知道它可以做到，但它從未被產(chǎn)品化、小型化、以低成本、高效地完成。有時(shí)你在實(shí)驗(yàn)室里做了這件事，你會(huì)想“太好了，我們做到了。”但，這就像是你用一百瓦做了這件事，花了一千美元，而實(shí)際上我需要你用一百毫瓦做這件事，只花10美元。
因此，在成為NTI之前，有一個(gè)高級(jí)開發(fā)階段。當(dāng)然，在此之前，是研究階段。從CK（Caitlin Kalinowski，Meta AR硬件主管）這樣的人的角度來看，它們都是NTI，因?yàn)樗龔氖碌氖钱a(chǎn)品集成方面的工作。
對(duì)于我們來說，當(dāng)考慮AR顯示器時(shí)，您必須生成光子，并且必須在非常非常小的空間內(nèi)生成光子。如果您考慮的是消費(fèi)級(jí)眼鏡，那這就是您擁有的全部空間。你必須非常高效地產(chǎn)生光線，因?yàn)槟銢]有太大的電池。你必須能夠非常明亮地產(chǎn)生光線，因?yàn)楫?dāng)你走動(dòng)時(shí)，外部世界的對(duì)比度可能為一百萬比一，這取決于你所在的位置和陽(yáng)光等，至少是一萬比一。所以你需要能夠在合適的地方用亮度壓倒日光。此外，您必須具有熱效率，因?yàn)榧词鼓銓?shí)現(xiàn)了所有這些事情，但它會(huì)積聚大量熱量，這也是不行的，因?yàn)樵O(shè)備就戴在臉上。因此，這對(duì)我們來說是巨大的挑戰(zhàn)。你可以想象有很多不同的系統(tǒng)可以做到這一點(diǎn)。
我們?cè)贛icro-LED方面已經(jīng)投資了很長(zhǎng)時(shí)間，不過里面有些事情很棘手，比如紅色波長(zhǎng)、尤其是真正的紅光，但即使是偏紅光也很難產(chǎn)生。為什么呢？因?yàn)榧t光的波長(zhǎng)很長(zhǎng)，而產(chǎn)生這種波長(zhǎng)的空間非常小。因此，你實(shí)際上是在試圖制造亞微米級(jí)的鏡面結(jié)構(gòu)，讓光在發(fā)射前就能形成并足夠長(zhǎng)。然后，你需要以非常非常集中的方式發(fā)出準(zhǔn)直光。它不能到處亂射，因?yàn)槟菢有什桓?。所以，一旦你有了這個(gè)光源，你就需要把它做成各種顏色。當(dāng)然，效率特性也不盡相同，所以你必須能夠制造出來。為此，我們正在使用電子掃描顯微鏡，用原子拖動(dòng)材料表面，然后測(cè)量原子的位移，繪制出三維地圖。
三色Micro-LED效率對(duì)比，圖源：網(wǎng)絡(luò)
當(dāng)搞定前面這一切，你又該如何讓一堆東西排成一排，然后給它們供電？所以這是對(duì)研究的研究。做這件事本身就是研究，然后制造這件事是一個(gè)完全漸進(jìn)的研究計(jì)劃。好吧，假設(shè)你有這個(gè)光源，你需要將它耦合到某種東西上，把光發(fā)送到你的眼睛，但你的眼睛是一個(gè)鏡頭，所以你不能只讓它在一個(gè)點(diǎn)上打到你的眼睛。你必須做所謂的瞳孔復(fù)制。這樣光線就需要同時(shí)在很多地方打到你的眼睛，然后重新聚焦成視網(wǎng)膜上的一個(gè)圖像。順便說一下，瞳孔復(fù)制從效率的角度來看真的很糟糕，因?yàn)槿绻阌幸粋€(gè)1000分鐘的東西，但根據(jù)光學(xué)擴(kuò)展量定律，你必須做10倍的復(fù)制，你的效率就會(huì)降低1/10，因?yàn)槊總€(gè)像素、每個(gè)光子都需要走10條路徑中的一條。
這些復(fù)雜的波導(dǎo)設(shè)計(jì)，有很多不同的方法，而它們都使用了光的內(nèi)部全反射原理。當(dāng)光線以足夠低的角度照射到材料上時(shí)，就會(huì)在路徑上反射出100%的能量，這就是光纖的工作原理，這些都是通過內(nèi)部全反射原理實(shí)現(xiàn)的，所以你需要一種折射率非常高的材料，兩種材料的折射率之差決定了反射的程度。折射率越高的材料，不僅能更有效地利用你產(chǎn)生的光線，而且對(duì)于瞳孔復(fù)制、熱成像等都非常重要，同時(shí)還可能獲得更寬的視野。
關(guān)于波導(dǎo)片，你可以使用玻璃，可以使用鈮酸鋰，可以使用碳化硅，也可以使用新型材料。我們現(xiàn)在有一個(gè)完整的材料研究團(tuán)隊(duì)，試圖開發(fā)出高折射率材料，材料科學(xué)是其中很大的一部分。但即使有了材料，還得設(shè)計(jì)波導(dǎo)，而波導(dǎo)有很多不同的樣式。你可以做表面浮雕光柵，可以做體布拉格光柵，可以做全息光柵，可以做光電光柵...... 我們的產(chǎn)品種類繁多，它們的優(yōu)缺點(diǎn)也各不相同。有些容易制造，有些比較困難。因此，這里面的難度是非常大的，僅就這些小型組件而言，要實(shí)現(xiàn)高質(zhì)量的光學(xué)穿透，就需要進(jìn)行大量的研究。
那么，是什么控制了分辨率呢？其中之一就是像素間距?，F(xiàn)在你有了Micro-LED而它們的像素已經(jīng)達(dá)到兩微米了，但你還需要把它們縮小一半，里面的難度不止一倍，這是一百倍的挑戰(zhàn)。我們甚至不知道這件事的上限。我認(rèn)為需要花一輩子的時(shí)間研究才能繼續(xù)解決這個(gè)問題。不管怎樣，我們確實(shí)覺得我們處在一個(gè)很酷的節(jié)點(diǎn)上，這在10年或15年前根本不可能實(shí)現(xiàn)，我們沒有路。而我們現(xiàn)在看到了一條路。我們內(nèi)部有一套AR眼鏡，但它仍是一種研究工具，一種產(chǎn)品開發(fā)工具，為了做到這一點(diǎn)，我們必須去掉一個(gè)關(guān)鍵的方程式，那就是成本。
是的，你必須做好所有這些事情，然后想辦法以消費(fèi)者能夠承受的價(jià)格做到這一點(diǎn)。我們正在取得巨大進(jìn)步。很酷的是，作為一個(gè)行業(yè)，我們實(shí)際上都在采取非常不同的方法。蘋果采用DLP，谷歌采用Raxium [該企業(yè)于2022年被谷歌收購(gòu)] 和量子點(diǎn)，我們正在研究Micro-LED。因此，行業(yè)中有很多并行路徑，有很多不同的方法，這令人興奮。因?yàn)槟銜?huì)發(fā)現(xiàn)這增加了在某個(gè)時(shí)候我們將擁有一個(gè)相當(dāng)不錯(cuò)且希望具有成本效益的工作版本的可能性。
我甚至沒有深入研究空間音頻、運(yùn)行圖形管道所需的定制芯片、高效完成這一切所需的無線連接等問題。如果你認(rèn)為點(diǎn)亮一個(gè)像素很昂貴，那么嘗試通過無線電發(fā)送一個(gè)像素，那就更加昂貴了。所有這些令人難以置信的昂貴東西都需要裝進(jìn)這個(gè)小巧的封裝中。這真的令人興奮。但這可能是我們行業(yè)在我有生之年以及我這一代面臨的最大挑戰(zhàn)，但它確實(shí)如你想象的那樣令人興奮，也同樣困難。
發(fā)布于2020年的Meta智能眼鏡Project Aria，圖源：網(wǎng)絡(luò)
馬修·鮑爾：自2019年以來，Reality Labs已花費(fèi)約650億美元。累計(jì)會(huì)計(jì)損失約為550億美元。您能否介紹一下里面的投入分配情況？有多少是我們還沒有機(jī)會(huì)接觸的產(chǎn)品，其中有多少用于分配給五年或十年后的項(xiàng)目？
Boz：我可能無法給你更詳細(xì)的細(xì)節(jié)。我能告訴你的是，在如何分配[投資資金]方面，我長(zhǎng)期以來一直遵循一個(gè)相當(dāng)普遍的原則，那就是我總是希望以投資組合為基礎(chǔ)進(jìn)行投資。
你想要有一些概念，那就簡(jiǎn)單分為一半一半吧，你想要把你的精力投入到那些現(xiàn)在正在創(chuàng)造真正價(jià)值、對(duì)你有形的東西上。人們忘記了我們?cè)谶@段時(shí)間內(nèi)所做的投資中包括內(nèi)容之類的東西。內(nèi)容是你所做的投資。無論是收購(gòu)《Beat Saber》團(tuán)隊(duì)的Beat games那樣才華橫溢的團(tuán)隊(duì)，還是將你自己的第二方生態(tài)系統(tǒng)帶入游戲，給他們?cè)缙谠L問權(quán)，以換取他們開發(fā)新功能?；蛘咧皇墙o第三方開發(fā)者一些錢，讓他們帶來他們的作品，并確保他們對(duì)自己的努力將獲得的回報(bào)有足夠的信心。
這就是其中的一部分，你對(duì)平臺(tái)內(nèi)容的投資從長(zhǎng)遠(yuǎn)來看是非常值得的。你試圖引導(dǎo)一個(gè)雙向的生態(tài)系統(tǒng)。這是我們公司最終的產(chǎn)品。最終的產(chǎn)品實(shí)際上不是一件硬件或一項(xiàng)技術(shù)，而是一個(gè)生態(tài)系統(tǒng)，一個(gè)雙向的生態(tài)系統(tǒng)，每個(gè)人都在為之做出貢獻(xiàn)，而你在其中占有一席之地，你能夠?qū)⑾M(fèi)者和開發(fā)者這兩個(gè)方面連接在一起。
如果你將過多的投資組合投入到未來產(chǎn)品中，你很快就會(huì)偏離消費(fèi)者真正想要的東西、他們看重的東西、什么是真實(shí)的。你可以給自己講一個(gè)故事，我想你最終會(huì)發(fā)現(xiàn)，這其實(shí)相當(dāng)冒險(xiǎn)。所以如果你至少有一半的精力投入到相對(duì)更有形的東西中。這并不意味著它們現(xiàn)在就在市場(chǎng)上。它們甚至可能還要幾年才會(huì)上市。只是這些是基于對(duì)價(jià)值的真正有形理解。
現(xiàn)在，如果你有一個(gè)非常成熟的產(chǎn)品，你的投資組合可能超過 50%，可能是 80%，接近目前的工作。也許你有一個(gè)增量部分，在一個(gè)小型的、非常面向未來的投資組合中。那不是我們。我們顯然非常注重長(zhǎng)期未來。你提到的這些數(shù)字聽起來都很大，當(dāng)然對(duì)外行人來說是這樣。如果你看看包括我們?cè)趦?nèi)的公司在人工智能方面的投資，他們?cè)敢庾龆嗌偻顿Y來達(dá)到像iPhone或甚至像Android那樣的地位。我認(rèn)為Android是一個(gè)很好的例子，它被低估了。有人認(rèn)為Android并非谷歌收費(fèi)的東西，所以它的價(jià)值為零，但恰恰相反，Android對(duì)Google的價(jià)值是巨大的，因?yàn)樗x予了Google巨大的地位，他們能夠在那里使用大量信息，并且能夠通過其他渠道為消費(fèi)者提供大量服務(wù)。因此，這對(duì)Google來說具有巨大的價(jià)值。
從他們每年為在Android上的地位向Apple支付的費(fèi)用中，你可以看出這種價(jià)值有多么巨大。那么，這個(gè)數(shù)字是多少？每年200億美元，或類似的數(shù)字。所以當(dāng)你看到這些數(shù)字時(shí)，你會(huì)問，為了能夠掌控自己的命運(yùn)，你愿意付出多少錢？我認(rèn)為我們?cè)谶@方面的支出完全在我們的能力范圍之內(nèi)，我認(rèn)為我們做得很好。
Meta VR/AR原型設(shè)備，圖源：Meta
馬修·鮑爾： 我的最后一組問題與人工智能有關(guān)。我很想了解過去兩年人工智能的進(jìn)步如何改變了您的路線圖？人工智能在元宇宙中扮演什么角色？假如你現(xiàn)在作為消費(fèi)者、愛好者或開發(fā)者，是什么讓您對(duì)人工智能感到興奮？
Boz：人工智能的發(fā)展對(duì)我們來說真的是一件令人欣喜的事。這是我們長(zhǎng)期投資的領(lǐng)域。我想你知道，直到最近，基礎(chǔ)人工智能研究團(tuán)隊(duì)才向我匯報(bào)，我非常享受與該團(tuán)隊(duì)一起工作。
你可以想象，我仍然與公司在該領(lǐng)域的工作密切相關(guān)。上一個(gè)回答中，我談到了我們?cè)陂_發(fā)AR技術(shù)時(shí)遇到的所有巨大阻力，我們正在取得良好進(jìn)展，但進(jìn)展艱難。AI是一股清新的空氣，它比預(yù)期的要快得多，比預(yù)期的更有用，它有一套真正切實(shí)可行的工具來改善我們尚未解決的一些最困難的問題。
當(dāng)你戴著AR頭顯四處走動(dòng)時(shí)，你如何與設(shè)備互動(dòng)？你需要設(shè)備擁有一些常識(shí)，這可能是最好的形容詞。它需要理解一些事情。類似于自動(dòng)駕駛，事實(shí)證明，自動(dòng)駕駛車輛在交通中遇到的隨機(jī)情況數(shù)量如此之多，如此之大，長(zhǎng)尾如此之長(zhǎng)，以至于當(dāng)你試圖死記硬背時(shí)，你幾乎無法到達(dá)那里。所以對(duì)于我們頭顯來說，我們的架構(gòu)圖中一直有一個(gè)概念，我們有時(shí)稱之為指揮。這個(gè)Agent可以感知你的注意力和意圖，了解你想要完成的事情并幫助你。
如果我面前有一段文字，你走過來跟我說話，AI會(huì)自動(dòng)知道，嘿，我們應(yīng)該移動(dòng)一下，這樣你就可以與這個(gè)人進(jìn)行非常強(qiáng)烈的目光接觸，這就是你要做的。
當(dāng)你走開時(shí)，我們可以把它帶回來，讓那種感覺變得神奇。假設(shè)我們會(huì)用啟發(fā)式方法來實(shí)現(xiàn)這一點(diǎn)，并盡最大努力開發(fā)一個(gè)模型。我們有一個(gè)以數(shù)據(jù)為中心的偉大數(shù)據(jù)集，我們用我們的Project Aria研究工具開發(fā)了eco 4D數(shù)據(jù)集，試圖獲得一個(gè)數(shù)據(jù)集，這是一種非常自動(dòng)駕駛的方法。我們可以很好地達(dá)到80%，還有20%是消費(fèi)者必須自己干預(yù)的，我們會(huì)試著隨著時(shí)間的推移不斷學(xué)習(xí)。
在MR中，你會(huì)想到Horizon，基于AI為這個(gè)巨大的由用戶生成的世界構(gòu)建結(jié)構(gòu)。你前面提到Facebook董事會(huì)的一份“Metaverse”備忘錄，這份文件是由杰森·魯賓 (Jason Rubin) 寫的，我想我是第一個(gè)讀它的人。我覺得這是一份開創(chuàng)性的文件，盡管當(dāng)時(shí)所有這些想法都有點(diǎn)混亂，它們四處飄蕩，還沒有形成一個(gè)有凝聚力、連貫的結(jié)構(gòu)，但他做到了這點(diǎn)。
我們對(duì)此一直有很高的要求：任何人都可以建造一些東西，但沒有人能建造出任何好的東西。這是我們?cè)谶^去兩年的Horizon開發(fā)中一直在糾正的錯(cuò)誤，并取得了巨大的成功?，F(xiàn)在，AI徹底改變了它，如果你有能力用簡(jiǎn)單的語言來描述一個(gè)場(chǎng)景，并進(jìn)行迭代，這樣你就可以邊走邊編輯場(chǎng)景，這是當(dāng)今大型記錄模型的一大優(yōu)勢(shì)。
盡管我們還不能在3D中做到這一點(diǎn)，更不用說在4D中隨著時(shí)間推移制作動(dòng)畫了，但我們正在進(jìn)行這項(xiàng)研究，我們有一個(gè)團(tuán)隊(duì)在做這件事，我們正在取得進(jìn)展。這是一種非常令人興奮的方式。它可以降低人們的準(zhǔn)入門檻，讓他們?nèi)?chuàng)造一個(gè)足以讓他們引以為豪的空間，去邀請(qǐng)別人來參觀，或者說，這個(gè)空間足夠讓他們接受，以至于他們會(huì)經(jīng)常使用，因?yàn)檫@個(gè)空間給他們的感覺真的非常好。
對(duì)我來說，人工智能正以超光速的速度推動(dòng)我們一直以來的一系列概念。我們一直想實(shí)現(xiàn)這個(gè)目標(biāo)，在這之前是一個(gè)漫長(zhǎng)、緩慢、線性的過程，而突然間，我們看到了實(shí)現(xiàn)目標(biāo)的途徑，比我們想象的要快得多。所以這是了不起的。
對(duì)于我們路線圖，AI當(dāng)然也會(huì)影響硬件。Ray-Ban Meta比初代Ray-Ban Stories有了顯著的改進(jìn)，里面除了硬件改進(jìn)外，還有AI，尤其是多模態(tài)AI，真正揭示了一臺(tái)設(shè)備，（即使是沒有屏幕的設(shè)備）能發(fā)揮的更深層價(jià)值。所以現(xiàn)在我們顯然對(duì)這些產(chǎn)品充滿信心。我們制造了它們，我們銷售它們，我們對(duì)它們感到興奮，我們一直認(rèn)為，這是讓人們熟悉這種設(shè)備的良好墊腳石。
發(fā)布于2023年的Ray-Ban Meta，圖源：網(wǎng)絡(luò)
我認(rèn)為它們會(huì)比我們想象的更有用。我認(rèn)為我們實(shí)際上已經(jīng)建立了......這種情況發(fā)生的頻率有多高？你制造了一個(gè)消費(fèi)電子設(shè)備，有一個(gè)強(qiáng)大的用例，可以推動(dòng)銷售，而你在最終確定硬件時(shí)甚至沒有想到過。這永遠(yuǎn)不會(huì)發(fā)生，伙計(jì)。那是天賜之物。這就是人工智能為我們代表的東西。從個(gè)人角度來看，我認(rèn)為我們作為一個(gè)行業(yè)尚未解決的大問題之一，但我們都對(duì)此感到興奮，那就是個(gè)性化人工智能。
今天我們通過作弊的方式似乎做到了這一點(diǎn)，如預(yù)先加載一些信息到上下文窗口，但這樣做成本高昂且速度慢，而且上下文窗口很緊，如果你用這些信息填充它們，那么它們的記憶就會(huì)變短。即使你放進(jìn)去的所有東西都不夠，我認(rèn)為我們還沒有達(dá)到那個(gè)水平，這有很多原因，但我們都在朝著同一個(gè)方向努力。
我認(rèn)為個(gè)性化的人工智能可以根據(jù)我個(gè)人的經(jīng)歷和溝通進(jìn)行了微調(diào)，以保護(hù)隱私和我們使用數(shù)據(jù)的方式，我認(rèn)為這是一件非常令人興奮的事情。我認(rèn)為，這種能力對(duì)我來說非常有用，而不是一般有用，這將是一個(gè)巨大的飛躍。
.png)
