Facebook 改名后不久，其在官方博客中概述了其在開發硬件、模擬器、庫、基準測試和數據集等方面的進展，想必扎克伯格推崇的元宇宙離不開這些技術的支持。

    幾天前，在 Facebook Connect 2021 線上大會中，扎克伯格正式宣布了 Facebook 的新名字——Meta。扎克伯格表示：「隨著時間的推移，我希望我們被視為一家元宇宙公司」。此處的元宇宙本質上是一個虛擬現實平臺，人們可以在這個平臺上的數字環境中聚集、交流。實現這一愿景，當然離不開技術的加持。

    就像改名一樣始料未及，幾年前扎克伯格曾認為 Facebook 沒有理由要進行機器人方面的研究，但現在機器手上的觸覺感知已經是 Meta 一個重要的新興研究方向。

    觸覺感知旨在理解和復制物理世界中人類的觸摸技能，使機器人更有效地與周圍世界互動。觸覺感知的進步將導致 AI 可以學習和使用自己的觸覺以及與其他感知方式（如視覺和音頻）結合使用，就像人類一樣。此外，提高機器人的觸覺將使它們更有能力，也更溫和、更安全。

    就在近日，Meta 概述了其在開發硬件、模擬器、庫、基準測試和數據集方面的進展。觸覺感知生態系統對于構建 AI 系統至關重要，通過觸覺感知，AI 系統才具有理解和交互的功能。

    具有觸覺感知的機械手可以輕松的抓取雞蛋：

左邊沒有觸覺感知的機械手把雞蛋捏碎了：

    Meta 這項觸覺感知上的進步得益于 DIGIT 傳感器和一種名為 ReSkin 的觸摸感應「皮膚」�，F在 Meta 對這兩項技術進行了詳細的介紹。

硬件

    讓 AI 能夠使用觸覺數據并從中學習，首先需要能夠收集和處理這些數據的傳感器。理想情況下，觸摸感應硬件應該模擬人類手指的許多屬性。一方面，用于機器人指尖的傳感器應該相對緊湊。這需要先進的小型化（miniaturization）技術，這些技術的生產成本非常高，并且通常超出了大多數學術研究的能力范圍。另一方面，這類傳感器需要承受因反復接觸表面而造成的磨損。此外，觸摸傳感器還需要具有高分辨率，以測量有關被觸摸對象的豐富信息，例如表面特征、接觸力以及通過接觸可識別的其他對象屬性。

    DIGIT

安裝在機械手上的 DIGIT 傳感器操縱玻璃彈珠。

    為了提供一種專為機器人手動操作設計、易于構建、可靠、低成本、緊湊且高分辨率的觸覺傳感器，Meta（Facebook）在 2020 年發布了 DIGIT 的完全開源設計。與目前可用的商用觸覺傳感器相比， DIGIT 的制造成本要低得多，并且提供了數十萬個接觸點，大大提升了它的研究和使用價值。

    作為 Meta AI 的合作伙伴，MIT 的衍生公司 GelSight 擁有獨特的數字觸覺傳感技術和產品，現在將商業化制造 DIGIT。商用 DIGIT 將為更多研究人員提供觸摸感應方面的便利，加快學術研究的進步。如果要制造 1000 個 DIGIT 傳感器，那么每個 DIGIT 傳感器的材料成本大約只有 15 美元，因此 Meta 的團隊預計商用版 DIGIT 的成本不會太高。

ReSkin

    除了 DIGIT，Meta AI 的研究者還和卡內基梅隆大學（CMU）合作開發了一種開源的觸摸感應「皮膚」ReSkin，外形小巧，可以幫助機器人和其他機器在更大的表面上學習高頻觸覺。和 DIGIT 一樣，ReSkin 旨在打造一個開源、強大且成本極低的系統，讓研究人員能夠專注于開發軟件以幫助機器人感知觸覺，而不必在硬件上浪費時間。

    ReSkin 本身是一塊 2 毫米厚的柔性硅膠片，其中混有磁性顆粒。每當有東西接觸該膠片使其變形時，嵌入其中的磁性顆粒就被壓扁，磁信號發生變化，由磁力計拾取。因此，ReSkin 不必直接與磁力計相連。這使得 ReSkin 傳感器中最有可能損壞的部分變得非常容易更換，這也是 ReSkin 的優勢所在。

    ReSkin 可以幫助研究人員快速、大規模地提高他們的 AI 觸覺感應技能。利用機器學習和磁感應方面的進步，ReSkin 具有廉價、多功能、耐用且可替換的優點。它采用自監督學習算法來幫助自動校準傳感器，使其具有通用性并使得傳感器和系統能夠共享數據。

    模擬

    Meta 開發并開源了 TACTO，這是一種基于視覺的高分辨率觸覺傳感器模擬器，即使在沒有硬件的情況下，也可實現更快的實驗平臺并支持機器學習研究。模擬器在機器人技術的原型設計、調試和基準測試中發揮著重要作用，因為模擬器使我們能夠測試和驗證假設，而無需在現實世界中進行耗時的實驗。

    TACTO 能夠以每秒數百幀的速度呈現逼真的高分辨率觸摸讀數，通過簡單設置來模擬基于視覺的觸覺傳感器，其中包括 DIGIT、OmniTact。TACTO 使研究人員能夠模擬基于視覺的觸覺傳感器，這些傳感器具有不同的形狀，可以安裝在不同的機器人上。TACTO 和 DIGIT 通過提供低成本的參考實施，使研究者能夠快速原型化多模態機器人操作策略，從而實現基于視覺的觸覺感知。

    PyTouch

    類似于 DIGIT 這樣的觸覺傳感器可以處理高維和觸覺感知數據，這是傳統分析方法難以處理的。機器學習 (ML) 模型可以簡化模型的設計和實現，這些模型可以將原始傳感器讀數轉換為高級屬性（例如，檢測滑動和識別材料）。但是，如果沒有 ML 背景，訓練一個模型來處理觸覺數據是極具挑戰性的。為了提高代碼的復用率并減少部署時間，Meta 創建了一個名為 PyTouch 的觸覺感應 ML 模型和功能庫。

    研究人員通過 PyTouch 可以跨不同傳感器訓練和部署模型。它目前提供了一些諸如檢測觸摸、滑動（slip）、估計物體姿態等基本功能。最終，PyTouch 將與現實世界的傳感器和觸覺傳感模擬器集成，以實現模型的快速驗證以及 Sim2Real 功能（能夠將在模擬中訓練的概念轉化為實際應用。）

    PyTouch 啟用了一種基于學習的方法來構建應用程序，這使得更多的研究者可以使用觸覺處理功能。OpenCV 、 Detectron2 等預訓練模型庫為計算機視覺研究人員提供了最先進的技術，而無需從頭開始創建和訓練模型。同樣的，PyTouch 的目標是授權更廣泛的研究社區，使得在其應用程序中使用更多的觸覺。

    基準和數據集

    觸覺傳感器和模擬器的可用性為多個層級的指標和基準鋪平了道路。在硬件層面，現有的基準和數據集，可以用來評估傳感器的設計選擇；在感知層面，可以使用基準來比較不同的 ML 模型在不同的觸覺感知用例中的作用；在機器人控制層面，現在可以在模擬和現實世界中對主動控制任務（例如手動操作）中的觸摸進行基準測試等 。盡管研究者在啟用系統測量方面取得了進展，但我們應該努力定義和發布可以指導更廣泛社區取得更可衡量進展的指標和基準，我們仍然需要仔細調查這些不同的層級以及它們之間的相互作用。