觸覺傳感器可以賦予機器人通過接觸來感知外部環(huán)境并與之交互的能力,在機器人靈巧操作、人機共融、模式識別等領域有著重要的應用。人類的皮膚不僅可以感知力的大小和方向(自解耦),并且對外界刺激的定位精度可以超越觸覺感受器間的平均間距(超分辨率),因此人的雙手可以完成非常精巧和復雜的任務,比如抓取易碎物品,進行靈巧操作,識別紋理,閱讀盲文等。與人類皮膚相比,現(xiàn)有的機器人觸覺傳感器還存在較大差距,例如為了實現(xiàn)力的解耦,往往需要設計復雜的傳感器結構(如剛性梁)或擬合復雜的數學模型;在實現(xiàn)解耦的情況下,尚無法同時實現(xiàn)超分辨率檢測;等等,極大的限制了機器人在執(zhí)行復雜任務上的能力。
圖1. 磁性皮膚的結構和工作原理
來自香港城市大學生物醫(yī)學工程系申亞京教授課題組與香港大學計算機系潘佳教授課題組合作,提出了一種基于磁性薄膜的觸覺傳感器,結合深度學習算法,實現(xiàn)了機器人觸覺傳感器的自解耦和超分辨率,為仿人類皮膚的觸覺感知提供了新的思路。相關成果以“Soft magnetic skin for super-resolution tactile sensing with force self-decoupling(自解耦的超分辨率柔性磁性皮膚)”為題,于近日發(fā)表在《Science Robotics(科學:機器人)》上。
如圖1所示,該觸覺傳感器的核心由一層經單面多級正弦磁化的磁膜和嵌入在印刷電路板上的霍爾傳感器組成。磁膜和霍爾傳感器之間可以填充不同厚度和彈性的硅膠,用來調節(jié)傳感器的靈敏度和量程。當有外力施加于磁膜上時,霍爾傳感器將測量到由磁膜變形所引起的磁場變化,進而可以測量出所施加外力的大小和方向。
“這種單面多極的正弦磁化方法在學術上被稱為Halbach Array(Halbach陣列)。其一個重要特點就是可以在削弱一側磁場的同時能夠極大的加強另一側磁場。該技術不僅在粒子加速器、磁懸浮列車、電磁炮等前沿領域有著重要的應用,在我們日常生活中使用的冰箱貼中也采用了類似技術。”申亞京提到,“我們課題組和潘佳課題組合作,嘗試研發(fā)一種類人類皮膚功能的觸覺傳感器。因為我們課題組主要從事微型機器人研究,前期工作中在磁性薄膜方面有一些積累(Nature Communications, 9(3944), 2018;Advanced Science, 7(13), 2020; Science Robotics, 5(48), 2020),所以初步選定了磁性薄膜的解決方案。在研究過程中,閆友璨(文章第一作者,香港城市大學生物醫(yī)學工程系在讀博士生)發(fā)現(xiàn)Halbach Array除了單側磁場增強外的另一個很特殊的性質:當把磁膜按正弦磁化后,其磁感應強度B和磁場方向RB在是x-z平面內是天然解耦的,即磁感應強度B只和z方向有關,磁場方向RB只和x方向有關(如圖2所示)。這樣,法向力Fz的輸出只與z方向有關,切向力Fx的輸出只與x方向有關(式1),為研究自解耦功能的觸覺傳感器提供了可能!
(式1)
圖2.磁感應強度平面和磁場方向平面(天然解耦)示意圖
解耦后的磁性皮膚可以提供獨立的正壓力和切向力的測量(無串擾耦合),因此可以給機器人提供更精確的力反饋。視頻1展示了將磁性皮膚貼在機械手上進行自適應抓取雞蛋的應用。開始時,機械手未進行抓取,夾持力Fz和載荷引起的切向力Fx均為零,當機械手夾住雞蛋時(t1),夾持力Fz迅速增大,直至雞蛋被提起時(t2),由于雞蛋的重力作用,切向力Fx迅速增大,此時施加一個外部干擾:用手往下拽雞蛋(t3),切向力開始逐漸增大,為了不使雞蛋滑落,機械手自動增大夾持力,使Fx/Fz的比值始終小于滑動邊界(合力保持在摩擦錐以內)。當撤去外部干擾后(t4),機械手開始自動松開夾爪,以免雞蛋被夾碎,從而實現(xiàn)了在有外部干擾時,自適應抓。ㄒ姿椋┪矬w的安全操作。作為對比實驗,當沒有磁性皮膚提供的力反饋時,由于夾持力不足以克服外部干擾,雞蛋被拽下(t8)。
動圖1. 基于力反饋的自適應雞蛋夾持
圖3. 基于力反饋的自適應雞蛋抓取
類似地,展示了如何利用磁性皮膚的力反饋進行自適應調節(jié)機械手的夾緊力,以穩(wěn)定的夾持一個正在注水的水瓶。當往水瓶中不斷注入液體時,切向力Fx逐漸增大,水瓶有從機械手中滑落的趨勢(Fx/Fz的比值接近滑動邊界),此時機械手自動增大了夾持力Fz,從而避免了水瓶的滑落,任務成功。作為對比實驗,當沒有磁性皮膚提供的力反饋時,水瓶在注水的過程中從手中滑落,任務失敗。
圖4. 基于力反饋的自適應水瓶抓取
除了能精確的解耦外力的大小和方向,該磁性皮膚還具有觸覺超分辨率,即對外界刺激的定位精度可以超越傳感器的物理分辨率(兩個傳感單元之間的距離)。如圖5所示,一個小球壓在磁性皮膚(具有3x3傳感單元整列)的傳感單元S5上,通過定性分析霍爾傳感器x,y,z方向上磁通量密度的變化,可以確定該小球與皮膚的接觸位置在S5的右上角;進一步,通過神經網絡的定量計算,小球的接觸位置可以被精確定位到S5右上角的(X,Y)處,該定位精度(0.1mm)可以達到磁性皮膚物理分辨率(相鄰傳感單元的距離6mm)的60倍。
圖5. 磁性皮膚的觸覺超分辨率原理示意
研究團隊用兩個不同的場景展示了觸覺超分辨在機器人領域的應用前景:在第一個展示中(視頻3),研究人員利用超分辨率實時追蹤了在磁性皮膚上滾動的小球的接觸位置和接觸力大小;在第二個展示中(圖6及視頻4),研究人員只使用了一個傳感單元便控制了機械臂的六個運動方向(上、下、前、后、左,右),在研究人員的遠程操控下,機械臂可以完成穿針的精細操作。
“深度學習在機器人領域有著越來越廣泛的應用,如在我們的前期工作中,我們利用深度學習,實現(xiàn)了多機器人的碰撞檢測與防止(International Journal of Robotics Research, 39 (7), 2020)。針對特定硬件設計協(xié)同的智能算法,能夠進一步突破硬件本身的瓶頸,獲得更好的效果!迸思阎v到,“我們針對磁膜的特性設計了深度學習方法,將其超分辨率提高到了60倍,達到了與人類皮膚的超分辨率(約40倍)可比的程度。如此以來,我們可以在實現(xiàn)功能的同時,極大的減少機器人皮膚中的傳感單元與布線,從而提高智能皮膚的易用性。這對未來把人工皮膚覆蓋于機器人全身,使機器人擁有和人類一樣的全身觸覺感知能力至關重要!
圖6. 基于觸覺超分辨率的遙控穿針
研究人員最后展望道:“具有自解耦功能的超分辨觸覺感知在機器人領域有很大的應用潛力,可以賦予機器人靈巧操作日常物品的能力,提高人機交互的安全性,或許在不遠的將來,覆蓋有人工皮膚的家庭機器人將成為我們日常生活中不可缺少的一部分。在今后的工作中,我們希望能夠開發(fā)出在更多維度上解耦的磁性皮膚,并針對不同的場景設計特定的超分辨率算法,實現(xiàn)硬件和軟件的深度融合,從而使磁性皮膚的應用場景可以更加廣泛”。
申亞京和潘佳為該工作的共同通訊作者,閆友璨為論文第一作者,合作團隊其他成員來自香港城市大學、卡內基梅隆大學和南方科技大學。
該項目研究得到了NSFC優(yōu)青項目(港澳地區(qū))61922093,NSFC-深圳聯(lián)合重點項目U1813211,香港UGC項目11211720 、11207818和11202119,NSFC/RGC聯(lián)合研究項目N_HKU103/16以及深圳市學科布局項目JCYJ20200109114827177的共同資助。
文章鏈接:Y. Yan, Z. Hu, Z. Yang, W. Yuan, C. Song, J. Pan*, Y. Shen*, Soft magnetic skin for super-resolution tactile sensing with force self-decoupling. Sci. Robot. 6, eabc8801 (2021). DOI: 10.1126/scirobotics.abc8801
https://doi.org/10.1126/scirobotics.abc8801
- 廈門大學廖新勤 AFM:基于梯度超表面結構的事件驅動觸覺傳感器用于自適應抓取 2025-04-28
- 澳門大學周冰樸團隊 Adv. Mater. : 基于仿生磁化微脊結構的“粘-滑”過程重構 2025-03-21
- 密歇根州立林少挺教授團隊 Adv. Mater.:抗疲勞力致變色水凝膠 - 賦能新型觸覺傳感器 2024-10-16
- 南開大學黃毅教授、馬文樂助理研究員 AFM:具有低頻兼容性的強磁-介電協(xié)同梯度超材料增強多頻譜超寬帶吸收 2024-03-30
- 中科院寧波材料所在柔性磁性薄膜與器件研究中取得系列進展 2018-08-17
- 第六屆全國磁性薄膜與納米磁學會議在寧波召開 2010-06-09
- 廈大廖新勤 AFM:傳感器內微分和決策的可編程電子觸覺皮膚 2024-09-15