新加坡的科學(xué)家開發(fā)了一種AI系統(tǒng)，該系統(tǒng)通過將可穿戴皮膚樣傳感器與計算機視覺結(jié)合起來來識別手勢。

在過去十年中，人類手勢識別系統(tǒng)已經(jīng)走了很長一段路。如今，該技術(shù)適合許多尖端應(yīng)用，例如醫(yī)療領(lǐng)域的手術(shù)機器人。但是，手勢識別的精度可能會受到可穿戴式傳感器發(fā)送的數(shù)據(jù)質(zhì)量差的困擾，這通常是由于它們的大小以及與佩戴者的接觸不良所致。 

現(xiàn)在，來自新加坡南洋理工大學(xué)（NTU Singapore）的科學(xué)家表示，他們已經(jīng)開發(fā)了一種人工智能（AI）系統(tǒng)，該系統(tǒng)可以通過將可拉伸的類似皮膚的應(yīng)變傳感器與計算機視覺技術(shù)相結(jié)合來識別手勢。

此處顯示的是透明的，可拉伸的應(yīng)變傳感器，它粘附在穿戴者的皮膚上。在屏幕上的圖像中，根本看不到傳感器。圖片由NTU新加坡提供

“受生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)

為了應(yīng)對這一挑戰(zhàn)，南大新加坡團(tuán)隊開發(fā)了一種“生物啟發(fā)”的數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)將類似皮膚的可拉伸應(yīng)變傳感器與AI系統(tǒng)結(jié)合使用。這些技術(shù)結(jié)合在一起，類似于人腦共同處理皮膚的感覺和視覺的方式。 

生物啟發(fā)系統(tǒng)由三種神經(jīng)網(wǎng)絡(luò)方法組成，在《自然電子》中有更詳細(xì)的說明。甲卷積神經(jīng)網(wǎng)絡(luò)，這對于早期視覺處理機器學(xué)習(xí)網(wǎng)絡(luò)中，軀體感覺信息處理的多層神經(jīng)網(wǎng)絡(luò)，并且一起融合了視覺和體感的信息的備用神經(jīng)網(wǎng)絡(luò)。 

受生物啟發(fā)的體感視覺響應(yīng)啟發(fā)的學(xué)習(xí)框架。圖片（修改后）由Nature Electronics提供結(jié)合起來，這將創(chuàng)建一個能夠更準(zhǔn)確，更有效地識別人類手勢的系統(tǒng)。

伸縮應(yīng)變傳感器

為了捕獲可靠的感官數(shù)據(jù)，南大新加坡團(tuán)隊制造了一種由單壁碳納米管制成的透明，可拉伸的應(yīng)變傳感器。傳感器靈活，可以輕松粘附在皮膚上，無法在照片中看到。  

體感視覺數(shù)據(jù)收集的流程圖。圖片（修改后）由Nature Electronics提供

研究人員說，與無法與皮膚充分接觸以收集準(zhǔn)確數(shù)據(jù)的剛性可穿戴傳感器相比，這是一個重大改進(jìn)。由于新加坡團(tuán)隊的傳感器與皮膚齊平，因此該設(shè)備具有高質(zhì)量的信號采集功能，對于高精度識別至關(guān)重要。 

引導(dǎo)機器人穿過迷宮

作為概念驗證，該團(tuán)隊通過控制機器人并僅用手勢引導(dǎo)其穿過迷宮，就測試了他們的生物啟發(fā)式AI系統(tǒng)。與僅基于視覺的識別系統(tǒng)產(chǎn)生的六個識別錯誤相比，該手勢識別系統(tǒng)以零錯誤引導(dǎo)機器人穿過迷宮。

即使在惡劣的條件下（例如高水平的背景噪音和光線不足）進(jìn)行測試，也可以保持團(tuán)隊AI系統(tǒng)的準(zhǔn)確性。在黑暗中，該系統(tǒng)的識別精度幾乎達(dá)到97％。 

NTU新加坡的科學(xué)家將計算機視覺和類似皮膚的電子設(shè)備結(jié)合在一起，引導(dǎo)機器人穿過迷宮。圖片由NTU新加坡提供

該研究小組現(xiàn)在正在探索在醫(yī)療，娛樂和家庭康復(fù)等各種應(yīng)用中基于其AI系統(tǒng)構(gòu)建VR和AR系統(tǒng)的可能性。