siemens x
人工智能

人工智能革命: 無標(biāo)記姿態(tài)擷取技術(shù)顛覆影片錄像

2025China.cn   2019年11月13日

  哪些神經(jīng)回路驅(qū)動適應(yīng)運(yùn)動行為? 這些行為在神經(jīng)編碼中又如何表現(xiàn)呢? 哈佛大學(xué)羅蘭研究中心(Rowland Institute)的馬蒂斯實(shí)驗室Mathis Lab 研究人員透過腦/行為互動研究,揭示了這些問題的答案。 由馬蒂斯Mackenzie Mathis博士所領(lǐng)導(dǎo)的團(tuán)隊「[目的]在于了解神經(jīng)回路對于適應(yīng)性運(yùn)動行為所產(chǎn)生的影響」。 其研究的挑戰(zhàn)在于將特定的行為與特定腦部活動相連結(jié)。以老鼠作為研究個體,這些科學(xué)家們使用The Imaging Source DMK 37BUX287相機(jī)進(jìn)行高速錄像,結(jié)合實(shí)驗室自行開發(fā)的開源軟件工具DeepLabCut所寫成的機(jī)器學(xué)習(xí)算法,來追蹤老鼠的行為事件及相應(yīng)其腦部活動。

  馬蒂斯實(shí)驗室(Mathis Lab)的研究人員藉由機(jī)器學(xué)習(xí)工具及光遺傳學(xué)原理,了解神經(jīng)回路對于適應(yīng)性運(yùn)動行為的影響。 照片來源: Cassandra Klos

  就本質(zhì)上,研究人員必須能夠精確且全面地追蹤老鼠的行為并提供定量數(shù)據(jù),來描述動物的動態(tài)。 馬蒂斯博士表示:「我們想了解動物們?nèi)绾芜m應(yīng)環(huán)境,而觀察牠們的運(yùn)動行為是一個很好的開始,以闡釋大腦如何達(dá)成這些任務(wù)。 因此,研究計劃的第一步就是在動物學(xué)習(xí)新任務(wù)時對其進(jìn)行觀察?!?其團(tuán)隊借重DMK 37BUX287所構(gòu)成的多相機(jī)影像追蹤系統(tǒng)。他們的研究個體行動相當(dāng)快速,馬蒂斯博士接著表示:「…老鼠能夠在大約200毫秒內(nèi)快速地觸及并抓取物體,因此我們必須采用高幀速率且優(yōu)質(zhì)分辨率的相機(jī)。」

  影片錄像是有效記錄動物行為的一種方法,然而擷取姿態(tài)(即多個身體部位的幾何構(gòu)型) ,多年來一直是研究人員的一項難題。 在人體研究領(lǐng)域中,先進(jìn)的動態(tài)捕捉可透過標(biāo)記來追蹤關(guān)節(jié)和四肢動作。 然而,基于種種因素,運(yùn)用于研究動物體上,這種方法卻不切實(shí)際。 也就是說,至今,人們?nèi)匀皇褂檬謩訑?shù)字元錄像方式來追蹤動物行為 (即以人工方式逐幀編碼標(biāo)注影片) – 這種勞力密集的過程往往導(dǎo)致結(jié)果不夠精確,且額外增加了數(shù)百甚或數(shù)千小時的研究時間。

  近期,DeepLabCut裝備兩臺DMK 37 BUX287相機(jī)以捕捉高速錄像,并藉由其影像幀數(shù)進(jìn)行無標(biāo)記3D姿態(tài)擷取。影像來源: Cassandra Klos

  為了自動擷取研究個體的姿態(tài),馬蒂斯博士團(tuán)隊開發(fā)了DeepLabCut: 一套開源軟件,由用戶自定義身體部位的無標(biāo)記姿態(tài)估算。根據(jù)(人體)姿態(tài)估計算法DeeperCut,研究人員使用基于深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)的算法,專門針對此項任務(wù)進(jìn)行訓(xùn)練。根據(jù)《Nature Neuroscience自然神經(jīng)科學(xué)》期刊中所發(fā)表的一篇論文,作者表述該團(tuán)隊藉由「調(diào)整預(yù)訓(xùn)練過的模塊運(yùn)用至新的任務(wù)上[....過程經(jīng)由] 即被稱為遷移學(xué)習(xí)(transfer learning)的現(xiàn)象?!苟靡燥@著地減少所必要的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)量。 DeepLabCut編程庫具穩(wěn)健性且高效率,即使是相對少量的圖像(約200),「其算法亦能達(dá)到極佳的追蹤表現(xiàn)?!乖S多科學(xué)家們皆贊譽(yù)此軟件套件是一項顛覆傳統(tǒng)、完全嶄新的發(fā)展。 馬蒂斯實(shí)驗室也使用了The Imaging Source 的IC Capture并增添The Imaging Source相機(jī)應(yīng)用程序camera control API至GitHub。

  DeepLabCut 自動追蹤及標(biāo)記(紅、白、藍(lán)點(diǎn))老鼠的動態(tài)。 影像來源: Mackenzie Mathis

(轉(zhuǎn)載)

標(biāo)簽:人工智能 映美精相機(jī) 我要反饋 
2024世界人工智能大會專題
即刻點(diǎn)擊并下載ABB資料,好禮贏不停~
優(yōu)傲機(jī)器人下載中心
西克
2024全景工博會
專題報道
2024 工博會 | 直播探館 · 全景解讀
2024 工博會 | 直播探館 · 全景解讀

第二十四屆中國工博會于9月24日至28日在國家會展中心(上海)舉行,展會以“工業(yè)聚能 新質(zhì)領(lǐng)航”為全新主題。 [更多]

2024世界人工智能大會
2024世界人工智能大會

WAIC 2024將于7月在上海舉行,論壇時間7月4日-6日,展覽時間7月4日-7日。WAIC 2024將圍繞“以共商促... [更多]

2024漢諾威工業(yè)博覽會專題
2024漢諾威工業(yè)博覽會專題

2024 漢諾威工業(yè)博覽會將于4月22 - 26日在德國漢諾威展覽中心舉行。作為全球首屈一指的工業(yè)貿(mào)易展覽會,本屆展覽會... [更多]