理大學者研發光電梯級神經元 提升人工視覺動態感知功能

香港2023年6月27日 /美通社/ — 香港理工大學(理大)最新一項研究，從飛行昆蟲的微小而複雜的視覺系統得到啟發，制備了「光電梯級神經元」(Optoelectronic Graded Neurons)，成功提升人工視覺感知動態識別率，從而增強人工視覺傳感器的功能。

人類的視覺系統可以在日常生活中處理複雜的動態視覺信息，例如在過馬路時迅速辨識汽車、行人、單車和其他物件的移動情況，才可避免發生交通事故或意外。然而，飛行昆蟲(例如果蠅)的視覺系統則具有較強的「閃爍融合頻率」(FFF)，能夠感知高速運動的物體，例如在閃避人類的拍打時反應十分敏捷。

在人工視覺系統方面，應用現有的傳統圖像(靜態)傳感器來偵測動作，須處理包含時間和空間的動態信息(合稱「時空信息」)，涉及複雜的神經網絡和計算過程。

今次由理大理學院副院長、應用物理學系柴揚教授帶領的研究團隊，制備仿生昆蟲視覺系統的「光電梯級神經元」(Optoelectronic Graded Neurons)，可以在感知終端執行高信息傳輸速率(>1000bit/s)，並融合「時空信息」。重要的是：這項研究成果能以較少的硬體資源，實現更敏捷的視覺感知，拓展了傳統視覺傳感器前所未有的功能。

柴揚教授表示︰「這項研究從根本上加深了我們對生物啟發計算的理解，所衍生的技術亦極具應用潛力。例如自動駕駛車輛需要識別交通道路中的高速運動，監測系統亦適用。」

仿生感知及計算動態變化 融合時間和空間信息

理大研究以「光電梯級神經元實現動態視覺信息的仿生感知和計算」為題，已刊登於《自然-納米技術 》(Nature Nanotechnology，2023年4月20日)，乃聚焦「融合感知計算」(in-sensor computing)。

要識別迅速的動態，需要融合「時空信息」並傳輸到處理器，是對計算資源要求極大的挑戰。人工視覺系統通常由圖像傳感器和處理器組成。目前大多數傳感器只能輸出含「空間信息」的「幀」(frame，即記錄動態影像畫面的單位)而無法融合「時間信息」。

研究團隊在此之前已實現了針對靜態圖像的對比度增強及不同光強背景的視覺適應，仿生動態感知的研究成果正是建立在此基礎之上。

柴揚教授提到︰「我們多年來潛心研究人工視覺。以往，傳感器陣列只用於感知不同環境中的靜態圖像並增強其特徵，我們希望研究可進一步利用作動態感知，然而傳感終端無法負擔複雜的硬體。於是我們的研究方向另闢新徑：聚焦能夠敏捷感知動態的微小視覺系統，借鑑於飛行昆蟲。」

飛行昆蟲(例如果蠅)僅依賴微小的視覺系統，但每側複眼已有大約780隻小眼，能夠比人類更快、更敏捷地感知移動中的物體。具體而言，在昆蟲的視覺系統中，其視網膜(傳感器)和大腦(計算器)之間的信號傳輸距離比較短，而且昆蟲視覺系統是由「非尖峰梯級神經元」組成，其信息傳輸速率比人類視覺系統中的「尖峰神經元」高得多。

基本上，「梯級神經元」能有效地編碼時間信息，從而減少了計算器中融合「時空信息」所需的大量視覺數據傳輸。研究團隊從中得到啟發，研發了「仿生的光電梯級神經元」。

精準的動態感知識別 促使人工視覺應用更廣

精準的動態識別對於自動駕駛系統和監視系統等應用至關重要。研究發現：利用含淺缺陷能級的二硫化鉬光電晶體管，模仿飛行昆蟲視覺系統中梯級神經元的響應特性，在光照刺激下，可以實現高達1200 bit/s 的傳遞速率。

通過融合及編碼「時空信息」並壓縮圖像到人工神經網絡，動作識別準確率達到99.2%，遠高於傳統圖像傳感器的50%準確率。

這項研究克服了動態感知信息計算上大量能耗和時耗等硬體資源限制的難題，研發出最新的「光電梯級神經元」，實現了人工視覺感知系統的「時空信息」融合，並有效檢測到視野中的運動輪廓及軌跡，也就是將動態視覺信息的處理轉化為更加高效的方式，可應用於更多領域，除了上述的自動駕駛系統和監控系統，還可包括：無人機、移動機器人、自動駕駛汽車、物聯網和自動化生產等等。

從昆蟲視覺系統的敏捷運動感知中汲取靈感，理大這項研究以創新智慧的方式實現了集成靜態和動態運動的傳輸速率和處理，帶來顯著進展，在人工視覺系統領域創建了里程碑。

關於研究團隊

上述的仿生「光電梯級神經元」之動態感知及計算，是由香港理工大學、中國北京大學及南韓延世大學的科學家合作取得的科研突破。該研究成果已發表在國際期刊《自然-納米技術 》(Nature Nanotechnology)。