當前位置:首頁  校園新聞

構建疊層寬度神經網絡成深度模型 華南理工陳俊龍團隊發佈最新成果

時間:2021-01-08單位:黨委宣傳部瀏覽量:24

分享到

  在機器學習中,你是否為辛苦建立的深度學習模型精度不夠而苦惱?是否為了提高性能推倒原有結構重新訓練而耗費心力?日前,由華南理工大學陳俊龍教授及其團隊設計的一種可以動態擴展神經元及其層數的顛覆性深度和寬度結合,且不用從頭開始的動態結構神經網絡——疊層寬度學習網絡(Stacked BLS),將使這些困難迎刃而解!

  眾所周知,深度神經網絡學習結構輸入層與輸出層節點固定,整個網絡的結構也隨之固定。2018年 “圖靈獎”的獲得者Geoffrey Hinton等3位教授的一項重要貢獻——基於梯度下降的反向傳播算法,也是基於固定的深度神經網絡架構,通過參數調整探索數據內部的深層表徵。這種類型的深度神經網絡已經在許多領域得到應用,尤其是在大規模數據處理上取得了突破性的成功。但是其訓練過程耗費巨大的算力與時長,是困擾學術界40餘年的問題。

  陳俊龍教授提出的Stacked BLS的結構,通過單層結構和求偽逆的方法,通過疊層的思想,可以靈活地改變網絡結構的寬度和深度,獲得模型最優解。因此,能夠針對不同任務進行動態的調整,提高模型的靈活性、適應性和泛化能力。同時節省了大量的計算資源,並大幅縮短計算時長。該系統在實際應用中,賦予邊緣端智能學習功能的邊緣計算無限的前景。

  

分類準確率優於現有多種方法的比較   

  以典型圖像分類數據集CIFAR-10、CIFAR-100為例,與深度殘差網絡等基礎模型相比,該系統大幅降低了網絡計算時所需要的參數數量,參數量為其1/8至1/4。

  陳俊龍教授團隊的這一成果,是在其2018年提出了寬度學習系統(Broad Learning System,BLS;此2018年論文也獲2021年IEEE Transactions on Neural Networks and Learning Systems年度最佳期刊論文)的基礎上提出的。

寬度學習系統動態網絡結構示意圖  

  通過構建疊層寬度神經網絡成深度模型,在IEEE Transactions on Systems, Man, and Cybernetics: Systems會刊以“Stacked Broad Learning System: From Incremental Flatted Structure to Deep Model”為題發表。Stacked BLS模型通過殘差連接將多個BLS模塊疊加起來,增加了網絡的深度,提高了網絡的學習能力,同時在每個模塊中沿用了BLS基本訓練算法,從而能保留BLS高效、快速的優點。 

疊層寬度學習網絡(Stacked BLS)模型示意圖  

  Stacked BLS的“動態”體現在寬度和深度兩個方向的增量學習。這兩種增量學習的方式可以大大減少模型的計算量,並實現快速、高效的訓練,降低網絡複雜性。

  據瞭解,陳俊龍教授及其帶領的數據科學與人工智能實驗室研究團隊在類腦智能、智能計算與智能系統、混合智能、數據科學領域,以及圍繞高性能計算、深度學習和寬度學習算法及其在情感計算、系統優化等研究方向取得了一系列的創新性科研成果。(圖文/計算機科學與工程學院)

 

附:陳俊龍教授簡介

  陳俊龍教授是華南理工大學講席教授,計算機科學與工程學院院長;歐洲科學院外籍院士,歐洲科學與藝術學院院士,中國自動化學會副理事長,IEEE Fellow、美國科學促進會AAAS Fellow、IAPR Fellow、中國自動化學會會士,現任IEEE Transactions on Cybernetics期刊主編。

  陳俊龍教授在國際重要學術刊物上發表論文500餘篇,其中SCI文章300餘篇(200餘篇在IEEE Transactions),谷歌學術引用27000多次,在Web of Science他人引用15000餘次。2016年獲得美國普度大學的傑出電機及計算機工程獎。2018年獲IEEE系統人機控制論的最高學術獎——IEEE 諾伯特•維納獎。2018、2019和2020年連續三年入選科瑞唯安全球高被引科學家。

返回原圖
/