ELM:為深度學習提供理論支持, 將勾連生物學習

-回復 -瀏覽
樓主 2020-05-07 14:04:32
舉報 只看此人 收藏本貼 樓主

強大的深度神經網絡,仍有很多待解決的問題。超限學習機(ELM)發明人、新加坡南洋理工大學副教授黃廣斌認為,ELM能夠有效地拓展神經網絡的理論和算法。近日,黃廣斌發表文章《超限學習機:筑夢普適學習和普適智能(Extreme learning Machines: Enabling Pervasive Learning and Pervasive Intelligence)》,介紹了團隊在最近三年的四個研究方向,包括突破深度學習的一些弱項、面向普適學習的超限學習機芯片、打破機器學習和生物學習之間的壁壘等。文章認為,未來將超限學習機芯片集成到硬件中,并實現實時本地在線學習,可以實現普適學習和普適智能。

隨著近來以谷歌DeepMind戰勝圍棋大師李世乭等為代表的一系列科技發展,毫無疑問我們已經進入機器學習的時代。實際上,機器學習已經經歷了預熱階段(1950年代到1970年代)和研究驅動階段(1980年代到2010年)。現在,我們認為機器學習正在進入數據驅動時期(2010年后)。

一個真正的機器學習時代需要滿足三個條件:強大的計算環境(包括分布式計算、強大的服務器和智能本地化移動設備)、豐富的動態數據和高效率的機器學習技術。

在過去的十幾年里,我們的研究興趣主要在如何跨學科地研發有關高效的機器學習的理論和技術上。具體來說,在最近三年我們的研究集中在以下四個方向:

新的神經網絡學習理論


在過去幾十年里,人工神經網絡和支持向量機(SVM)在機器學習和數據分析領域扮演著重要的角色。深度神經網絡在后期得到越來越多人的重視。然而,深度學習作為一種目前流行的機器學習技術,還面臨著一些挑戰,例如學習速度慢、需要大量的人工干預。

在過去幾年我們已經研究和提出了新一代的學習理論——超限學習機(Extreme Learning Machines,ELM)。超限學習機的每個隱層節點也可以是由一個或多個神經元組成的子網絡,由此提供一個統一的多層神經網絡理論框架。

與60年來傳統的學習理論不同,超限學習機理論的一個重要性質是其通用學習能力(特征學習、聚類、回歸、分類等)無需通過調整隱層節點來獲得,例如隱層節點可以從前輩繼承或隨機生成。進一步來說,超限學習機理論為傳統神經網絡提供了理論支持(包括局部感受域和池化策略),而這些理論正是深度學習的核心。

  • 延伸閱讀:G.-B. Huang, “What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle,”Cognitive Computation, vol. 7, pp. 263-278, 2015.

  • G.-B. Huang, Q.-Y. Zhu and C.-K. Siew, “Extreme Learning Machine: Theory and Applications”, Neurocomputing, vol. 70, pp. 489-501, 2006.

統一神經網絡學習算法


基于超限學習機的機器學習算法對多種類型的神經網絡都適用,例如小波網絡和傅里葉級數。相比深度學習和支持向量機等流行的機器學習技術,在許多應用中超限學習機可以做到上萬倍的學習速度提升。因此,超限學習機可以做到“實時學習”,在稀疏的數據和大型應用中也可以取得優良的結果(圖1)。


圖1


從理論和實際應用來看,超限學習機一般來說可以產生比支持向量機及其變體更好的學習泛化能力。超限學習機也在很多應用中比深度學習效果更好。實際上,超限學習機已經在手寫數字識別、交通標志識別、手勢識別和立體圖形識別等標準數據集和應用中創造了新的機器學習準確度記錄。


圖2


ELM學習算法已經用在很多實際應用中,例如大數據分析、機器人、智能網格、健康產業、可穿戴設備、異常檢測、地理科學和遠程遙測。(圖2)超限學習機也被用在我們的一些新加坡南洋理工大學同事們的研究中,例如基于超限學習機的短期可再生能源預報、基于超限學習機的面部表情識別和室內局部定位系統。

  • 延伸閱讀:A. Akusok, K. Bjork, Y. Miche, and A. Lendasse, “High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications,” IEEE Open Access, vol. 3, 2015

面向普適學習的超限學習機芯片


隨著物聯網的深入發展,在不遠的未來,大部分的設備將擁有智能與學習能力。我們相信,就如包括人類在內的生物社會一樣,這些智能設備也將發展出一個互相交流的“智能體社會”(Internet of Intelligent Things)(圖3)。每個智能體都嵌入有學習功能并且能相互交流。


圖3


在這里,由于超限學習機的學習速度比深度學習快上萬倍,它可以幫助我們實現智能體社會。超限學習機芯片可以集成到硬件中,并實現實時本地在線學習,從而實現普適學習和普適智能。這幾年,我們尤其強化關于超限學習機芯片的研究,主要集中在兩個方面:多核加速芯片(由助理教授Yu Hao 領導現場可編程門陣列(FPGA)和專用集成電路(ASIC)),和神經形態芯片(由助理教授Arindam Basu領導)(圖4)。


圖4


  • 延伸閱讀:Y. Chen, E. Yao, and A. Basu, “A 128 channel Extreme Learning Machine based Neural Decoder for Brain Machine Interfaces,” (in press) IEEE Transactions on Biomedical Circuits and Systems, 2015

銜接機器學習和生物學習


超限學習機理論的目標之一是打破機器學習和生物學習之間的壁壘。盡管動物的大腦在總體上來說是結構化及有序的,在其某些層或區域,其局部結構可看成“無序”的。由此我們提出一個問題:與傳統機器學習不同,在生物大腦中是否所有隱層節點都需要調整?雖然人腦中也許有幾百種不同種類的生物神經元,他們的數學模型也不為人類所知,但是超限學習機理論指出一個基本的生物學習機制也許是生物神經元本身在學習中是不需要調整的,和應用是無關的。

我們的超限學習機理論可能解釋由計算機之父John von Neumann最先提出的問題,即一個包含很多隨機連接的“不完美”(生物)神經網絡,是如何可靠地實現與需要預先理想硬件連接的計算機可媲美的“完美”功能。

為此,我們正在和神經科學家合作來研究生物學習的基本原理。生物學習系統包含著許多目前我們遠未了解的基本學習原理。而我們對于機器學習和生物學習之間聯系的好奇心,正是推動我們研究的動力所在。

原文:Extreme learning Machines: Enabling Pervasive Learning and Pervasive Intelligence, Pushing Frontiers, vol. 8, pp. 22-23, 2016?
作者:黃廣斌(@黃廣斌-ELM)?
責編:周建丁([email protected]


OpenStack Days China將于7月14-15日在北京國家會議中心舉辦,屆時包括OpenStack基金會的Jonathan Bryce、Mark Collier、Alan Clark等大牛都將來到大會現場和2000名參會者一起坐而論道,共話OpenStack大勢,現在報名(http://openstackdaychina.csdn.net/m/zone/openstackdaychina/index)票價優惠,欲報從速。

我要推薦
轉發到
意甲联赛什么时候开始