題目:Stochastic Second-Order Methods For Deep Learning
內容簡介:Stochastic Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a structured stochastic quasi-Newton method and a sketchy empirical natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.
報告人:北京大學文再文研究員
報告人簡介:北京大學北京國際數學研究中心研究員,主要研究最優化算法與理論及其在機器學習、人工智能和信號處理中的應用。2013年獲得基金委優秀青年科學基金。 2015年獲得中組部青年拔尖人才計劃。 2016年獲中國青年科技獎。2020年獲國家萬人計劃科技創新領軍人才,現為中國運籌學會常務理事,中國運籌學會數學規劃分會副理事長。
時間:2020年12月13日(周日)上午10:00開始
地點:騰訊會議(會議ID:907 710 399、點擊鏈接入會:https://meeting.tencent.com/s/kMK6XeqR1ahO)
熱烈歡迎廣大師生參加!
信息科學技術學院
2020年12月7日