熱點聚焦|深度神經網絡，為何備受關注？

2021-02-15 08:23:41來源：OFweek人工智能網關鍵詞：機器學習深度神經網絡閱讀量：22416

導讀：深度神經網絡是機器學習(ML， Machine Learning)領域中一種技術。

　　深度神經網絡是機器學習(ML， Machine Learning)領域中一種技術。

　　在監督學習中，以前的多層神經網絡的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本，那么學到的多層權重可以很好的用來預測新的測試樣本。但是很多任務難以得到足夠多的標記樣本，在這種情況下，簡單的模型，比如線性回歸或者決策樹往往能得到比多層神經網絡更好的結果(更好的泛化性，更差的訓練誤差)。

　　非監督學習中，以往沒有有效的方法構造多層網絡。多層神經網絡的頂層是底層特征的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角；而頂層可能有一個結點表示人臉。一個成功的算法應該能讓生成的頂層特征大化的代表底層的樣例。如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合。

　　2006年，hinton提出了在非監督數據上建立多層神經網絡的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網絡，二是調優使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是

　　1，首先逐層構建單層神經元，這樣每次都是訓練一個單層網絡。

　　2，當所有層訓練完后，hinton使用wake-sleep算法進行調優。將除頂層的其它層間的權重變為雙向的，這樣頂層仍然是一個單層神經網絡，而其它層則變為了圖模型。向上的權重用于”認知“，向下的權重用于”生成“。然后使用Wake-Sleep算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那么所有人臉的圖像應該激活這個結點，并且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個部分。

　　2.1，wake階段，認知過程，通過外界的特征和向上的權重(認知權重)產生每一層的抽象表示(結點狀態)，并且使用梯度下降修改層間的下行權重(生成權重)。也就是“如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的“。

　　2.2，sleep階段，生成過程，通過頂層表示(醒時學得的概念)和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念“。

　　由于自動編碼器(auto-encoder，即上面說的神經網絡。廣義上的自動編碼器指所有的從低級表示得到高級表示，并能從高級表示生成低級表示的近似的結構，狹義上指的是其中的一種，谷歌的人臉識別用的)有聯想功能，也就是缺失部分輸入也能得到正確的編碼，所以上面說的算法也可以用于有監督學習，訓練時y做為頂層網絡輸入的補充，應用時頂層網絡生成y'。

　　(原標題：深度神經網絡，為何備受關注？)

上一篇：技術熱點|分層聚類算法，為何如此關鍵？

下一篇：手機掃描3D打印和人工智能帶來定制化的貼身耳機

我要評論

昵稱

匿名

文明上網，理性發言。（您還可以輸入200個字符)

表情

所有評論僅代表網友意見，與本站立場無關。

企業為何走向智能自動化？機器學習給出了答案
機器學習驅動的流程自動化正在重塑這一格局。早期自動化主要基于規則引擎，通過預設條件觸發固定操作，在結構穩定、場景可預測的任務中表現良好。
機器學習流程自動化
2026-01-27 11:50:06
人工智能和機器學習如何塑造物聯網安全的未來
人工智能和機器學習系統在模式分析、異常檢測和實時決策方面表現出色。這些對于紛繁復雜且不斷擴展的物聯網生態系統而言，都是優勢所在。
人工智能機器學習物聯網安全
2025-08-04 10:39:11
人工智能和機器學習在工業自動化中的作用
人工智能(AI)和機器學習(ML)正在推動工業自動化的范式轉變，使制造流程更智能、更快速、更高效。預計工業自動化市場規模將從2023年的2056.3億美元增長到2031年的4274.2億美元。
人工智能機器學習工業自動化
2025-06-03 10:33:09
計算機視覺與機器學習的創新浪潮：開啟智能未來
在這個快速發展的時代，計算機視覺和機器學習的進步正在改變我們與世界互動的方式。未來，隨著技術的不斷成熟和創新，計算機視覺和機器學習系統將變得更加智能、高效和可靠。
計算機視覺機器學習
2025-05-22 09:19:46
未來最值得關注的人工智能和機器學習趨勢是什么？
人工智能和機器學習社區最緊迫的問題之一是道德人工智能系統的開發和實施。隨著人工智能技術在我們生活中變得越來越普遍，確保負責任地設計和部署這些系統至關重要。
人工智能機器學習
2024-12-23 11:21:00
2025年大數據分析：未來趨勢及技術展望
本文將預測2025年的大數據分析趨勢，并找到數據分析中最合適的工具、企業和新興趨勢，從而塑造未來。
大數據機器學習
2024-07-29 09:55:05

版權與免責聲明：

凡本站注明“來源：智能制造網”的所有作品，均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品，未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：智能制造網”。違反上述聲明者，本站將追究其相關法律責任。

本站轉載并注明自其它來源（非智能制造網）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點或和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時，必須保留本站注明的作品第一來源，并自負版權等法律責任。如擅自篡改為“稿件來源：智能制造網”，本站將依法追究責任。

鑒于本站稿件來源廣泛、數量較多，如涉及作品內容、版權等問題，請與本站聯系并提供相關證明材料：聯系電話：0571-89719789；郵箱：1271141964@qq.com。