周志华教授：关于最深处学习的一点思考

确定性的显现出发点来进行暗示。

一般来时说，机器研修假设确定性与其“生产量”（capacity）有关，而生产量对假设的工修 长于能合力有极为重要性不良影响，因此，假设的研修能合力与其确定性有关。机器研修前提要素早就想到，如 果能提升一个研修假设的确定性，那它的研修能合力往往能得不到大大提极高。怎样提极高确定性呢？对机器研修假设来时说，很明显有两个前提：把假设沙“植”，或把假设沙“较宽”。从大大提极高 假设确定性的显现出发点看，“沙植”就会极其就会需要，因为直观来时说，“沙较宽”数是减小了计计显现出来单元， 从而减小了基数组的数目；而在“沙植”时不数减小了基数组的数目，还减小了数组镶 套的层数，于是几何表达能合力就会极其就会爆冷。所以，为大大提极高确定性，无论如何把网亦同平台“沙植”。

有人不实在太可能就会反问，既然机器研修前提要素早就想到能故称过把机器研修假设沙植来大大提极高研修能 合力，为什么过去不这样继续做呢？除了在后谈到的“二阶销声匿迹”这个电叔父技术妨碍，这还涉及另皆一个反疑虑：因为假定“过 数值”（overfitting），在机器研修中就会把假设的研修能合力变爆冷未必一定是件好冤枉。过数值是 机器研修的大敌。直观来时说，也就是说一个数据集，机器研修努合力把数据帕克所包涵的“一 般法则”工修显现出来用做这两项的数据具体情况来说，但有时候不实在太可能就会把近期数据集本身的一些“普点” 工修显现出来却差错地来作一般法则去可用了，这就就会不作为，这就是过数值。产生过数值的不可或缺状况之一，就是假设的研修能合力实在太爆冷了，把不该工修的样子也工修到了。所以，过去在 机器研修中就会都是尽生产量减少可用实在太相当简单的假设。

直到现在为什么能可用植机器研修这样的相当简单假设了呢？有好几个不可或缺状况：首先， 直到现在有大数据了。机器研修中就会有很多缓和过数值的策略，例如根本诱因剪枝、支持formula_机 恒等立体化、机器研修提早取消普训等，但最直观需要的就是可用极其就会多的数据。值得注意，数 据集中于就会只有三千个取样，从它里面工修显现出来的“普点”不实在太不实在太可能是一般法则，但如果有三 千万，甚至三千万万个取样，那从它里面工修显现出来的“普点”或许就仍未是一般法则了。所以，直到现在有了大数据，我们不必再像过去那样对相当简单假设“自大”。第二，时至今日 有 GPU、CPU 坦克部队等利器计计显现出来电子系统，使我们有足顶多的计合力来普训相当简单假设。第三，经过 机器研修前提要素的奋斗，直到现在仍未有很多需要普训植机器研修这种相当简单假设的擅于（trick）， 例如很多缓和机器研修二阶销声匿迹的前提。

小结一下，这套对“为什么植”的“确定性暗示”主要凸显日前：第一，时至今日有大 数据；第二，有利器的计计显现出来电子系统；第三，有很多需要的普训擅于。这日前引发直到现在并能 可用极高确定性假设，而植机器研修恰是一种便于实现的极高确定性假设。在后这套暗示有一定涵义，例如它灵感我们从确定性的显现出发点来数据生产量立体化植研修中就会的一 些机制如 dropout 等[4]。但这套暗示有个不可或缺反疑虑不想解决：为什么扁平的（较宽的）网亦同平台不 如植机器研修？因为把网亦同平台“沙较宽”也能减小确定性，虽然效率不如“沙植”极高。想 大象一下，如果减小无若无个隐层大脑，那么即便数可用一个隐层，网亦同平台的确定性也可以 大大提极高极其就会极高，甚至微过很多植机器研修。然而在倡导中就会人们挖掘出，“较宽”的稀层网亦同平台性 能有过之而无不及相当“短”的植层网亦同平台，这用确定性难于暗示。因此，我们需要极其就会植入一点的 直觉。

我们反问一个反疑虑： 植机器研修最不可或缺的可作是什么？无法接受，机器研修前提要素迄今为止有一个前提互信，那就是“声称研修”（representation learning）。直观来时说，如平面图 3 示意平面图，过去我们拿到一个数据具体情况来说，值得注意一幅平面图片，先 要用很多普点比如时说蓝色、贴图等把它叙述显现出来，这个步骤称之为为“普点工程”（feature engineering），然后我们再来进行数据集研修。内部设计普点是许多系统设计数据生产量立体化系统设计的不可或缺以下内容， 例如计计显现出来机科工修视觉效果与同调群式识别系统设计的数据生产量立体化中就会有相当一外以下内容是关于内部设计视觉效果普点如 SIFT、HOG 等，而这个外是机器研修数据生产量立体化所不爱护的，后者主要关切相当国际标准立体化组织、不依 赖于具体情况系统设计具体来说的电叔父技术，过去主要是针对声称为“普点formula_”的数据去继续做生产量立体化动态。现 在有了植研修，只需把数据从顶端扔下进来，从另皆顶端就能得不到假设，中就会间加到的普 征伐叙述可以故称过植研修自己来解决，这就是便是的“普点研修”或者声称研修。从某 种显现出发点看，这是机器研修数据生产量立体化的疆具体来说扩展了一些系统设计数据生产量立体化系统设计的传统习俗区具体来说。与过去的机器研修电叔父技术来得，在系统设计上来时说这是一个太大的革新，因为仍然需要近乎具体来说生命体工 家内部设计普点了，普点本身也可以跟研修器一起来进行协同冗余。

进一步我们再反问：对声称研修来时说最极为重要的是什么？

我们的解答是： 向内沙工处理方式。如平面图 4 示意平面图，值得注意在匹配一幅平面图片时，在神经网 亦同最底层见到是一些像素，而一层层往上就会逐步加到边缘、轮廓等抽大象级别更极高的 叙述。虽然在真实的机器研修中就会未必有这么完整的分层，但上都上确自底向上慢慢抽 大象的趋势。

冤枉实上稀层机器研修近乎能继续做到植层机器研修所继续做的别的任何冤枉（例如大大提极高相当简单 度），唯有植的向内抽大象这件冤枉，它由于层数稀而继续做不了。我们忽视，“向内沙工处理方式” 正是声称研修的极为重要，也是植研修冤枉与愿违的更为不可或缺之一。

但是在机器研修系统设计，向内沙工处理方式却是新鲜，直到现在仍未有很多电叔父技术是在来进行向内 沙工处理方式。例如根本诱因、Boosting 都是“向内沙工处理方式”假设，但是与植机器研修相 比，它们有两个弱点：一是假设确定性不顶多。例如根本诱因，对也就是说数据集来时说其假设植 度是有若无的，假设数权衡离散普点，则树的植不就会微过普点的个数，不像植神经网 亦同那样可以任意大大提极高确定性；二是在研修步骤中就会缺乏普点傅立叶，研修步骤无论如何在同一个 普点生活空间中就会来进行。我们忽视这两个状况对植机器研修的冤枉与愿违也至关不可或缺。当我们同时权衡“向内沙工处理方式”和“内置普点傅立叶”时就就会挖掘出，植假设是非 常就会纯净的考虑，因为基于植假设可以较难地同时继续做到在后两者之间。在除此以外植假设后，由于假设确定性极高、较难过数值，所以我们要用大数据；它很 难普训，所以我们要有普训擅于；计计显现出来开销大，所以我们要可用利器计计显现出来电子系统 …… 我们挖掘出，这些是我们考虑植假设最后的结果，而不是除此以外植假设的诱因！这跟直到现在 的认识不实在太一样。直到现在忽视因为兼具了这些条件而引发我们能可用植假设，直到现在毫无疑问 因果恰是反过来的。冤枉实上，大普训数据、普训擅于，乃至利器计计显现出来电子系统都不数若无 曾为植假设，或多或少可以曾为稀层假设，因此，兼具了这些条件却是也就是时说引发植 假设优于稀层假设。

还有一点总括：拥有太大的普训数据时，需要可用确定性极高的假设，因为低复 杂度假设没有对大数据来进行充分利用。值得注意数可用一个直观的也就是说假设，那么有两千 万取样还是两亿取样毕竟未多少差别，因为假设仍未“工修不进来”了。而要假设有足 顶多的确定性，这又给可用植假设沙了一分，因为植假设可以较难地故称过沙植层数来 大大提极高确定性。

小结一下，我们的讨论生产量立体化等价的假设是，有三个更为不可或缺：

向内沙工处理方式 内置普点傅立叶

假设确定性顶多

这是我们忽视植机器研修并能冤枉与愿违的极为重要诱因，或者时说是我们关于植机器研修 冤枉与愿违诱因的庞加莱。有意思的是，这三个状况并未“要求”我们需要可用机器研修假设。只要能同时继续做到这日前，别的假设无论如何也能继续做植研修。

4 为何有前提聚焦 DNN 之皆的植假设

未任何假设是平庸的，植机器研修假设也不例皆。

首先，凡是用过植机器研修的人都想到，需花费大生产量的精合力来调参。这就会带来很 多反疑虑。第一，调参工业知识较难包涵，例如在平面图片训练任务上调参的工业知识较难在继续做音韵训练任务时 借鉴。第二，时至今日无论是普遍认为还是工程电叔父技术前提要素都极其就会关切数据生产量立体化结果的可重复性，而植 度研修毕竟是整个机器研修系统设计中就会可重复性反疑虑最严重的叔父系统设计。常就会有这样的情况：一 组数据生产量立体化人员发文中报告的结果，较难被其他数据生产量立体化人员重演，因为即便可用相同的数据、 相同的原理，微值设置再加有相同就不实在太可能使结果有不小分野。

其次，机器研修的假设构造需要在普训前预设。但是在训练任务进行时前，怎么能想到同调群 型确定性无论如何是多大呢？冤枉实上，我们故称常就会是在可用微过需要确定性的网亦同平台。植神经 网亦同平台的一些最新数据生产量立体化进展，例如网亦同平台剪枝、权重二值立体化、假设压缩成等，实质上都是试平面图 在普训步骤中就会适当减小网亦同平台确定性。似乎，可用过极高确定性的假设也就是时说引发可避开地消 耗了极其就会多计计显现出来开销、引发对普训取样生产量可避开的极高生产合力。有未不实在太可能先用一个直观假设， 然后在研修步骤中就会二阶地减小假设确定性呢？遗憾的是这对机器研修很麻烦，因为若 网亦同平台构造未定，二阶求导具体情况来说在推移，那 BP 原理可就麻烦了。植机器研修的其他缺陷例如小数据上难于可用、太阳花假设、理论模型生产量立体化麻烦等就不 赘述了。

或许有人就会时说，工修术创新数据生产量立体化不实在太可能要权衡上述反疑虑，而对系统设计倡导来时说只要效能好 就行，有植机器研修就足顶多了……本来即便从系统设计显现出发点来看，聚焦机器研修之皆的植 度研修假设也很有前提，因为虽然植机器研修直到现在很流行，但在许多训练任务上（例如 Kaggle 的很多数据生产量立体化竞技中就会）胜显现出的并非植机器研修，而是随机森林、XGBoost 这 些相当相当传统习俗的机器研修假设。冤枉实上，迄今为止植机器研修继续做得好的近乎都是涉及平面图 像、影片、音韵等的训练任务，都是典型的数值动态训练任务，而在其他涉及符号动态、离散造 同调群、混合动态的训练任务上，植机器研修的效能并未那么好。机器研修系统设计有一个广为人知的“未APP的饭后”公式[2]，它并不知道我们，未任何一 个假设在所有训练任务上都优于其他假设。只不过，相同假设而今自己的适用训练任务范畴，植 度机器研修也不例皆。因此，有充分的理由去聚焦植机器研修之皆的植研修假设，因 为这样的假设或许能让我们在平面图片、影片、音韵之皆的极其就会多训练任务上给予植研修的效能 红利。

小结一下，时至今日我们写到的植假设都是植机器研修，用电叔父技术词来时说，它是多 层可值立体化可透分的非也就是说梁柱组成的假设，可以用 BP 原理来普训。这里有两个反疑虑：一是现实世前提要素中就会的反疑虑多种多样，其所涉性质却是都是可透的，或能用可透梁柱最优造 同调群的；二是机器研修系统设计几十年的积累，有许多梁柱能作为相当简单假设的基础，其中就会相当 一外是不可透的。

能否基于不可透梁柱来构造新型植研修假设？这是一个基础性挑战反疑虑。一旦得 到解答，就同时讲出了其他一些反疑虑，例如植假设是否是无法是植机器研修？是否是能 不用 BP 原理普训？有未不实在太可能让植研修在平面图片、影片、音韵之皆的极其就会多数据生产量立体化任 务上无论如何？……

我们确实在这方面来进行了一些下一步冒险，提显现出了“植森林”这种非机器研修的新型植研修假设[5,6]。植森林的基础梁柱是不可透的根本诱因，其普训步骤不基于 BP 计 法，甚至不具体来说于二阶计计显现出来。它下一步可验证了上一节中就会关于植研修回击诱因的庞加莱，即只要能继续做到向内沙工处理方式、内置普点傅立叶、假设确定性顶多，就能构造显现出需要的植研修假设，并非需要可用机器研修。这种电叔父技术仍未在大规同调群平面图片训练任务（我们忽视此类训练任务的选用电叔父技术是植机器研修）之皆的许多训练任务中就会表明显现出优秀效能，除此以外互联网偿还债务非法套现检测等大规同调群数据生产量立体化训练任务。在一定程度上可验证了，在数值动态之皆的训练任务上，有不实在太可能研制显现出新型植研修假设来给予极其就会好的效能。需要注意的是，任何一种新科技要取得尤其冤枉与愿违都需经过长期冒险。以植神经网 亦同中就会最广为人知的差分机器研修为例，经过了三十来年、成千上万数据生产量立体化者和工程师冒险和改 进，才取得时至今日的冤枉与愿违。植森林还在“患儿”，虽然在某些反疑虑上已得以系统设计，但是 无法期盼它在尤其训练任务上都并能立刻无论如何。

只不过，我们以为植森林冒险的主要价值却是在于立刻产生一种系统设计效能优越的 新原理，而是为植研修的冒险提供一个新思路。过去我们以为植研修就是植神经 网亦同平台，无法基于可透梁柱搭造，直到现在我们想到了这里有极其就会多的不实在太可能性。好比时说植研修 是一间黑屋叔父里，里面有什么呢？直到现在我们都想到有植机器研修，并以为数剩植神经 网亦同平台。直到现在植森林把这个屋叔父里打开了一扇门，这两项不实在太可能就会推波助澜极其就会多的样子。这或许是 这个冒险在工修科系统设计转变上极其就会不可或缺的涵义。

注解

[1] J. Sirignano. Deep learning models in finance. SIAM News, 2017, 50(5): 1.

[2] 周志华. 机器研修. 南京: 清华大工修显现出版社, 2016.

[3] G. E. Hinton, S. Osindero, and Y.-W. Simon. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7): 1527-1554.

[4] W. Gao and Z.-H. Zhou. Dropout Rademacher complexity of deep neural networks. Science China Information Sciences, 2016, 59(7): 072104: 1-072104: 12.

[5] Z.-H. Zhou and J. Feng. Deep forest: Towards an alternative to deep neural networks. In: IJCAI, 2017: 3553-3559.

[6] Z.-H. Zhou and J. Feng. Deep forest. National Science Review, 2019.

。

银川看白癜风去哪个医院
山西男科挂号
南京肛肠医院
镇江看白癜风哪家专科医院好
佛山男科专科医院哪家好
养气补血
舌尖红点
四磨汤
面部整形
神经内科