关注者
929
被浏览
105616

46 个回答

看到大部分回答在讨论理论和实践哪个更重要,我认为这并没有切中Ali演讲的要点。

Ali呼吁的是: Bring rigor back to this community!

rigor是一个广义的词,不仅限于math,theory,更不是empirical study的对立。Experimental Physics, Mechanical Engineering, Chemistry等等学科都是empirical study, 但我认为他们的方法是rigorous的。因为他们的paper会对每一个假设,每一个结论做仔细、详尽的实验来支撑。


说白了就是“无论做理论还是做实验,要做就做严格”。面对如此合理合法合情的呼吁,Yann有什么好吐槽的。


rigor指的是一种“小心求证”的态度。 Ali在talk中引用了batch-normalization这篇paper作为例子。Paper的作者声称bach-normalization解决了internal covariate shift的问题,从而使training得到稳定,但自始至终都没有定义什么是internal covariate shift,更不用说设计实验验证batch-normalization有没有解决,以及怎么解决这个问题的。

如果仔细看一看近几年的deep learning papers, 你就会发现“大胆假设”但不“小心求证”成了一种主流。似乎只要刷出了state-of-the-art的结果,就可以在paper里irresponsibly make claims。


更可怕的是这个问题不只存在于论文作者身上,reviewer的审稿方式更是逼着大家盲目追求state-of-the-art。近来review形成一种格式: "good idea, but I think your experiments should be ____"。 这意味着这些reviewer对文章本身的idea完全不给于评价,而对一两个实验细节穷追不舍。


今年ICLR review出来了以后我们好奇地评估了一下其他论文审稿质量,结果令人担忧,以至于同事发了一份长篇吐槽。(即使我们自己的paper情况还算乐观)

其实我觉得ali说的不错,虽然炼金术像是某种政治正确用词,只能说自己不能说别人,但是ali提到的一些点真的非常中肯。我认为他并不是反对实验优先的research,而是希望大家的claim能够足够实际而不浮夸。work并不是坏事,坏事是work但是不那么愿意去深挖work的原因。
感觉yan的反应相比之下有些过于aggressive了,Ali也并没有任何贬低的意思。实验为主的explore当然重要,尤其在发展的初期,但是如果真的要进步,theory的支持肯定必不可少。在这点上,ali说到的炼金术其实非常贴切,yan举的例子不是正好反应了ali的话么?望远镜先于光学,飞机先于空气动力学,有了后者之后我们的进步是不是都更加迅速了呢?毕竟炼金术也先于化学啊。
ali也没指责大家不去做theory,更多的也是呼吁大家在努力实验的时候,要多多注意吧。