
深度学习(Deep Learning)
学数学看不起深度学习太正常了,因为中间还差好几层。 完整点的鄙视链是:学数学的 —> 学统计的 —> 学机器学习的 —> 学深度学习的 —> 学cv/nlp/dm/... 而且就算是数学里面,也有一条很长的鄙视链。十多年前混了一阵子组合数学,发现地位比较低。后来学了学李代数,发现还是底层居民。后来安心在cs里,因为不怎么烧脑细胞。遇到上层居民都是敬仰的绕路走。
说真的,看那么多人吹山世光我看着都尴尬,整个VIPL组20个研究员加副研究员,然后还养了接近50个PhD, CVPR ICCV之类还过得去的A会每年平均产出才20篇左右。 这种单个科研方向的人力放在美国像样点的院校每年能给你产出200篇Top CCF A你信不信?但看总量不看单人的质量没任何的价值。
对于CV的文章,个人感觉的大致排序 (同时考虑好工作以及mean) 如下: PAMI~三大会 > IJCV > TIP > BMVC/ACCV/WACV/MM/IJCAI/TMM > TCVST/ICME.
刚刚读完一片中稿论文,惊掉下巴,这种水文居然也能中nips,严重怀疑走后门。 SemMAE: Semantic-Guided Masking for Learning Masked Autoencoders 做掩码图像建模的,follow的凯明的MAE。 首先用iBOT人家预训练好的模型来提取特征学一个注意力图,无非是mlp加交叉注意力的常规操作,硬说能学到图像中目标的不同part,why?这操作不是都用烂了,咋到这就能学到不同part?最后那个从易到难的预训练任务非常trivial,而且没啥道理,因…
差不多吧,看看何恺明就知道了,何恺明已经是cv领域第一人了吧?他最近这几年都没什么大的突破,其他的也就那么回事了,resnet以后,也就transformer算一个大创新,毕竟跟注意力机制一样,能产出很多改进和论文出来。 其他的什么半监督,弱监督,无监督,基本没什么理论上的进步呢,撑死就是一些横向应用,检测也差不多,yolov4升级到yolov5这种,算创新吗?那也算不算什么大成果,那种划时代的东西已经不存在了,现在也就是模型…
跟实验室导师产生矛盾, 导师阴阳怪气用他服务器。 得, 自谋生路。 选择Baidu AI Studio, 免费算力。 之前会PyTorch, Paddle 驾轻就熟。 Github 上还有 常用模型的 Paddle 实现, 根本不存在问题。 效果和我在服务器上用PyTorch跑的效果不能说有偏差吧, 只能说一模一样。
李老师是自动化所出去的,我也凑个热闹,只有幸见过一次,就是18年毕业典礼,李老师是作为教师代表对毕业生发言。最深刻的就是当时穿个短裤就来了,讲话具体内容是不记得了,总的感觉就是特别学者气息。 看群里有的说受不了半夜打电话,我觉得李老师可能真的就是太投入了。和我现在的老师一样,我们有时半夜做实验2点发过去结果,(我自己就一回),他真的就立马回过来电话了,真的有对科研的热爱与责任。不过我的同学或者其他人…
理论上是在2006年,爆发(广为人知)是在2012年,以前的神经网络两三层就可以了,多了效果太差太差,完全是为了拟合而拟合,加上数据和算力也不足,在某些数据集上,深层还不如浅层。 看一个极其简单的基于自编码器的手写数字图像识别的小例子,算是自编码器领域的hello world吧。首先导入手写数字图像,并随机看几个样本 for i = 1:20 subplot(4,5,i); imshow(xTrainImages{i}); end [图片] 首先测试一下第1个自编码器,隐层神经元数量…





