最近啃几本《算法导论》和看一些开源项目源码，说实话那会儿看代码总认定那是数学定理的堆砌，今天才发现全是碎掉的乐高积木。
那会儿做题非得在纸上列个长长的推导过程，脑子一热全写出来了，结局最终发现根本找不到解决难题的路。目前回过头看，才发现大量时候咱们自己一直在走回头路。 最让我触动的是那天调试一个简易的卷积神经网络。一启动我把输入层的权重全设满了，想着只要把梯度算稳了结局肯定没难题。结局发现批量更新的时候，那些权重像是一群赶不走的苍蝇，越跑越乱。
后来我才明白，这根本不是参数没收敛的难题，而是训练样本得充足“吵”才行。我把训练集从几千条压缩到了几百条，再随机打乱打几千遍，结局梯度爆炸了几十转。
这时候我才意识到，有时候难题不在算法本身，而在我们如何喂给它数据的。就像学游泳，你练了百年还是不能下水，不是水里没人，是你没学会如何换气。 目前的深度学习越来越像我在搭积木，就连是个个工程师都在拼。
那会儿认定模型是黑盒，逻辑复杂难懂，目前看大量项目标代码没见多少，但注释密密麻麻，显得特别像一个严密的数学证明。一个输入几百维度的张量，把前向传播写进去，后面全是层与层的乘法。
突然就懂了，那会儿在论文里看到的公式，实际上就是这些矩阵乘法在纸上跑出来的样子。
那会儿写论文认定那些推导步骤繁琐，如今写代码反而认定那些手写推导段落既富余又浪费工夫，出于编译器懒得猜那些中间步骤，它只需求最终结局。 那会儿做实验，数据量小得可怜，略微改个参数就得重新跑一遍。今天接触到了大规模预训练模型，训练量动不动就是百亿级就连万亿级。
这时候那会儿那种“跑一下看效果”的心态变得全是。数据多了，权重就多了，那个梯度下降的曲线反而变得平滑得可怕。我记得在某篇关于 Transformer 的论文里看到个统计，说在同样的计算资源下，增添了数据量，学习速度反而变慢了。
这仿佛有点反直觉，一启动我也搞不懂。
后来才意识到，模型不再是对数据的好办拟合，而是在学习统计规律本身。就像学语言，你背了十遍单词还是不会说，不是背错了，是你还没建立那个语法连接的神经网络权重。 那会儿总认定“神经网络”是个万能钥匙，只要堆参数就能解决任何难题。目前看代码，发现参数多了反倒成了负担。有些项目为了追求精度加了个如此个新层，结局输入数据里就富余了，那些数据的相关性反而变弱了。
这时候就得精简模型，砍掉那些没用的层。
这让我想起那会儿做数学建模，总想着把公式都用上，结局模型复杂度越高，泛化本事反而越差。
后来看论文才知道，过拟合的代价是庞大的，有时候最好办的线性模型反而比复杂的神经网络表现好。 那会儿写代码总认定逻辑要严密，略微漏个环节就认定自己蠢。目前看代码，发现大量时候写得乱七八糟，注释不全，但运行起来还是能跑通的。
这种“粗糙但有效”的代码风格正在流行。
那会儿我们在做实验，总希望每一个环节都环环相扣，目前发现有时候随机性、噪声就连是人类干预，反而能带来意想不到的惊喜。
比如我在做数据增强时，故意加入一些毛病的样本，结局模型反而学会了如何识别这种毛病，这有点荒诞，但也挺有意思的。 那会儿看论文认定那些公式推导是硬骨头，如今看代码里的变量名和函数名，反而认定亲切。一个变量叫"$sigma$"，代表激活函数的输出，本质就是那个 sigmoid 函数值；另一个变量叫"$theta$"，代表偏置参数，实际上就是那个加在输出上的常数。
原来那些在教科书里看得贼枯燥的符号，实际上就是我们日常写代码时最熟悉的工具。 每次写代码时，最怕的就是报错，特别是那些复杂的矩阵运算。
那会儿遇到毛病就慌，目前遇到报错反而能反推难题在哪。
比如某个矩阵乘法结局不对，我就能顺着报错信息，一步步往回找，看看是不是维度不匹配，要么是不是某个层的初始化有难题。
这种“试错”的过程，比那会儿看解析图要直观得多。
那会儿看解析图认定那些符号代表啥意思，目前看代码里的中间变量，一眼就能猜出大约是啥操作。 那会儿当老师教学生，总想把每一个知识点都讲透，生怕学生没懂。目前当学生，发现大量知识实际上是一起长在一起的。
比如深度学习，它不只是是神经网络，还包含统计学习理论、几何变换算法，有时候就连还会用到点云处理、机器人管住什么的。
那会儿认定这只是几个独立的模块，目前看代码，发现它们像是一个个齿轮咬合在一起，共同搞定了一个宏大的任务。 每天上班，看着屏幕上密密麻麻的代码，常常想自己是不是确实不懂啥。
有时候为了调个参数调得挺晚，到了凌晨三点，脑子一片空白，只想睡一觉。但第二天早上起来，发现今天搞懂了这一个小逻辑，要么跑通了这一个小数据集，那种成就感是之前从未有过的。
那会儿认定学这些东西挺枯燥，目前发现它们确实挺有趣。 有时候我也在想，为啥如此多大佬都在做这些高精尖的研究，为啥我们的进步有时候如此慢。
或许是出于我们还在用旧的方式去理解新的东西。
那会儿我们学物理，先学牛顿力学，再学相对论；那会儿我们学数学，先学微积分，再学线性代数。但目前，这些基础理论和前沿技术之间，似乎有一种天然的割裂感。我们往往带着旧的经验去审视新的事物，害得了大量基础难题被漠视了。 最近在看一个开源的图像分割项目，里面提到要用到一种新的损失函数，那玩意儿叫"WISeNet Loss"。里面有个图，画了个曲线，显示随着网络的层数增添，损失函数呈现先降后升的趋势，再降。
这让我想起之前看论文时，那些关于收敛过程的曲线图，看起来那么复杂，里面的每个点都代表了一种复杂的数学关系。
那会儿认定那些曲线难懂，目前看代码里的实现，发现那实际上就是几种不同策略的组合，就像我们在爬楼梯，有时候认定累，有时候认定顺，这就是损失函数在起功能。 那会儿做实验，要是跑不通，就死磕代码，直到找到那个 bug。目前动不动就是几万条数据，跑一遍得花好几天。
有时候为了验证一个假设，得跑 100 次，每次都不一样，结局最终取个平均值。
那会儿认定这样浪费工夫，目前发现这是必要的。出于数据本身的随机性，拍板了模型的表现不能仅靠平均值。 有时候我也在想，是不是我们忒追求完美了。
那会儿写代码，只要逻辑通顺就行，目前代码里充满了各种优化技巧，比如知识蒸馏、迁移学习、正则化什么的。
这些技术本身都是好的，但有时候也显得有点刻意。就像做菜，那会儿只要食材新鲜就行，目前厨师得讲究火候、调味、就连摆盘。
有时候过度装饰反而掩盖了食物的本味。 前两天有个同事，刚启动学深度学习，整天盯着损失函数图看，认定自己仿佛掌握了啥秘诀。
后来发现那只是好办的交叉熵公式，纸上推演一遍就行了。
实际上真正的难点在于工程实现，比如数据的预处理、模型的配置、训练环境的稳定性什么的。
那会儿我们死磕理论，总认定搞懂了公式就是懂了 AI，目前才明白，真正的高手是在工程上把理论落地。 目前回头看那会儿的那些论文，大量模型居然能跑通。
那时候认定了得，目前再看，原来那些模型也是基于类似的数据集训练出来的。
确实，那会儿认定自己是个天才，目前发现实际上大家都在用同样的方式，只是有些细节上我们还没彻底搞懂。
这种集体性的“无知”反而让我们更团结，也更清楚自己还处在啥阶段。 有时候我也会想，是不是 AI 的发展如此快，是出于我们留下的基础忒薄弱了。
那会儿的计算机只关心如何打扑克，目前关心如何下围棋。
那会儿编程只关心如何画个图，目前关心能不能准描述一个物体的形状。
这种从好办到复杂的跨越，本身就是一种进步，但也带来了挑战。 不管怎么着，感觉自己最近进步不小。
那会儿认定学习啥都是为了考试，目前认定学习是为了知足好奇心，是为了搞清楚世界是如何运转的。
那会儿看代码认定那是魔法，目前认定那是数学和逻辑的体现。
那会儿写代码怕报错，目前看报错能反推难题。
那会儿认定深度学习挺难，目前看代码发现大量层实际上挺好办的，就是组合起来罢了。 可能这就是成长的过程吧。从单纯地学习知识，到启动理解知识的背后逻辑，再到尝试用自己的方式去应用这些逻辑。
这种转变挺难，但每一步都算数。
那会儿认定那些复杂的公式挺难理解，目前看代码里的变量，才发现它们实际上就是我们每天都在用的工具。它们让我们能更准地描述世界，让我们能更简洁地表达思想。


相关标签：