珍惜有限的注意力资源

我的建议是，多读书，少看paper.

书是知识的树根。

读书是反人性的，极大消耗人的注意力。你看正经书的时候会感受到，集中精力看10页，尤其当里面的那些结论和个人的知识结构有落差时，会动用你大量脑力。和做交易比较类似，越是反人性的，越有盈利机会。读书越是感觉反人性，那些知识点就越容易被低估。所以把非本专业的书当闲书看，常常会获得穿越性的灵感。写书的人总是更负责任的，虽然他们掌握的内容在本个领域里面往往会显得比较基础，但那都是经过验证的根基。

再次推荐《Matrix Cookbook》，看了不白看，如果有收获，我也不贪你一个打赏，顶多就是以后我们共事的时候合作的更加奔放通畅。

论文是知识的树叶。

一个同学曾提出在神经网络中嵌入树形结构的设想，我颇不以为然。没几天就看到周志华老师的gcForest，再没几天，代码也都放出来了，虽然有些反弹的声音认为非BP模型有『原罪』。不懂的时候先不要否定。比如我所谓的读论文的品位，是一个很主观的东西。如果你真的出于个人意愿，不想看的话，何不成熟一点，交给时间呢？总有一天，Papers are leaves这句话会变成Paper comes, paper leaves. 施一公说，论文只能告诉你现在的前沿问题是什么。

好论文是利刃，切断没用的东西。

虽然很多人都不愿意承认，但多看刷分猛的人的写的文章，总是没错的。

试想，连刷分都刷不好的人，面对工业级别产品的要求，做出来的东西能有什么后劲？除非你做的东西在场景里Overkill了，否则，还是多看刷分吧。资源永远是有上限的，在这种资源底下你追求极致，才能在只有1%的资源时更加合理的使用资源，部署场景的算力可没有你的服务器好啊。

再者，有的人按照自己的思路研究了半天，提高了1%，突然发现别人一下提高了5%。那么是应该继续坚持自己的思路龟爬，还是及时醒悟，跟着别人更优秀的思路一起搞？既然很多工作就是标榜自己刷分猛的，那么用『刷分+可再现』两个标准快速鉴别哪些工作是被低估了，哪些工作是『盛名之下其实难副』，也是很正常的。现在AI有些娱乐化的趋势，略过不表。

好的阅读习惯是剑法。

论文的首次发表时间和论文之间的dependency都是可以参考的资料。对于这点我是很懒的。

但最近培养起一种好习惯，比如怎么看机器学习论文呢？

绿笔标注思路灵感，感受一片生机盎然；

红笔标注损失函数，像鲜血淋漓的提示；

蓝笔标注模型结构，冷静感受模型细节；

棕笔标注数据处理，shitty works work.

我的实践水平是比较差劲的，只能用有限的代码力堪堪搞出一些小新闻。知行合一这事儿，得靠时间慢慢品了，可是人就这一辈子，所以为了分配越来越有限的精力，使用一个白板、记事本还是很有必要的。

想起一篇很扎实的论文，VOC2012现在榜单第四团队澳大利亚Adelaide大学的paper：

Wider Or Deeper?

在我实践的过程中，也一直有一个凶残的声音呼喊着：我到底是选择变成通才，还是变成专才？取舍这个问题，又容易，又难。容易的是随心而动，难的是不后悔。

每个人的答案都不一样。选择了不一样的路。变成了不一样的零件。组成了这个世界。

包括一些不良嗜好在内的类投机行为都跟休闲娱乐很像。然而一旦它们开始消耗大量注意力，我就开始很警惕了，比如网易阴阳师。人民群众普遍评价，『太tm肝了』，意思就是，你要玩到爆肝才能获得相应的奖励。有的学生我看他获得成就、奖励的速度，那基本上是整天玩才能到达的速度。还有一些竞技类网游，主播们简直是用命来打，像上班一样玩。玩到一定程度就会疲劳，干不了其他事情，有的人二十出头就腰间盘突出了。

所以说不要用休闲来当打游戏的借口了，我说的休闲是什么也不想的那种休闲。

距离我上一次碰PC游戏是12个月之前。

距离我上一次碰手游是2个月之前。

虽然一直觉得打游戏就当休闲无可厚非，但是我决定把更宝贵的注意力放在工作书目和闲书上，劳逸结合，非常有必要。

当一些惯用技巧变成了习惯，我们就会smarter，比如钢琴10级的孩子出于身体反应自然的会弹出一段名曲，或者给创作的音乐加上和弦，变得smarter了。

放空瞎想、出门锻炼、旅游相比读闲书是蛮不错的休息方式，

尽管同样地，这些休闲娱乐也会占用某些注意力，比如玩玩单反，无人机，射箭等，有的需要一些技巧，而有的是只使用很少的专注力就能完成。

甚至空想一下手边有了1000万闲钱应该怎么分配也是很有意思的。分配注意力资源，分配深度学习模型对显存的占用，和分配1000万闲钱资源是有异曲同工之妙的：你总有一个平衡点办法让你的幸福提升速度达到最快。这就变成了一个最优化问题。

根据一万小时天才理论，一个人这辈子起码能在二三十件事情上变得天才，那还是不要浪费了好。不过要注意，有些事情，甚至大部分事情，是注定会被AI早早取代的。当然具体选择什么，也不要畏首畏尾嘛，放手去尝试。

你不尝试，怎么知道自己根本做不好呢？

我不喜欢说『职业规划』。我被鄙视没有职业规划。被说不会Focus，但是我仍然可以活的很独特。没必要和别人一样。

很明确自己未来10年要什么的生活，其实最后跟一眼望的到头的日子并没有任何差别。我也曾经很努力的展望过未来，但是就像AlphaGo那样，其实算好未来50步都很耗算力了。

我喜欢说什么呢？

复盘。一年一复盘，会让自己骄傲。所以慢慢的我会3个月一复盘，整理做得好的地方和做的不好的地方，缺点是尤其明显的，就像达摩克利斯之剑一样始终提醒自己，在这个时代，个人是非常渺小的。当然如果钻研到一个细节里面去的时候，可以做到一个月一复盘甚至一周一复盘，小步快走，会有奇效。如同Learning rate降到最低的时候，要么怒提2% acc，要么直奔过拟合而去。

不拆解的宏大梦想，也就只是瞎吹牛逼而已。不过我冲进有加，还欠缺一个谦和的态度。就让时间来打磨吧。