如何把重点放在可扩展的方法上
- EN
- ZH-CN
读完 Bitter Lesson，怎么把重点真正放在可扩展的学习、搜索和算力上？
困惑
读 The Bitter Lesson，道理我认：长期看，肯花算力的通用方法会赢过人手工调出来的巧法。但落到我自己手上，到底怎么才算把重点放在能扩展的学习、搜索和算力上，我说不清。
初步想法
大概就是少写死规则，多喂数据和算力。但这话太空，帮不了我做具体选择。
问 AI
Bitter lesson 在实践里到底意味着什么？怎么判断一个方法符不符合？
› show full response
一句话：少把自己的判断写死进系统，多搭一套机制，让它在更多数据、更多算力、更长训练、更大搜索预算下自己变强。
分三层。学习：让模型自己从数据里学特征和策略，人少插手。搜索：生成一批候选，打分，留下好的，再来一轮，人只定目标和打分方式，不管每一步怎么走。算力：方法得能 batch、能拆到很多块芯片上跑、芯片之间通信便宜、内存按顺序读，这样硬件一变强它就白捡速度。
自己懂的东西，放进目标、数据、环境和指标，别堆成一大坨容易碎的 if-else。告诉模型什么是好答案，给它一堆数据和一个 verifier，别手写规则去装聪明。
判断很简单：数据扩 10 倍它会变强吗？模型扩 10 倍呢？训练时间扩 10 倍呢？要是答案大多是「不会，除非人接着手工调」，那它就不够能扩展。
→ 三层 + 一个判断标准
留下了什么
我没跟它争，看完觉得有道理就收下了。真正留下来的是两条。一是筛方法那组问题：数据扩 10 倍它会自己变强吗，模型扩 10 倍呢，训练时间扩 10 倍呢。二是自己懂的东西该放哪：放进目标、数据、环境和指标，别写成一堆容易碎的 if-else。告诉模型什么是好答案，给它数据和一个 verifier，别手写规则去装聪明。
一点别扭
这次又是还没自己的看法就先问了 AI，跟我之前那张「把思考外包给 AI」一个毛病。这道理我信，但现在它是 AI 的判断，不是我的。想变成我的，得拿它去筛几个我手上真在琢磨的 idea，看它会不会反手把我原本想做的东西毙掉。
key takeaway
两条留下来了：拿 10 倍数据、模型、训练时间能不能自己变强来筛方法；自己懂的东西放进目标、数据、环境和指标，别写成一堆容易碎的规则。