如何把重点放在可扩展的方法上

junyi.h@comp.nus.edu.sg (Junyi Hou) — Tue, 09 Jun 2026 00:00:00 Z

困惑

读 The Bitter Lesson，道理我认：长期看，肯花算力的通用方法会赢过人手工调出来的巧法。但落到我自己手上，到底怎么才算把重点放在能扩展的学习、搜索和算力上，我说不清。

初步想法

大概就是少写死规则，多喂数据和算力。但这话太空，帮不了我做具体选择。

问 AI

Bitter lesson 在实践里到底意味着什么？怎么判断一个方法符不符合？

› show full response

一句话：少把自己的判断写死进系统，多搭一套机制，让它在更多数据、更多算力、更长训练、更大搜索预算下自己变强。

分三层。学习：让模型自己从数据里学特征和策略，人少插手。搜索：生成一批候选，打分，留下好的，再来一轮，人只定目标和打分方式，不管每一步怎么走。算力：方法得能 batch、能拆到很多块芯片上跑、芯片之间通信便宜、内存按顺序读，这样硬件一变强它就白捡速度。

自己懂的东西，放进目标、数据、环境和指标，别堆成一大坨容易碎的 if-else。告诉模型什么是好答案，给它一堆数据和一个 verifier，别手写规则去装聪明。

判断很简单：数据扩 10 倍它会变强吗？模型扩 10 倍呢？训练时间扩 10 倍呢？要是答案大多是「不会，除非人接着手工调」，那它就不够能扩展。

→ 三层 + 一个判断标准

留下了什么

我没跟它争，看完觉得有道理就收下了。真正留下来的是两条。一是筛方法那组问题：数据扩 10 倍它会自己变强吗，模型扩 10 倍呢，训练时间扩 10 倍呢。二是自己懂的东西该放哪：放进目标、数据、环境和指标，别写成一堆容易碎的 if-else。告诉模型什么是好答案，给它数据和一个 verifier，别手写规则去装聪明。

一点别扭

这次又是还没自己的看法就先问了 AI，跟我之前那张「把思考外包给 AI」一个毛病。这道理我信，但现在它是 AI 的判断，不是我的。想变成我的，得拿它去筛几个我手上真在琢磨的 idea，看它会不会反手把我原本想做的东西毙掉。

Junyi's Lab

如何把重点放在可扩展的方法上