← 返回回声← Back to Echoes
视频

WhynotTV:对话翁家翌

成长阶段 · System 1 / System 2

  • System 1(系统1)

    是快速、自动且直觉性的思考,它不怎么费力,例如瞬间识别出朋友的脸或回答“2+2=?”。

  • System 2(系统2)

    则是慢速、需要专注和分析的思考,它处理复杂问题,例如计算一道复杂的数学题或规划一次长途旅行。

  • 简单来说,系统1是你的直觉反应,而系统2是你有意识的、深思熟虑的推理过程。

成长阶段 · 童年:超前意识

  • 提前布局

    初中开始自学高中数学。即便学习速度慢,也通过“提前了解”来弥补,

成长阶段 · 高中:目标导向与底层能力

  • 寻找捷径

    面对非北京户口考取清北的巨大压力,将 OI(信息学竞赛)作为升学突破口。

  • 代码极致追求

    坚持“裸打代码”,通过追求代码优化来锻炼逻辑思维与反应能力,要求自己对题目全局有完整认知。

Yoshua Bengio

  • Yoshua Bengio 被誉为“深度学习三巨头”之一,与 Geoffrey Hinton 和 Yann LeCun 共同获得了计算机界的最高荣誉——图灵奖。他几十年来致力于神经网络的研究,其团队在序列建模和注意力机制上的贡献,为后来 ChatGPT 等大语言模型的诞生奠定了核心理论基石。

成长阶段 · 本科:影响力与确定性

  • 开源作业的策略

    将所有作业开源至 GitHub。 打破信息差:追求信息平等,帮助不擅长搜集信息的人。 建立个人IP:提高曝光度,认为被大众记住比给母校捐楼更有社会影响力。

  • 误打误撞的 RL 之路

    本想研究 GAN,却误入 RL(强化学习)领域,因其趣味性坚持至今。

  • Hacking 精神

    享受以“上帝视角”构建脑中场景的过程。

  • 暑研转折点

    在 Yoshua Bengio 获图灵奖前申请其暑研,被安排至 NLP 方向。冥冥之中完成了 RL + NLP的路径布局,贴合 OpenAI 的技术路线。

  • 价值观

    GPA 并非唯一:简历上三四年后就消失的数字,不应是大学唯一的评价体系。 影响力至上:创造有用的东西并分享,哪怕亏钱,只要产生影响力就有价值。 游戏人生:人生的结算分数是“记得你名字的人数”。

成长阶段 · 硕士:抉择与转身

  • 疫情影响

    一年网课经历,入学即面临就业压力。

  • 职业选择

    拒绝做大厂的“螺丝钉”,倾向于更有活力的初创项目或公司。

John Schulman

  • John Schulman 是人工智能领域的顶尖科学家,也是 OpenAI 的联合创始人之一。他是强化学习领域的关键领袖,主导开发了近端策略优化(PPO)算法,该算法现已成为强化学习中最常用、最稳定的标准算法。更重要的是,他在 OpenAI 领导了强化学习人类反馈(RLHF)团队,这一技术正是让 ChatGPT 能够听懂人类指令、并进行自然对话的核心基石。

OpenAI 经历与工程哲学 · 核心思维:Engineering vs Research

  • “教一个 Researcher 如何做好 Engineering,远比教一个 Engineer 做好 Research 难。”

  • Infra(基础设施)为王

    正确的 Infra 决定了单位时间内的迭代次数。

  • Idea is Cheap

    想法不值钱,快速验证想法的能力才值钱。

  • 成功率逻辑

    成功率与单位时间的迭代次数呈线性正相关。

  • 卖铲子的人

    翁家翌深耕工程底座,使 OpenAI 的每一个模型中都有其贡献。

OpenAI 经历与工程哲学 · 工业界 vs 学术界

  • 工业界(0 → 1)

    解决现实痛点,关注落地应用。

  • 学术界(99 → 99.1)

    侧重微调与理论完备。目前学术界存在“不发表就发臭”的压力,导致导师变老板,学生变机器。

  • 学术界本该是探索大地的先遣,现在却不少人蹲在已经开垦好的土地上,为了争夺最后几粒麦子打得不可开交。

OpenAI 经历与工程哲学 · OpenAI 企业文化

  • 极高人才密度

    不容忍平庸表现。

  • 高效组织

    简化架构、取消不合理会议、信息无损上下传达。

  • 愿景

    造福全人类。通过做产品,以最低价格普惠大众。

马尔可夫过程

  • 马尔可夫过程是一类随机过程,其核心假设是未来状态只依赖于当前状态,而与更早的历史无关,这被称为马尔可夫性。它通常用状态集合和状态转移概率来描述系统的演化过程。确定性的马尔可夫过程是一种特殊情况:在给定当前状态(和动作)后,下一状态是唯一确定的,而不是由概率分布采样得到。

哲学思考:命定论与时间 · 马尔科夫过程

  • 确定论

    世界是一个确定的马尔科夫过程,从宇宙大爆炸那一刻起,每一个念头、每一个单词都已注定,就像一个被模拟的原子?

  • 越狱者

    我能不能越狱?但不是广义的越狱,不是逃出去,也逃不出去,而是找到这个世界为什么要确定?为什么世界是宿命论。上帝为什么宏观不掷骰子,微观掷骰子。

  • 世界早已赋予我独自前行的能力!

哲学思考:命定论与时间 · 跨时空对话

  • 非线性时间观

    三维认知下时间是线性单向流动的,但四维视角下时间可以跳跃,不是单向流动的。

  • 与未来的自己对话

    未来的我帮助现在的我,现在的我成就未来的我。我也深有感触,我时常和未来的我对话,他会告诉我一些事情。

终局目标 (Over)

  • 财务自由

    迅速达成财富自由,尽最大可能争取时间与金钱的自主权,然后花时间花金钱找到自己真正想要做的事。

  • 回归需求

    技术本身不重要,重要的是抓住需求。

我听见了一些东西。
它们离开以后,留下了这些。
I heard a few things.
After they were gone, this is what stayed.