今天小编(繁綺文)要和大家分享的是吴永辉是谁?字节AGI计划一号位,谷歌AI扫地僧,欢迎阅读~
字节跳动大模型团队,又添一员大将。
据智能涌现消息,Google DeepMind 研究副总裁、Google Fellow 吴永辉已离开谷歌,加盟字节 Seed。
吴永辉,南京大学校友,博士毕业于加州大学河滨分校,2008 年博士毕业就加入了谷歌,司龄近 17 年。
他是谷歌神经机器翻译项目及 Rank Brain 项目的主要贡献者之一。在 2023 年谷歌大腦和 DeepMind 合并之后,他也参与到了谷歌大模型 Gemini 的研发工作当中,Gemini 1.5 论文显示,他是 Core Contributor 之一——
这意味着他在对 Gemini 项目有着重大影响。
根据 Google Scholar,吴永辉的论文引用量已超 5 万,h-index 达到 72。
具体来看吴永辉的履历。
吴永辉 2001 年本科毕业于南京大学计算机科学专业,毕业后加入微软。
在微软工作 3 年后,他重返学校,前往加州大学河滨分校深造,4 年时间获得 CS 博士学位和统计学硕士学位。
博士毕业后,吴永辉就加入了谷歌,至今已近 17 年。
谷歌大腦时期,吴永辉的研究围绕语音展开,主要研究方向包括 ASR(自动语音识别)、NMT(神经网络机器翻译)、TTS(语音合成)、语言建模和排序等。
他的最高引论文就产出于这一阶段:
论文提出了谷歌神经机器翻译系统 GNMT,基于 Ilya 的 Seq2Seq 框架和注意力机制,研究人员们解决了当时神经机器翻译训练、推理成本高昂,以及处理罕见词时存在困难等主要痛点。
在当时,GNMT 相较于过往的短语翻译系统,翻译错误减少了超 60%。
到了 2023 年,为应对 ChatGPT 掀起的大模型风暴,谷歌旗下两大顶级 AI 团队谷歌大腦和 DeepMind 合并。吴永辉也就此参与到 Gemini 的研发工作当中。
领英显示,吴永辉在此阶段已升任为谷歌研究副总裁、Google Fellow。
所谓 Google Fellow,对应的是谷歌职级当中的 L10 ——
这通常被视作谷歌的最高职级,在此之上的 L11,公开资料显示就 2 个人:Jeff Dean 和 Sanjay Ghemawat。前者是谷歌首席科学家,后者是美国国家工程院和美国艺术与科学院(AAAS)院士,二人被认为为谷歌的技术创新和发展做出了不可磨灭的贡献。
具体到 Gemini 的相关论文中,吴永辉的名字出现在 "Gemini App 总体技术负责人 " 一列。
Gemini 1.5 则将其划分为 " 核心贡献者 "。
根据爆料,加入字节后,吴永辉将担任大模型团队 Seed 基础研究负责人,专注于偏长期的研究探索工作,直接向 CEO 梁汝波汇报。
值得一提的是,今年 1 月,字节跳动刚刚启动了代号为 Seed Edge 的 AGI 长期研究计划,提出核心目标 " 做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究 "。
Seed Edge 的 5 大研究方向包括:
下一代推理:探索更高效且更通用、提升模型推理能力的方法。
下一代感知:找到统一生成和理解表示的方法,表示和压缩真实世界,构建 " 世界模型 "。
软硬一体的模型设计:从软硬一体出发,探索 Transformer+GPU 之外的模型设计,发挥下一代硬體的能力。
下一代范式:在反向传播、Transformer 架构、预训练 + 对齐的模式之外,探索更高效的模型结构和学习方法。
下一代 Scaling 方向:在预训练和推理阶段的 Scaling Laws 之外,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向。
而在 2 月 13 日的字节跳动全员会上,梁汝波也提到,以 AI 业务为例,今年最重要的三个事情是:探索智能上限;探索新的 UI 互動;加强规模效应。
AI 是一场马拉松,现在还很早,只是前 500 米。我们希望团队的心态是既进取,又耐心。
或许吴永辉的加入,是这种进取和耐心的最新具象化体现。
关于吴永辉是谁?字节AGI计划一号位,谷歌AI扫地僧就分享完了,您有什么想法可以联系小编(繁綺文)。