高馬爾
一個信息發佈的網站

吳永輝是誰?字節AGI計劃一号位,谷歌AI掃地僧

今天小編(繁綺文)要和大家分享的是吳永輝是誰?字節AGI計劃一号位,谷歌AI掃地僧,歡迎閱讀~

字節跳動大模型團隊,又添一員大将。

據智能湧現消息,Google DeepMind 研究副總裁、Google Fellow 吳永輝已離開谷歌,加盟字節 Seed。

吳永輝,南京大學校友,博士畢業于加州大學河濱分校,2008 年博士畢業就加入了谷歌,司齡近 17 年。

他是谷歌神經機器翻譯項目及 Rank Brain 項目的主要貢獻者之一。在 2023 年谷歌大腦和 DeepMind 合并之後,他也參與到了谷歌大模型 Gemini 的研發工作當中,Gemini 1.5 論文顯示,他是 Core Contributor 之一——

這意味着他在對 Gemini 項目有着重大影響。

根據 Google Scholar,吳永輝的論文引用量已超 5 萬,h-index 達到 72。

具體來看吳永輝的履歷。

吳永輝 2001 年本科畢業于南京大學計算機科學專業,畢業後加入微軟。

在微軟工作 3 年後,他重返學校,前往加州大學河濱分校深造,4 年時間獲得 CS 博士學位和統計學碩士學位。

博士畢業後,吳永輝就加入了谷歌,至今已近 17 年。

谷歌大腦時期,吳永輝的研究圍繞語音展開,主要研究方向包括 ASR(自動語音識别)、NMT(神經網絡機器翻譯)、TTS(語音合成)、語言建模和排序等。

他的最高引論文就產出于這一階段:

論文提出了谷歌神經機器翻譯系統 GNMT,基于 Ilya 的 Seq2Seq 框架和注意力機制,研究人員們解決了當時神經機器翻譯訓練、推理成本高昂,以及處理罕見詞時存在困難等主要痛點。

在當時,GNMT 相較于過往的短語翻譯系統,翻譯錯誤減少了超 60%。

到了 2023 年,為應對 ChatGPT 掀起的大模型風暴,谷歌旗下兩大頂級 AI 團隊谷歌大腦和 DeepMind 合并。吳永輝也就此參與到 Gemini 的研發工作當中。

領英顯示,吳永輝在此階段已升任為谷歌研究副總裁、Google Fellow。

所謂 Google Fellow,對應的是谷歌職級當中的 L10 ——

這通常被視作谷歌的最高職級,在此之上的 L11,公開資料顯示就 2 個人:Jeff Dean 和 Sanjay Ghemawat。前者是谷歌首席科學家,後者是美國國家工程院和美國藝術與科學院(AAAS)院士,二人被認為為谷歌的技術創新和發展做出了不可磨滅的貢獻。

具體到 Gemini 的相關論文中,吳永輝的名字出現在 "Gemini App 總體技術負責人 " 一列。

Gemini 1.5 則将其劃分為 " 核心貢獻者 "。

根據爆料,加入字節後,吳永輝将擔任大模型團隊 Seed 基礎研究負責人,專注于偏長期的研究探索工作,直接向 CEO 梁汝波匯報。

值得一提的是,今年 1 月,字節跳動剛剛啟動了代号為 Seed Edge 的 AGI 長期研究計劃,提出核心目标 " 做比預訓練和大模型迭代更長期、更基礎的 AGI 前沿研究 "。

Seed Edge 的 5 大研究方向包括:

下一代推理:探索更高效且更通用、提升模型推理能力的方法。

下一代感知:找到統一生成和理解表示的方法,表示和壓縮真實世界,構建 " 世界模型 "。

軟硬一體的模型設計:從軟硬一體出發,探索 Transformer+GPU 之外的模型設計,發揮下一代硬體的能力。

下一代範式:在反向傳播、Transformer 架構、預訓練 + 對齊的模式之外,探索更高效的模型結構和學習方法。

下一代 Scaling 方向:在預訓練和推理階段的 Scaling Laws 之外,探索 Multi-Agent(多智能體)和 Test-Time Training(測試時間訓練,動态調整模型參數)等方向。

而在 2 月 13 日的字節跳動全員會上,梁汝波也提到,以 AI 業務為例,今年最重要的三個事情是:探索智能上限;探索新的 UI 互動;加強規模效應。

AI 是一場馬拉松,現在還很早,只是前 500 米。我們希望團隊的心态是既進取,又耐心。

或許吳永輝的加入,是這種進取和耐心的最新具象化體現。

關于吳永輝是誰?字節AGI計劃一号位,谷歌AI掃地僧就分享完了,您有什麼想法可以聯系小編(繁綺文)。