今天小编(幸聽楓)要和大家分享的是“是我创造了第一个LLM”!Kaggle前首席科学家一句话引发AI学术圈考古行动,欢迎阅读~
论如何在技术圈争论中一句话噎到对方:
哥们,是我创造了第一个大语言模型。
发言者 Jeremy Howard 为澳大利亚昆士兰大学名誉教授、曾任 Kaggle 创始总裁和首席科学家,现 answer.ai 与 fast.ai 创始人,。
事情的起因是有人质疑他最近的项目 llms.txt 在帮助大模型爬取互联网信息上并没太大作用,从而引发了这段争论,迅速引起众人围观。
闻讯而来的 " 赛博考古学家们 " 一番考据之后,发现第一个大语言模型这个说法还真有理有据:
2018 年初,Jeremy Howard 发表的论文 ULMFiT,使用非监督预训练 - 微调范式达到当时 NLP 领網域的 SOTA。
甚至 GPT-1 的一作 Alec Radford,在发表 GPT-1 时也公开承认过 ULMFiT 是灵感来源之一。
有人搬出综述论文,指出从 " 遗传学 " 视角看,ULMFiT 是所有现代大模型 " 最后的共同祖先 "。
还有好事者軟體工程师 Jonathon Belotti,专门写了一篇完整考据《谁才是第一个大语言模型》
首先来介绍一下 ULMFiT 这篇论文,入选 ACL 2018:
提出有效迁移学习方法,可应用于 NLP 领網域的任何任务,并介绍了微调语言模型的关键技术,在六个文本分类任务上的表现明显优于当时的 SOTA 方法,在大多数数据集上将错误率降低了 18-24%。此外,仅使用 100 个带标签的示例,它的性能就与在 100 倍以上数据上从头开始训练的模型性能相当。
那么 ULMFit 算不算第一个大语言模型呢?Jonathon Belotti 考据遵循这样的思路:
首先找一个大家都公认肯定算大语言模型的成果,GPT-1 肯定符合这个标准。
再从 GPT-1 和后续 GPT-2、GPT-3 中提取一个模型成为成为大语言模型的标准:
首先要是一个语言模型,根据输入预测人类书面语言的组成部分,不一定是单词,而是 token
核心方法是自监督训练,数据集是未标记的文本,与此前特定于任务的数据集有很大不同
模型的行为是预测下一个 token
能适应新的任务:不需要架构修改,就有 few-shot 甚至 one-shot 能力
通用性:可以先进的性能执行各种文本任务,包括分类、问答、解析等
接下来分析 GPT-1 引用的几个重要模型:原版 Transformer,CoVe,ELMo 和 ULMFiT。
Transformer 虽然是现代主流大模型的架构基础,但原版只用于机器翻译任务,还不够通用。同时非 Transformer 架构如 LSTM、Mamba 甚至 Diffusion 也可被视作大型语言模型。
CoVE 提出了语境化词向量,是迁移学习领網域的一项重要创新,但它通过监督学习训练(英语翻译德语)创建向量,不符合自监督学习的条件。
ELMo 使用了自监督预训练和监督微调范式,但在 few-shot 能力上还差点意思。
总之在作者 Jonathon Belotti 看来,CoVE 和 ELMo 都还没达到大语言模型的门槛。
最后再来看 ULMFiT,其名字代表在文本分类任务微调的通用语言模型(Universal Language Model Fine-tuning for Text Classification)。
它是一个在 WikiText 数据上自监督训练的 LSTM 模型,能够以低成本适应新任务,无需更改架构即可执行大量文本分类任务,且达到当时的 SOTA 性能。
与 GPT-1 相比,只差在微调不够方便,以及应用任务的广度。
GPT-1 论文原文中,也指出 " 最接近我们工作的 " 就是 ULMFiT 与谷歌的半监督序列学习(Semi-supervised Sequence Learning)了。
GPT-1 论文还声称,把 LSTM 换成 Transformer 后能拓展预训练模型的预测能力,比 ULMFit 任务适应性更高。
考据者 Jonathon Belotti 最后总结到:
成为第一重要么?我认为有一点重要。軟體行业和学术界尊重其创始人,我们都是开源社区中构建开拓智網域文化(homesteads the noosphere)的一部分。
而 Jeremy Howard 本人对此的后续回应是我们创造了第一个 " 通用语言模型 ",但后续论文没有沿用,反而创造了 " 大型语言模型 " 这个新术语。
苹果工程师 Nathan Lawrence 认为,虽然今天大家对谁是第一个 LLM 可能存在争议,但最终大家都会把 ULMFiT 视为一个轉捩點。
当时即使我这样的怀疑论者,也快开始意识到大规模通用训练将成为 NLP 的未来。
也有人建议 Jeremy Howard 以后说 ULMFit 是第一个 " 通用预训练模型 "。
" 我发明了 ChatGPT 中的 GP",这句话说起来也很酷,一点也不夸张。
ULMFit
https://arxiv.org/abs/1801.06146
GPT-1
https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
参考链接:
[ 1 ] https://x.com/jeremyphoward/status/1905763446840607164
[ 2 ] https://thundergolfer.com/blog/the-first-llm
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
速抢席位!中国 AIGC 产业峰会观众报名通道已开启 ♀️
首批嘉宾曝光啦 百度、无问芯穹、数势科技、生数科技、像素绽放等十数位 AI 领網域创变者将齐聚峰会,让更多人用上 AI、用好 AI,与 AI 一同加速成长~
4 月 16 日,就在北京,一起来深度求索 AI 怎么用
一键星标
科技前沿进展每日见
关于“是我创造了第一个LLM”!Kaggle前首席科学家一句话引发AI学术圈考古行动就分享完了,您有什么想法可以联系小编(幸聽楓)。