精读笔记：T5——用统一的文本到文本框架探索迁移学习的极限

论文基本信息

阅读地图（先读这里，再往下）

这篇论文是什么？
T5 不是要提出一个全新的模型，而是做了一次 大规模系统性的"横向比较实验"——把过去 NLP 迁移学习领域的各种设计选择（模型架构、预训练目标、数据集、训练策略、规模）统统放在同一个实验框架下比较，找出最优组合，再把规模推到极限（110亿参数），最终在 GLUE、SuperGLUE、SQuAD、CNN/DM、WMT 等十几个基准上达到当时最先进水平。

它的核心贡献有两个：
1. Text-to-Text 统一框架：把所有 NLP 任务（分类、翻译、摘要、问答……）都转成"输入文本 → 输出文本"的格式，用同一个模型、同一个损失函数、同一套超参数处理一切。
2. 系统性消融研究：用上述统一框架作为"实验台"，严格控制变量地比较了各种设计选择，给整个领域提供了一份可靠的参考指南。

阅读建议（由浅入深）：
- 先理解 Text-to-Text 核心思想（Section 2）
- 再看 C4 数据集是什么（Section 2.2）
- 理解 Span Corruption 预训练目标（Section 3.3）
- 看架构比较结论（Section 3.2）
- 看规模化实验（Section 3.6）
- 最后看消融汇总和最终结果（Section 3.7）

Abstract（摘要）——逐段精读

原文核心句

"In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format."

"...we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our dataset, pre-trained models, and code."

翻译

本文通过引入一个统一框架来探索 NLP 迁移学习的技术版图——该框架将所有基于文本的语言问题都转换为"文本到文本"的格式。……我们在涵盖摘要、问答、文本分类等多项基准测试上取得了最先进的结果。为促进 NLP 迁移学习的未来研究，我们公开了数据集、预训练模型和代码。

新手讲解

什么是"迁移学习"（Transfer Learning）？
想象你学会了骑自行车，这些平衡感和协调能力可以帮助你更快学会骑摩托车——你把旧技能"迁移"到了新任务上。在 NLP 里，迁移学习的标准流程是：
1. 先在海量无标注文本上预训练（让模型学会语言的普遍规律）
2. 再在具体任务的小数据集上微调（针对具体任务调整模型）

BERT、GPT 都是这个路线。T5 沿用了这个路线，但做了两件更大的事：统一了任务格式，以及系统地比较了所有主流设计选择。

为什么要"系统比较"？
2019年前，NLP 领域各种预训练方法百花齐放，但彼此用不同数据集、不同架构、不同评估方式，很难直接比较谁好谁坏。T5 的价值就在于：搭一个公平的实验台，把所有选择都放上去 PK，得出可信赖的结论。

1. Introduction（引言）——核心段落精读

原文核心句 1

"The basic idea underlying our work is to treat every text processing problem as a 'text-to-text' problem, i.e. taking text as input and producing new text as output."

翻译

我们工作的基本思想是将每一个文本处理问题都视为"文本到文本"的问题，即以文本作为输入，生成新的文本作为输出。

新手讲解

这是全篇最核心的一句话。举个极端的例子来感受一下这有多统一：

类比：把 T5 想象成一个"万能翻译官"。无论你给他什么任务——翻译英文、回答问题、判断情绪——他都用同一个方式工作：读入文字，输出文字。不同的任务靠前缀标签区分，比如：
- "translate English to German: That is good." → "Das ist gut."
- "summarize: [一段新闻文章]" → "[摘要]"
- "sst2 sentence: The movie was amazing." → "positive"

原文核心句 2

"The primary goal of this work is to explore the limits of this text-to-text framework by systematically studying transfer learning methodology for NLP."

"Rather than proposing new techniques, we provide a comprehensive perspective on where the field stands by comparing the effectiveness of various approaches with the goal of determining best practices."

翻译

本工作的首要目标是通过系统研究 NLP 的迁移学习方法论，探索这一文本到文本框架的极限。……我们并非提出新技术，而是通过比较各种方法的有效性来提供对领域现状的全面视角，以期确定最佳实践。

新手讲解

这段话非常坦诚：T5 不是一篇"我们发明了什么新东西"的论文，而是一篇"我们做了极其认真的系统实验"的论文。它的价值在于：
- 把 BERT、GPT、XLNet 等各路模型用到的设计选择梳理成变量
- 在同一框架下逐一测试这些变量
- 给出可信的、可复现的实验结论

这种写作方式本身就很有价值——学术界经常缺乏这种"拨乱反正"式的系统研究。

原文核心句 3（关于规模）

"We also explore the importance of scale by combining the insights from our empirical study with much larger models trained on much more data to achieve state-of-the-art results on benchmarks including summarization, question answering, text classification, and more."

翻译

我们还通过将实证研究的洞见与在更多数据上训练的更大模型相结合，探索了规模的重要性，在包括摘要、问答、文本分类等基准上取得了最先进结果。

新手讲解

这句揭示了 T5 的最终"秘诀"：好设计 + 足够大的规模。仅靠好的架构和训练目标还不够，把参数量推到 110 亿（T5-11B），同时在超过 1 万亿个 token 上训练，才能真正突破天花板。这也预示了后来 GPT-3（1750 亿参数）、PaLM（5400 亿）等更大模型的方向。

2. Setup（实验设置）——这是全文的"精读重点"

2.0 Text-to-Text 框架总述

原文核心句

"The text-to-text framework allows us to use the same model, loss function, hyperparameters, etc. across our diverse set of tasks. It also provides a standard way to compare the effectiveness of different transfer learning objectives, unlabeled data sets, and other factors."

翻译

文本到文本框架让我们能够在各种不同任务上使用同一个模型、同一个损失函数、同一组超参数。它也为比较不同迁移学习目标、无标注数据集及其他因素的有效性提供了一种标准方式。

新手讲解

这是这个框架最实用的优点：
- 不需要为每个任务设计不同的输出层（分类头、span 预测头……）
- 不需要为每个任务调不同的损失函数
- 所有任务用交叉熵损失（cross-entropy loss）——预测下一个 token 是什么——统一训练

类比：传统方法就像一家餐厅，每道菜都要用专门的锅、专门的灶台、专门的调料。T5 的方法就像发明了"电饭煲"——所有食材都能扔进去，按一个键，等着出锅。

原文（输入格式示例描述）

"For example, to perform the 'cola' linguistic acceptability task from the GLUE benchmark, we feed the model the prefix 'cola sentence:' followed by the sentence to check. In this case, 'cola' comes from the name of the task."

翻译

例如，为了完成 GLUE 基准中的 "cola" 语言可接受性任务，我们给模型输入前缀 "cola sentence:"，然后接上要检查的句子。这里 "cola" 来自任务名称。

新手讲解

前缀（Prefix）就是任务说明书。模型通过前缀知道"我现在在做什么任务"，然后生成对应的输出。

来看几个具体例子：

输入: "translate English to German: The house is wonderful."
输出: "Das Haus ist wunderbar."

输入: "summarize: state authorities dispatched emergency teams..."
输出: "Emergency teams sent to affected area."

输入: "mnli premise: I hate pigeons. hypothesis: My feelings towards pigeons are filled with animosity."
输出: "entailment"

输入: "stsb sentence1: The rhino grazed on the grass. sentence2: A rhino is grazing in a field."
输出: "3.8"

注意最后一个例子：STS-B 任务要求预测两个句子的相似度（1～5 分的浮点数）。T5 直接输出最近的数字字符串，如果模型输出了无效字符串（不在候选集里），则计 0 分。这就是"一切皆文本"的彻底贯彻。

2.1 模型架构（Model Architecture）

原文核心句

"Since our goal was not to explore every possible architectural variant of the Transformer, we simply use an encoder-decoder structure with the original Transformer architecture..."

"The encoder and decoder each have a 'dense' feed-forward network with inner dimensionality of 3,072 and 12 attention heads. The key and value dimensionality of each attention head is 64. The embedding dimensionality is 768... This results in a model with about 220 million parameters."

翻译

由于我们的目标并非探索 Transformer 的每一种可能架构变体，我们直接采用原始 Transformer 的编码器-解码器结构……编码器和解码器各有一个"稠密"前馈网络，内部维度为 3,072，12 个注意力头。每个注意力头的键和值维度为 64。嵌入维度为 768……这使得模型约有 2.2 亿参数。

新手讲解

什么是编码器-解码器（Encoder-Decoder）结构？

想象翻译工作的两个阶段：
1. 编码器（Encoder）：把输入句子"读懂"，提取成一个内部表示（类比：人类读中文，理解意思）
2. 解码器（Decoder）：根据内部表示，逐词生成输出（类比：把理解的意思用英文说出来）

T5 的基础模型（Base）关键参数：
- 编码器：12 层 Transformer 块
- 解码器：12 层 Transformer 块
- 嵌入维度（d_model）：768
- 注意力头数：12
- 前馈网络内部维度：3,072
- 总参数：约 2.2 亿

后续实验还训练了 5 种规模的 T5：

原文（位置编码）

"Rather than using sinusoidal position embeddings or learned absolute position embeddings, we use relative position embeddings... Each embedding is a scalar that is added to the corresponding logit used for computing attention weights. The sequence of position embeddings are shared across all layers..."

翻译

我们不使用正弦位置编码或可学习的绝对位置编码，而是使用相对位置编码……每个编码是一个标量，被加到用于计算注意力权重的对应 logit 上。位置编码序列在所有层之间共享……

新手讲解

位置编码（Positional Embedding）是什么？
Transformer 本身不知道词的顺序（"我爱你" 和 "你爱我" 对模型来说原本没区别），位置编码就是告诉模型"第几个位置"的信息。

• 绝对位置编码（BERT 用）：每个位置有固定的向量，第1位置固定编码，第2位置固定编码……
• 相对位置编码（T5 用）：不记录"在第几位"，而是记录"这两个词之间差几格"。

T5 使用了一种简化的相对位置编码——只是在注意力分数上加了一个可学习的偏置（bias），32 个不同的偏置值覆盖了 0～128 以内的相对距离，超过 128 的距离都使用同一个偏置。这种方式让模型更好地泛化到比训练时更长的序列。

2.2 C4 数据集（The Colossal Clean Crawled Corpus）

原文核心句

"We used a version of the data released in April 2019 and found that it contained 750 GB of data after filtering... We call the resulting data set the 'Colossal Clean Crawled Corpus' or C4 for short."

翻译

我们使用了 2019 年 4 月发布的数据版本，过滤后包含 750 GB 的数据……我们将由此得到的数据集称为"庞大干净的爬取语料库"，简称 C4。

新手讲解

C4 是怎么来的？

C4 来自 Common Crawl——一个公益组织，持续抓取互联网上几乎所有网页，并开放数据供研究使用。但原始 Common Crawl 质量极差，充满垃圾、重复、色情、乱码。T5 团队对它做了一系列清洗过滤：

经过这些过滤后，原始 Common Crawl 的大多数数据被丢弃，最终保留约 750 GB，远大于 Wikipedia（约 13 GB）。

为什么需要这么大的数据？
模型参数越多，需要的训练数据就越多，否则会"过拟合"（背答案而不是真正理解）。T5-11B 在超过 1 万亿个 token 上预训练，没有 C4 这样的大规模数据集，这是做不到的。

类比：把预训练想象成"读书"。BERT 只读了 Wikipedia + 图书语料（约 16 GB），就像读了几千本书。T5 读的 C4 相当于几十万本书，见识更广，泛化能力更强。

2.3 下游任务（Downstream Tasks）

T5 评估了以下几类任务：

GLUE（General Language Understanding Evaluation）：自然语言理解领域的综合评测基准，包含 9 个子任务，用平均分衡量模型综合能力。
SuperGLUE：GLUE 的升级版，任务更难，更接近人类水平挑战。
SQuAD：斯坦福问答数据集，给一段文章和一个问题，要求抽取答案。
CNN/Daily Mail：用于摘要任务，ROUGE 分数（自动评估摘要质量的指标）。
WMT：机器翻译基准，用 BLEU 分数衡量。

2.4 输入输出格式（Input and Output Format）

原文核心句

"We use a simple approach to convert all existing benchmark tasks to the text-to-text format: prepend a task-specific prefix to the original input before feeding it to the model... All tasks cast as generating the target text given the input text."

翻译

我们采用一种简单方法将所有现有基准任务转换为文本到文本格式：在将输入输入模型之前，在原始输入前添加任务特定的前缀……所有任务都被转化为：给定输入文本，生成目标文本。

新手讲解

回归任务怎么转成文本？
STS-B 任务要预测两个句子的语义相似度（1.0 到 5.0 的浮点数）。T5 的处理方式：把浮点数四舍五入到最近的 0.2 倍数，然后输出对应的字符串（如 "3.8"）。这样就把"数字回归"变成了"文本生成"。

Winograd 任务的特殊处理：
原始 Winograd 任务要求判断代词指代（"The trophy doesn't fit in the bag because it is too [big/small]." 里的 "it" 指什么？）。T5 把它改成：直接把模糊代词高亮（用星号标出），然后让模型生成代词的具体指代对象（如 "the trophy" 或 "the bag"）。

3. 关键实验——消融研究（Ablation Studies）

什么是消融研究（Ablation Study）？
"消融"这个词来自医学（切除某个部位观察影响）。在深度学习里，消融研究就是：每次关掉/替换模型的一个组件，看看性能如何变化，从而判断该组件有多重要。T5 做的是超大规模消融——几乎把 NLP 迁移学习的每一个设计选择都消融了一遍。

3.1 基线结果（Baseline Results）

这是 T5-Base（2.2 亿参数）的基线表现：

结论：预训练对性能提升至关重要，没有预训练的模型性能差了约 17 个 GLUE 分（相当于巨大差距）。

3.2 架构比较（Architecture Comparison）

实验设置

论文比较了三大类 Transformer 架构：

1. 编码器-解码器（Encoder-Decoder）：输入经编码器处理，解码器用自回归方式生成输出。T5 的基础架构。
2. 纯解码器语言模型（Decoder-Only LM）：就像 GPT 一样，只有解码器，从左到右自回归生成。
3. 前缀语言模型（Prefix LM）：纯解码器的变体，但输入部分使用"双向注意力"（可看到上下文），输出部分使用"因果注意力"（只看前文）。这是介于 BERT 和 GPT 之间的折中。

结果

（P = 1倍参数量，2P = 2倍参数量）

关键结论

编码器-解码器结构配合去噪预训练目标，在所有任务上都表现最好。 纯解码器架构（GPT 风格）虽然参数量相同，但在需要"理解"输入的任务（分类、问答）上差距明显，这说明双向注意力（编码器看全文）对理解任务非常重要。

新手讲解

为什么编码器-解码器比纯解码器好？
- 编码器使用双向注意力：每个词都能看到前后所有词的信息（BERT 风格），更适合"理解"。
- 解码器使用因果注意力：只能看到当前词之前的词（GPT 风格），更适合"生成"。
- 对于像"给我摘要"或"回答这个问题"这样的任务，你需要先理解全文（编码器），再生成答案（解码器）。单用解码器两件事都要做，效率不如专职分工高。

3.3 预训练目标比较（Unsupervised Objectives）

这是 T5 中最重要的实验之一。论文比较了三大类预训练目标：

大类 1：语言模型目标（Language Modeling）

做什么：从左到右预测下一个词（GPT 的做法）。
问题：模型看不到整句话的全局信息，对"理解"任务不友好。

大类 2：BERT 风格遮盖（Masked Language Modeling / Denoising）

做什么：随机遮盖输入中的一些 token，让模型预测被遮盖的部分。
这是 T5 最终采用的大方向。

大类 3：文本乱序重排（Deshuffling）

做什么：打乱句子中词的顺序，让模型恢复原始顺序。
结果：效果最差，GLUE 只有 73.17，远低于其他方法。

重点：Span Corruption（片段遮盖）

这是 T5 最终选择的预训练目标，属于 BERT 风格去噪（Denoising）的一种改进版本。

原文核心句（Span Corruption 描述）

"Span corruption replaces different spans of text with unique mask tokens. Specifically, we randomly sample and then drop out 15% of tokens... The corrupted span is replaced with a single unique sentinel token rather than a mask per token... The target consists of all of the dropped-out spans delimited by their sentinel tokens."

翻译

片段遮盖将文本中不同的片段替换为唯一的掩码 token。具体来说，我们随机采样并丢弃 15% 的 token……被遮盖的片段用单个唯一的哨兵 token 替换，而不是每个 token 用一个掩码……目标序列由所有被丢弃的片段组成，各片段之间用其对应的哨兵 token 分隔。

新手讲解：Span Corruption 分步详解

第一步：理解什么是"I.I.D. Token 遮盖"（BERT 的做法）

BERT 随机遮盖单个 token：

输入: "Thank you [MASK] inviting [MASK] to your party last week."
输出: 预测所有 [MASK] 位置的词

问题：每个遮盖 token 都要产生一个预测，计算量大，且遮盖了哪些位置都要在输出中对应。

第二步：Span Corruption 的改进

T5 不遮盖单个 token，而是遮盖连续的片段（Span），并用唯一哨兵 token（sentinel token，如 <X>, <Y>, <Z>）替代整个片段。模型的输出只包含被遮盖的内容（不输出未遮盖的部分）。

具体例子（来自论文 Figure 2）：

原文:   "Thank you for inviting me to your party last week."
遮盖:   "for inviting" 和 "last" 被随机选中

输入:   "Thank you <X> me to your party <Y> week."
输出:   "<X> for inviting <Y> last <Z>"

关键点：
- <X> 替代了 "for inviting"（一个片段）
- <Y> 替代了 "last"（一个片段）
- 输出中，<X> 后面跟着被它替代的原始内容，依此类推
- <Z> 是结束标志

为什么 Span Corruption 比 I.I.D. 遮盖更好？

1. 更短的目标序列：输出只包含被遮盖的片段（约 15% 的内容），而不是整个输入序列的重建。每个训练步处理的序列更短，训练更快。
2. 片段遮盖更自然：语言中的词组（如"for inviting"）是有意义的语块，整块遮盖迫使模型理解更大范围的语义。
3. 哨兵 token 提供位置信息：模型通过哨兵 token 知道"在哪里填什么"，避免了混淆。

关键超参数实验结果：
- 遮盖比例：测试了 10%, 15%, 25%, 50%，15% 最佳（约 83.28 GLUE），50% 时性能明显下降（81.27）
- 平均片段长度：测试了 2, 3, 5, 10 个 token，长度 3 略好（83.49 GLUE），与 I.I.D. 遮盖（83.28）差距不大

总结：Span Corruption（15% 遮盖率，平均片段长 3）是最优的预训练目标，主要优势是训练效率（更短的目标序列）和略微更好的性能。

各种 BERT 风格变体的比较

论文还比较了多种去噪变体：

结论：各种变体性能相近，差异不大。T5 最终选择 Span Corruption 主要是因为训练效率（短输出序列 = 更快的训练），而非因为它有决定性的性能优势。

3.4 预训练数据集比较（Pre-training Dataset）

论文比较了多种预训练数据集的效果：

关键结论：
- C4（过滤后）> 未过滤 C4：清洗过滤有明显效果，证明数据质量比数量更重要（在规模类似时）
- C4 > 单一领域数据（新闻/Wikipedia）：更广泛的网络文本比专一领域文本泛化能力更强
- 大数据 > 小数据：在数据质量相近时，更多数据通常带来更好效果

新手讲解：这就像学语言——只读《新闻联播》（新闻领域）和只读《百科全书》（Wikipedia）都太窄，读杂志、网文、小说、新闻各种材料（C4）才能掌握更丰富的语言知识。

3.5 训练策略（Training Strategies）

论文比较了几种迁移/微调策略：

微调方式

1. Full fine-tuning（完全微调）：在下游任务上更新所有参数（T5 最终采用）
2. Adapter layers（适配器层）：在 Transformer 的每一层插入小型全连接层，只训练这些新插入的层，原始参数不动
3. Gradual unfreezing（渐进解冻）：从最后一层开始逐步解冻参数

结论：完全微调在大多数任务上效果最好。适配器层虽然参数效率更高，但在当时（2019 年）的实验中稍逊。

多任务学习 vs 预训练+微调

• 多任务学习：同时在所有任务上训练（不区分预训练/微调阶段）
• 预训练+微调：先无监督预训练，再在每个任务上单独微调

结论：预训练+微调始终优于纯多任务学习。但多任务预训练（把有监督任务混入预训练中）再接微调，与纯无监督预训练相比差不多，有时还略好一点。

3.6 规模化实验（Scaling）

这是 T5 的"大力出奇迹"环节。论文从以下四个维度探索了规模的影响：

1. 模型规模：从 Base（220M）到 11B
2. 训练步数：预训练更多 token
3. 集成（Ensemble）：把多个模型的预测平均
4. 以及以上各种组合

关键发现

• 更大的模型 > 更多的训练步数：在计算量相同时，把更多资源用于增大模型参数比增加训练步数效果更好
• 持续训练有收益：在已经收敛的基础上继续训练（用 4× 数据量），各项任务都有进一步提升
• 集成有额外收益：多个独立训练的模型取平均，比单个模型稳定且更优

规模对性能的影响：

随着模型从 Base(220M) → Large(770M) → 3B → 11B，GLUE、SuperGLUE 等指标持续提升，没有明显的"天花板"出现，这说明在当时的规模下，"更大就是更好"的规律依然成立。

3.7 整合所有洞见——最终 T5 模型

原文核心句

"We combine the insights from our study with scale to obtain state-of-the-art results."

翻译

我们将研究的洞见与规模相结合，以获得最先进的结果。

最终配方

T5-11B 的设计选择：
- 架构：编码器-解码器（实验最优）
- 预训练目标：Span Corruption（15% 遮盖率，平均片段长 3）
- 预训练数据：C4（最优数据集）
- 预训练 token 数：超过 1 万亿（1 trillion）个 token（约为 Base 基线的 8 倍训练量）
- 模型规模：11B 参数
- 混合预训练：加入了有监督的多任务预训练

最终成绩

SuperGLUE 88.9 vs 人类 89.8——T5-11B 达到了接近人类水平的语言理解能力，这在 2019 年是里程碑式的成就。

4. Conclusion（结论）——精读

原文核心句

"We presented a large-scale empirical study of transfer learning in NLP. Combining insights from our study with scale, we achieved state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more."

"We also showed that scale plays a major role in obtaining good performance... We caution, however, that large models may be impractical in many settings and that it is important to develop methods that deliver good performance on smaller models."

翻译

我们呈现了一项关于 NLP 迁移学习的大规模实证研究。将研究洞见与规模相结合，我们在涵盖摘要、问答、文本分类等多项基准测试上取得了最先进结果。……我们还表明规模在获得良好性能方面起着重要作用……然而，我们也提醒，大型模型在许多场景下可能并不实用，开发能在较小模型上也表现良好的方法非常重要。

新手讲解

结论部分有三个值得关注的点：

1. 大规模系统研究的价值：T5 不靠发明新技术取胜，靠的是"把每个设计选择都认真测了一遍"。这种研究范式本身就有巨大价值——它告诉后来者哪些选择真正重要，避免"调参玄学"。

2. 规模的双刃剑：11B 参数的模型在谷歌 TPU 上训练，个人研究者无法复现。论文作者自己也承认"大模型可能并不实用"，提醒研究界不要只追求大而忽视效率。

3. 历史地位：T5 的 Text-to-Text 框架后来影响了整个 NLP 领域：
   - 直接影响了 FLAN-T5（指令微调版本）
   - 影响了 UL2 等后续模型
   - Text-to-Text 的统一格式思想与后来的 InstructGPT / ChatGPT 的指令遵循框架一脉相承

整体评价与学习要点总结

T5 的历史意义

1. 统一框架的确立：Text-to-Text 格式把 NLP 带入了"大一统"时代，为后来的指令跟随模型（InstructGPT、ChatGPT）铺路。

2. 系统消融研究的范本：T5 是 NLP 领域最重要的"工程性"论文之一。它的价值不在于单一创新，而在于用严格的实验方法厘清了"什么有效，什么没用"，为整个领域建立了可靠的实践基准。

3. C4 数据集的贡献：C4 至今仍是 NLP 预训练的重要数据来源，其清洗流程成为后续数据工程的参考标准。

4. Span Corruption 的影响：这种预训练目标后来被广泛采用，在训练效率和模型质量之间取得了良好平衡。

核心概念速查

与其他经典论文的关系

Transformer (2017) ──基础架构──→ T5 编码器-解码器
BERT (2018) ──────双向编码器──→ T5 编码器部分 + 遮盖预训练思想
GPT (2018) ────────解码器LM──→ T5 对比实验中的基线
ELMo/ULMFiT ─────迁移学习───→ T5 的出发点
         ↓
       T5 (2019)
         ↓
FLAN-T5 (2022)──指令微调──→ 更好的任务泛化
InstructGPT/ChatGPT (2022)──→ 指令跟随的终极形态

精读覆盖章节：Abstract、Introduction（全部核心段落）、Section 2（Setup，含 2.1 架构、2.2 C4 数据集、2.3 下游任务、2.4 输入输出格式，全部段落）、Section 3（Experiments，含 3.1 基线、3.2 架构比较、3.3 预训练目标、3.4 数据集比较、3.5 训练策略、3.6 规模化、3.7 最终结果的核心结论）、Section 4（Conclusion）

字数统计：约 7,500 字