精读笔记：LongLoRA — 长上下文大模型的高效微调

论文信息
- 标题：LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
- arXiv：2309.12307
- 发表：ICLR 2024
- 作者：Yukang Chen, Shengju Qian, Haotian Tang, Zhijian Liu, Xin Lai, Song Han, Jiaya Jia
- 机构：香港中文大学（CUHK）+ 麻省理工学院（MIT）/ NVIDIA
- 代码：https://github.com/dvlab-research/LongLoRA

阅读地图

问题背景          →  为什么把模型扩展到长上下文很贵？
                      (全注意力 O(n²) + 要训练大量参数)

核心方法一        →  S²-Attn（移位稀疏注意力）
                      训练时用"分组局部注意力 + 移位"代替全局注意力
                      → 大幅节省计算量

核心方法二        →  改进 LoRA
                      除了训练低秩矩阵，还要解冻 embedding 和 normalization 层
                      → 补上 LoRA 在长上下文任务上的性能缺口

关键结论          →  单机 8×A100 可把 Llama2 7B 扩展到 100k 上下文
                      训练速度提升约 1.8×，效果接近全量微调

建议阅读顺序：先读"问题背景"通俗讲解 → Abstract → Introduction → 方法（S²-Attn + 改进 LoRA）→ 关键实验 → 结论

阅读前：理解核心问题

为什么把模型微调到长上下文很贵？

第一重代价：注意力计算的平方复杂度

Transformer 的自注意力机制需要让序列中的每个 token 都和其他所有 token "打招呼"，因此计算量随序列长度 n 呈平方增长，即 O(n²)。举个直观例子：

• 序列长度 2048 token → 基准计算量为 1
• 序列长度 8192 token（扩大 4 倍）→ 计算量变为 16 倍（4² = 16）

这意味着，把上下文从 2048 扩到 32768 token，仅注意力层的计算量就暴涨了 256 倍（(32768/2048)² = 256）。

第二重代价：训练参数太多

全量微调（Full Fine-tuning）需要更新模型的所有参数。对于 70B（700 亿参数）的大模型，光是存储梯度和优化器状态就需要几百 GB 的显存。

LoRA（低秩适配）是什么？

LoRA 是一种常见的参数高效微调方法。它的核心思想是：冻结大模型的原始权重，只在旁边注入两个小矩阵（称为低秩矩阵）用于训练。

用公式表达：原始权重 W 不动，新增一个 ΔW = B × A（其中 B 和 A 是两个很小的矩阵，它们的秩 r 远小于 W 的维度）。这样需要训练的参数量大幅减少（通常只有全量参数的 0.1%~1%）。

那么 LoRA + 长上下文 = 解决了问题吗？

很遗憾，光用 LoRA 不够。论文发现，在 32768 token 的上下文长度下，标准 LoRA（秩=8）的困惑度（perplexity，越低越好）为 11.44，而全量微调只有 8.08——差距显著。原因后面会讲。

LongLoRA 想做什么？

在单机 8 张 A100 GPU 的条件下，用有限的计算资源和显存，把 Llama2 这类大模型的上下文窗口从 4096 扩展到数万乃至 10 万 token，同时让效果接近甚至等同于全量微调。两个核心发明：S²-Attn 解决计算效率，改进 LoRA 解决参数有效性。

Abstract（摘要）

原文关键句

"We present LongLoRA, an efficient fine-tuning approach that extends the context sizes of pre-trained large language models (LLMs), with limited computation cost."

"We propose shifted sparse attention (S²-Attn), which effectively enables context extension, is easy to implement, and is compatible with most existing techniques."

"LongLoRA demonstrates strong empirical results on various tasks on Llama2 models from 7B/13B to 70B. LongLoRA extends Llama2 7B from 4k context to 100k, or Llama2 70B to 32k on a single 8× A100 machine."

翻译

我们提出了 LongLoRA，一种高效的微调方法，能够以有限的计算代价扩展预训练大语言模型的上下文长度。我们提出了移位稀疏注意力（S²-Attn），它能有效实现上下文扩展，易于实现，并与大多数现有技术兼容。LongLoRA 在 7B/13B 到 70B 的 Llama2 模型上，在各种任务中均表现出强大的实验结果。LongLoRA 能在单机 8 张 A100 上，将 Llama2 7B 的上下文从 4k 扩展到 100k，或将 Llama2 70B 扩展到 32k。

新手讲解

这段摘要交代了论文的三个核心信息：

1. 做什么：高效地扩展大模型的上下文（让模型能"记住"更长的文本）
2. 怎么做：发明了一个叫 S²-Attn（移位稀疏注意力）的新技术
3. 效果：单机 8 张 A100 就能把 Llama2 7B 从 4k 上下文扩到 100k

"上下文"可以理解为模型一次能处理的文字量。4k token 大约是 3000 个英文单词（或约 2000 个汉字），100k token 则相当于一本中等长度的小说。

Introduction（引言）核心段落

段落 1：背景——预训练模型的上下文限制

原文关键句

"Large language models (LLMs) are typically trained with a pre-defined context size, such as 2048 tokens for LLaMA and 4096 tokens for Llama2."

翻译

大型语言模型通常以预定义的上下文长度进行预训练，例如 LLaMA 的 2048 token 和 Llama2 的 4096 token。

新手讲解

模型在预训练时就"内置"了一个固定的最大处理长度。超出这个长度，模型就不知道怎么处理了——就好像一个只上过小学语文的人突然被要求读博士论文，知识体系根本不支持。要扩展这个长度，就需要额外的微调（fine-tuning）。

段落 2：现有方法的代价太高

原文关键句

"Position Interpolation spent 32 A100 GPUs to extend LLaMA models from 2k to 8k context, and 128 A100 GPUs for longer context fine-tuning."

翻译

位置插值（Position Interpolation）方法需要 32 张 A100 GPU 才能将 LLaMA 从 2k 扩展到 8k 上下文，而扩展到更长的上下文则需要 128 张 A100 GPU。

新手讲解

这里提到的"位置插值"是 2023 年提出的一种扩展上下文的主流方法（可以简单理解为：通过压缩位置编码来让模型接受更长输入）。但它的代价极其昂贵——128 张 A100 GPU！一张 A100 大约值 1 万美元，128 张就是百万美元级别的硬件。只有顶级机构才玩得起。LongLoRA 的目标就是让这件事变得"平民化"。

段落 3：核心观察——短注意力能近似长上下文训练

原文关键句

"We argue that the gap between full attention and sparse local attention can be bridged by shifting the attention pattern. We find that short attention is also able to approximate long context during training."

翻译

我们认为，通过移动注意力模式，可以弥合全注意力与稀疏局部注意力之间的差距。我们发现，在训练期间，短注意力也能近似长上下文的效果。

新手讲解

这是本文最关键的洞察之一。全注意力（每个 token 看所有 token）效果好但太贵；纯局部注意力（每个 token 只看附近的 token）便宜但效果差（因为信息无法在句子的不同部分之间流通）。LongLoRA 发现：如果在局部注意力上加一个"移位"技巧，训练时的稀疏注意力就能以极低成本近似全注意力的效果。推理时再换回标准全注意力，就能两全其美。

段落 4：LongLoRA 的两个组件

原文关键句

"LongLoRA has two main parts: (1) shifted sparse attention (S²-Attn) that effectively enables context extension with less computation; (2) an improved LoRA with trainable embedding and normalization."

翻译

LongLoRA 包含两个主要部分：（1）移位稀疏注意力（S²-Attn），以较少的计算量有效实现上下文扩展；（2）改进的 LoRA，具有可训练的嵌入层和归一化层。

新手讲解

把 LongLoRA 比作一辆改装赛车：
- S²-Attn 是发动机改装：让训练跑得更快（省计算）
- 改进 LoRA 是底盘调教：让模型在长上下文上真正学好（补上参数效率的缺口）

两者缺一不可——单有发动机没底盘，跑不直；单有底盘没发动机，跑不快。

段落 5：主要成果

原文关键句

"LongLoRA can fine-tune Llama2 7B up to 100k context, or a 70B model up to 32k, on a single 8×A100 machine."

翻译

LongLoRA 能够在单机 8 张 A100 上，将 Llama2 7B 微调到 100k 上下文，或将 70B 模型微调到 32k 上下文。

新手讲解

这是结果声明。关键词是"单机 8×A100"——这是许多中型实验室和公司能够负担得起的配置（对比之前的 128 张 A100）。100k token 大概是 75000 个英文单词，相当于一部完整的长篇小说（如《哈利波特》第一册约 77000 词）。

方法（Methods）：全部段落精读

这是本文的核心，一段不漏。

3.1 背景（Background）

原文关键句

"Standard self-attention computes: o = softmax(qk^T / √d) · v, with quadratic O(n²) complexity with respect to sequence length n."

"LoRA updates frozen weights W with a low-rank decomposition: ΔW = BA, where B ∈ ℝ^(d×r), A ∈ ℝ^(r×k), and rank r ≪ min(d, k)."

翻译

标准自注意力计算公式为 o = softmax(qk^T / √d) · v，其相对于序列长度 n 具有平方级 O(n²) 的复杂度。LoRA 通过低秩分解 ΔW = BA（其中 B 和 A 是两个小矩阵，秩 r 远小于权重矩阵的维度）来更新被冻结的权重 W。

新手讲解

自注意力公式解读：每个 token 的最终表示 o，由三个要素计算而来——q（查询，"我想知道什么"）、k（键，"我有什么信息"）、v（值，"我的实际内容"）。softmax(qk^T) 计算任意两个 token 之间的相关性权重，这一步的计算量是 n × n，即 O(n²)。

LoRA 低秩分解：如果一个权重矩阵是 4096×4096 维，全量训练需要更新约 1680 万个参数。LoRA 把更新量 ΔW 拆成两个小矩阵之积 B(4096×8) × A(8×4096)，只需要训练约 6.5 万个参数（约原来的 0.4%）。秩 r（这里是 8）越小，参数越少，省得越多，但表达能力也越有限。

3.2 S²-Attn：移位稀疏注意力

子节 3.2.1：问题引出——为什么需要稀疏注意力？

原文关键句

"Training at 8192 tokens requires 16× computational costs in self-attention layers as that of 2048. To alleviate this issue, we need an efficient approximation for attention during training."

翻译

在 8192 token 上训练，自注意力层的计算量是 2048 token 时的 16 倍。为了缓解这一问题，我们需要一种高效的注意力近似方法用于训练。

新手讲解

数学验证：(8192/2048)² = 4² = 16。仅仅把序列长度翻 4 倍，注意力计算量就变成 16 倍。这就是为什么长上下文训练如此昂贵，以及为什么需要"近似"——用某种更便宜的注意力模式来代替全局注意力。

子节 3.2.2：预实验（Pilot Study）——局部注意力 + 移位

原文关键句

"We test standard local attention and find that it leads to a high perplexity, due to the lack of information exchange across groups."

"We shift the tokens by half group size in half attention heads. For example, for a context length of 8192 and group size of 2048, in pattern 1, the first attention group consists of tokens from 1st to 2048th; in pattern 2, the first attention group begins from 1025th and ends at 3072th tokens."

翻译

我们测试了标准局部注意力，发现由于组间缺乏信息交换，其困惑度很高。我们在一半的注意力头中将 token 移位半个组的大小。例如，对于 8192 的上下文长度和 2048 的组大小，在模式 1 中，第一个注意力组由第 1 到第 2048 个 token 构成；在模式 2 中，第一个注意力组从第 1025 个 token 开始，到第 3072 个 token 结束。

新手讲解

这里是理解 S²-Attn 的最关键部分，用类比讲透：

类比：分小组讨论 + 串组制度

想象一个有 8192 人的大型学术会议，讨论同一个话题。如果让所有人同时互相交流（全注意力），效率极低（O(n²)）。常见的解法是分成小组：4 组，每组 2048 人，组内讨论。

纯局部注意力的问题：组内讨论很充分，但组与组之间完全隔离——第 1 组的人不知道第 2 组讨论了什么。最终信息碎片化，模型没法理解跨组的长程依赖关系，困惑度很高（效果差）。

S²-Attn 的解法——移位：

把所有注意力头（可以理解为模型同时进行的多个"子讨论"）分成两半：
- 前半注意力头：按照标准分组，第 1 组是 token 1~2048，第 2 组是 token 2049~4096，以此类推
- 后半注意力头：分组向右移位半个组大小（1024），第 1 组是 token 1025~3072，第 2 组是 token 3073~5120，以此类推

移位后，第 2 组的"后半段"（token 2049~3072）在未移位版本是第 2 组，在移位版本则和 token 1025~2048 同组。这样，原本相邻但不同组的 token 有机会在"移位组"里直接交流。

类比总结：
- 前半注意力头 = 按宿舍楼层分组讨论（1楼、2楼、3楼、4楼分开讨论）
- 后半注意力头 = 按错开的方式分组（1楼下半 + 2楼上半一组，2楼下半 + 3楼上半一组）

这样每个"楼层交界处"的人都有机会和邻近楼层的人交流，信息在整个序列中实现了连通，而计算量仍然是 O(n × group_size)，远小于 O(n²)。

子节 3.2.3：实验验证效果

原文关键句

"Full attention achieves 8.04 perplexity at 8192 context, while S²-Attn matched this at 8.04, compared to unshifted local attention's 8.29."

翻译

全注意力在 8192 上下文下达到了 8.04 的困惑度；S²-Attn 同样达到了 8.04，而未移位的局部注意力则为 8.29。

新手讲解

困惑度（perplexity）是衡量语言模型好坏的常用指标，越低越好（表示模型对文本的"困惑"越少，预测越准）。这个实验清楚地说明：
- 未移位的纯局部注意力（8.29）：比全注意力差，信息流通不好
- S²-Attn（8.04）：与全注意力（8.04）完全持平！

效果一样，但计算量小得多——这就是 S²-Attn 的价值所在。

子节 3.2.4：实现极简——只需两行代码

原文关键句

"S²-Attn is easy to implement. It involves only two steps: (1) shifting tokens in half attention heads, and (2) transposing features from token dimension to batch dimension. Two lines of code are enough."

翻译

S²-Attn 实现非常简单。它只涉及两个步骤：（1）在一半注意力头中移位 token；（2）将特征从 token 维度转置到 batch 维度。仅需两行代码即可实现。

新手讲解

"两行代码"是作者特意强调的卖点，表明这个方法没有复杂的工程实现，不需要修改模型架构，只需要在数据/特征排列上做简单操作。步骤（2）是把"移位+分组后"的 token 重新排列，使得组内注意力可以复用已有的高效注意力实现（如 Flash Attention）。

子节 3.2.5：推理时恢复全注意力

原文关键句

"Models trained via S²-Attn retain the original standard attention architecture during inference, making most pre-existing infrastructure and optimization reusable."

翻译

通过 S²-Attn 训练的模型在推理时保留原始标准注意力架构，使得大多数已有的基础设施和优化手段可以复用。

新手讲解

这里回答了一个很自然的问题：训练时用近似的稀疏注意力、推理时用标准全注意力——这两者不一样，为什么可行？

理解关键：训练时 S²-Attn 是一种正则化/近似手段，推理时模型已经学会了处理长上下文所需的能力。

类比：学驾驶时，教练用简化的练习场（分区、限速、无干扰）训练你，让你掌握驾驶技能；真正上路开车时，你面对的是完整的真实道路。简化练习场不会让你"学错"，只是让训练更可控、更高效；真实驾驶时你已经具备了应对复杂路况的能力。

S²-Attn 正是这种"分区练习"：
- 训练时：用稀疏注意力（分组 + 移位），计算量小，能在有限资源下让模型接触到足够多样的长上下文样本
- 推理时：换回全注意力，模型已经学会了如何利用长上下文，可以充分发挥训练成果

此外，保持推理时的标准全注意力架构还有一个实际好处：工程兼容性。现有的推理加速库（如 vLLM、TensorRT-LLM）都是针对标准注意力优化的，不需要为 S²-Attn 做任何适配。

3.3 改进 LoRA：解锁 Embedding 和 Normalization

子节 3.3.1：标准 LoRA 的瓶颈

原文关键句

"We find that plain LoRA leads to a large performance gap compared to full fine-tuning in context extension. Training long context models in this manner is neither sufficiently effective nor efficient."

翻译

我们发现，在上下文扩展任务中，原始 LoRA 与全量微调之间存在较大的性能差距。以这种方式训练长上下文模型既不够有效也不够高效。

新手讲解

在 32768 token 的上下文下：
- 全量微调：困惑度 8.08（好）
- 原始 LoRA（秩=8）：困惑度 11.44（差了很多）

这个差距在标准（短上下文）任务上往往不那么明显，但在长上下文任务上被放大了。为什么？因为长上下文模型需要调整的东西更"根本"——不只是各层的注意力权重，还涉及到最底层的 token 表示（embedding）和每层的规范化（normalization）。

子节 3.3.2：LoRA 是什么（术语解释）

原文关键句

"LoRA updates frozen weights W with a low-rank decomposition: W + ΔW = W + BA, where B ∈ ℝ^(d×r), A ∈ ℝ^(r×k), and rank r ≪ min(d, k)."

翻译

LoRA 通过低秩分解更新被冻结的权重 W：W + ΔW = W + BA，其中 B ∈ ℝ^(d×r)，A ∈ ℝ^(r×k)，秩 r 远小于 min(d, k)。

新手讲解（LoRA 完整解释）

假设模型的某层权重矩阵 W 是 4096×4096 维（约 1680 万参数）。LoRA 的做法是：

1. 冻结 W：训练时 W 不变，保留预训练知识
2. 注入两个小矩阵：B（4096×8）和 A（8×4096），只训练 B 和 A
3. 推理时合并：实际使用的权重是 W + B×A

参数量对比：
- W：4096 × 4096 = 16,777,216 个参数
- B+A：4096×8 + 8×4096 = 65,536 个参数（只有原来的 0.39%）

LoRA 的假设是：微调所需的知识更新，可以用低秩矩阵来近似表示。这在大多数任务上成立，但对于长上下文扩展，情况更复杂。

子节 3.3.3：为什么需要训练 Embedding 和 Normalization？

原文关键句

"We find that making embedding and normalization layers trainable is essential. Despite their small parameter counts—embedding has (<2%) parameters, and normalization has (≤0.004%) parameters in Llama2 7B—their addition dramatically closes the performance gap."

翻译

我们发现，让嵌入层和归一化层可训练至关重要。尽管它们的参数量很小——在 Llama2 7B 中，嵌入层占 (<2%) 的参数，归一化层占 (≤0.004%) 的参数——但加入它们后性能差距大幅缩小。

新手讲解

Embedding（嵌入层）：这是模型的"词典"，把每个 token（单词或子词）转换成一个向量。预训练时，模型的嵌入层只见过 4096 token 长度的上下文；要处理 32768 token，嵌入层需要学习新的位置感知表示。如果嵌入层被冻结，模型就像是用旧地图导航新城市——地图的比例尺根本不对。

Normalization（归一化层）：每个 Transformer 层都有归一化操作（如 RMSNorm），负责稳定激活值的数值范围。在极长序列下，激活值的分布会发生变化，需要归一化层自适应调整。如果归一化层被冻结，数值不稳定会导致性能下降。

实验数据验证（来自论文 Table 2，32768 token 上下文）：

关键结论：
- 仅 LoRA：差距巨大（11.44 vs 8.08）
- 加上 Embedding + Normalization（LoRA+）：8.12，几乎与全量微调持平！
- 参数增加量极小：Embedding < 2%，Normalization ≤ 0.004%——代价几乎可以忽略不计

子节 3.3.4：LoRA+ 的完整定义

原文关键句

"We refer to LoRA with trainable embedding and normalization as LoRA+, and use it as the default setting in LongLoRA."

翻译

我们将具有可训练嵌入层和归一化层的 LoRA 称为 LoRA+，并将其作为 LongLoRA 的默认设置。

新手讲解

总结一下 LoRA+ 和标准 LoRA 的区别：

改动极小，效果提升显著——这正是好工程方案的特征。

3.4 整体方法总结

LongLoRA = S²-Attn + LoRA+：

训练阶段：
  输入长序列（如 32768 token）
      ↓
  S²-Attn：分组 + 移位 → 近似全注意力，计算量大幅降低
      ↓
  LoRA+：只更新低秩矩阵 + Embedding + Normalization（参数极少）
      ↓
  输出：学会长上下文处理能力的模型

推理阶段：
  输入长序列
      ↓
  标准全注意力（恢复原始架构）
      ↓
  输出：高质量长文本理解结果

关键实验结果

实验 1：长序列语言建模（困惑度评估）

原文关键句

"LongLoRA achieves comparable perplexity with full fine-tuning across different context lengths. Llama2 7B trained at 32768 context achieves 2.50 perplexity on proof-pile dataset."

翻译

LongLoRA 在不同上下文长度下达到了与全量微调相当的困惑度。在 proof-pile 数据集上，经 32768 上下文训练的 Llama2 7B 达到了 2.50 的困惑度。

新手讲解

论文在两个数据集上评估：PG19（书籍）和 proof-pile（数学证明），都是需要长上下文理解的任务。核心发现是 LongLoRA 的困惑度接近全量微调，同时节省了大量计算资源。

主要结果（proof-pile 数据集）：

困惑度几乎一样（2.50 vs 2.49），而 LongLoRA 的训练代价远低于全量微调。

实验 2：最大上下文扩展能力

原文关键句

"LongLoRA can extend Llama2 7B to 100k context, Llama2 13B to 65536 tokens, and Llama2 70B to 32768 tokens on a single 8×A100 machine."

翻译

LongLoRA 可以在单机 8 张 A100 上，将 Llama2 7B 扩展到 100k 上下文，将 Llama2 13B 扩展到 65536 token，将 Llama2 70B 扩展到 32768 token。

新手讲解

最大上下文结果（单机 8×A100）：

100k token 是什么概念？大约等于 75000 个英语单词，可以一次性处理完整的《哈利波特》第一部（约 77000 词）。这个成就在单机上实现，意义重大。

实验 3：训练效率（显存与速度对比）

原文关键句

"For 32768 context length: full fine-tuning takes 39.8 hours and 68.8 GB memory; LoRA takes 36.5 hours and 46.5 GB memory; LongLoRA takes 24.6 hours and 46.4 GB memory. LongLoRA achieves up to 1.8× speedup with S²-Attn."

翻译

对于 32768 上下文长度：全量微调需要 39.8 小时、68.8 GB 显存；LoRA 需要 36.5 小时、46.5 GB 显存；LongLoRA 需要 24.6 小时、46.4 GB 显存。S²-Attn 带来了最高 1.8 倍的训练加速。

新手讲解

训练效率对比（Llama2 7B，32768 上下文，8×A100）：

关键发现：
1. 显存：LongLoRA 和标准 LoRA 显存相当（46.4 vs 46.5 GB），远低于全量微调（68.8 GB）。这是因为 Flash Attention 2 的优化让显存节省主要来自 LoRA 的参数减少，而非注意力稀疏化。
2. 速度：LongLoRA 比标准 LoRA 快约 1.5 倍，在更长的上下文（65536 token）下加速效果更明显，达到 1.8 倍。全量微调在 65536 token 下直接 OOM（显存溢出），LongLoRA 可以运行。

实验 4：检索评估（Passkey Retrieval）

原文关键句

"The passkey retrieval task asks the model to retrieve a hidden passkey from a long document. LongLoRA presents no retrieval accuracy degradation until 33k or 34k tokens, which exceeds the training context length."

翻译

passkey 检索任务要求模型从长文档中检索一个隐藏的密码。LongLoRA 在 33k 或 34k token 之前没有检索精度下降，这超过了其训练上下文长度。

新手讲解

这个实验很有趣：在一篇很长的文档中随机藏一个"密码"（比如一串数字），测试模型能否找到它。这测试的是模型对长文档的真实理解能力，而非只是"背过了类似的文章"。

LongLoRA 在训练上下文（32768 token）之外还能保持检索精度，说明模型确实学会了长程信息检索的能力，而不是死记硬背。

总结与贡献

论文的三个核心贡献

1. S²-Attn（移位稀疏注意力）：训练时用分组局部注意力 + 移位近似全局注意力，大幅降低计算量（训练速度提升 1.8 倍），且推理时完全兼容标准全注意力架构

2. LoRA+（改进 LoRA）：在 LoRA 的低秩矩阵基础上，解冻 Embedding 层和 Normalization 层，用极小的参数代价（< 2.004%）大幅提升长上下文任务性能，使效果接近全量微调

3. 工程可行性的证明：首次在单机 8 张 A100 上实现 Llama2 7B 至 100k 上下文的微调，让长上下文模型训练从"只有顶级机构能做"变为"中等规模实验室可以尝试"

方法局限性

• S²-Attn 的训练-推理不一致性（训练稀疏、推理全局）在超长序列下是否会带来新的问题，论文未充分讨论
• 100k 上下文的困惑度（2.52）略高于较短上下文的结果，说明极长上下文下仍有性能下降
• 相关工作、附录等章节讨论了 Flash Attention、位置编码（RoPE、ALiBi 等）等背景技术，以及更多模型规模的消融实验，感兴趣可自行阅读

核心概念速查

笔记完成时间：2026-05-27
覆盖章节：Abstract、Introduction（核心段落）、Methods（3.1~3.4，全部段落）、关键实验（效率、困惑度、检索评估）
总字数：约 6500 字