1. 從“黑盒”到“骨架”為什么我們需要拆解Transformer如果你在2024年還在搞AI尤其是大模型那么“Transformer”這個(gè)詞大概已經(jīng)聽(tīng)得耳朵起繭了。網(wǎng)上鋪天蓋地的文章都在說(shuō)它“顛覆了NLP”、“是GPT的基石”、“Attention is all you need”。但說(shuō)實(shí)話對(duì)于很多想真正上手、甚至想自己動(dòng)手優(yōu)化或復(fù)現(xiàn)一個(gè)模型的朋友來(lái)說(shuō)這些描述依然像隔著一層毛玻璃——你知道它很厲害但不知道它具體是怎么“動(dòng)”起來(lái)的。這就好比有人告訴你一輛跑車引擎很牛但你打開引擎蓋看到的只是一堆閃著金屬光澤的復(fù)雜零件不知道哪個(gè)是火花塞哪個(gè)是渦輪它們之間怎么聯(lián)動(dòng)。今天我們就來(lái)當(dāng)一次“機(jī)械師”把這臺(tái)名為Transformer的引擎特別是它在推理時(shí)也就是“跑起來(lái)”的時(shí)候的核心傳動(dòng)結(jié)構(gòu)徹底拆開看看。我們不會(huì)停留在“編碼器-解碼器”這種宏觀架構(gòu)圖而是深入到Attention的計(jì)算過(guò)程、GQA如何省內(nèi)存、RoPE怎么讓模型理解位置、以及KV Cache為何能加速推理這些實(shí)實(shí)在在的、讓模型從靜態(tài)參數(shù)變成動(dòng)態(tài)智能體的“骨架”級(jí)細(xì)節(jié)。理解這些不是為了應(yīng)付面試雖然確實(shí)能應(yīng)付而是為了讓你在遇到模型推理慢、顯存爆炸、或者對(duì)生成結(jié)果的位置敏感度有疑問(wèn)時(shí)能有一個(gè)清晰的排查思路和優(yōu)化方向。畢竟會(huì)用API調(diào)用模型是用戶懂模型怎么跑起來(lái)的才是工程師。2. Attention機(jī)制不僅僅是“注意力”更是信息檢索的數(shù)學(xué)表達(dá)幾乎所有講解Transformer的文章都會(huì)從Attention開始但很多解釋容易陷入一個(gè)誤區(qū)過(guò)度擬人化地描述“模型把注意力集中到了某個(gè)詞上”。這種說(shuō)法有助于直觀理解但不利于我們把握其計(jì)算本質(zhì)。我更愿意把它看作一個(gè)可微的、基于內(nèi)容尋址的信息檢索系統(tǒng)。2.1 QKV查詢、鍵與值的數(shù)據(jù)庫(kù)隱喻Attention公式最核心的部分是Softmax(QK^T / sqrt(d_k)) V。我們拆開看Q (Query 查詢)可以理解為當(dāng)前處理單元比如正在生成的這個(gè)詞發(fā)出的“問(wèn)題”或“需求”。它想知道“根據(jù)我現(xiàn)在的狀態(tài)我應(yīng)該從歷史信息里獲取什么”K (Key 鍵)可以理解為歷史信息比如之前已經(jīng)生成的所有詞的“索引”或“摘要”。它存儲(chǔ)了歷史信息的特征用于匹配查詢。V (Value 值)是歷史信息完整的“內(nèi)容”或“值”。當(dāng)查詢通過(guò)鍵匹配到某個(gè)歷史信息后最終取回的是對(duì)應(yīng)的值。這個(gè)過(guò)程非常像在一個(gè)數(shù)據(jù)庫(kù)里搜索你有一個(gè)查詢語(yǔ)句Q。數(shù)據(jù)庫(kù)里每條記錄都有一個(gè)關(guān)鍵詞K和完整內(nèi)容V。你計(jì)算Q和每個(gè)K的相似度點(diǎn)積并縮放sqrt(d_k)以防止梯度消失得到一組匹配分?jǐn)?shù)。通過(guò)Softmax將分?jǐn)?shù)歸一化為概率分布權(quán)重表示每個(gè)歷史記錄與當(dāng)前查詢的相關(guān)程度。最后用這個(gè)權(quán)重對(duì)所有的V進(jìn)行加權(quán)求和得到最終的檢索結(jié)果。這個(gè)結(jié)果融合了所有歷史信息但相關(guān)度高的信息占主導(dǎo)。為什么是點(diǎn)積點(diǎn)積在幾何上可以衡量?jī)蓚€(gè)向量的方向相似性。方向越接近點(diǎn)積越大意味著Query和某個(gè)Key所代表的信息需求與信息索引越匹配。縮放因子sqrt(d_k)是一個(gè)經(jīng)驗(yàn)性的技巧因?yàn)楫?dāng)向量維度d_k很高時(shí)點(diǎn)積的結(jié)果可能變得非常大將Softmax函數(shù)推入梯度極小的區(qū)域不利于訓(xùn)練。2.2 自注意力與交叉注意力信息源的區(qū)別在Transformer的解碼器中比如GPT這類純解碼器模型有兩種主要的Attention自注意力 (Self-Attention)這是Transformer的核心。它的Q, K, V都來(lái)自同一個(gè)序列。在生成式模型中為了保證因果性會(huì)使用掩碼Mask阻止當(dāng)前位置“看到”未來(lái)的信息。這相當(dāng)于讓每個(gè)詞或token根據(jù)它之前的所有詞來(lái)更新自己的表示。它的核心作用是捕捉序列內(nèi)部的依賴關(guān)系例如理解“它”指代的是前文中的哪個(gè)名詞。交叉注意力 (Cross-Attention)通常出現(xiàn)在編碼器-解碼器架構(gòu)中如原始Transformer用于翻譯時(shí)。此時(shí)Q來(lái)自解碼器當(dāng)前層而K和V來(lái)自編碼器的最終輸出。它的作用是讓解碼器在生成每一個(gè)詞時(shí)都能有選擇地“關(guān)注”編碼器輸入的源序列信息。在純解碼器的大語(yǔ)言模型中交叉注意力不那么常見(jiàn)但理解它有助于明白多模態(tài)模型中如圖文理解信息是如何融合的。一個(gè)實(shí)操中的關(guān)鍵點(diǎn)在自回歸生成如GPT逐詞生成時(shí)每次生成新token都需要為整個(gè)序列從開頭到當(dāng)前新token重新計(jì)算Attention嗎直覺(jué)上需要因?yàn)樾蛄凶冮L(zhǎng)了。但如果真這么做計(jì)算量會(huì)隨著生成長(zhǎng)度平方級(jí)增長(zhǎng)完全不可行。這就引出了我們后面要講的KV Cache它是推理加速的命門。3. GQA與MQA多頭注意力的效率進(jìn)化論原始的Transformer使用多頭注意力MHA。假設(shè)模型有h個(gè)頭每個(gè)頭的維度是d_k那么總維度d_model h * d_k。對(duì)于每一個(gè)頭都會(huì)獨(dú)立計(jì)算一套Q, K, V。這好比有h個(gè)不同的專家各自從不同子空間不同表示角度去檢索信息最后把結(jié)果拼接起來(lái)。MHA的表達(dá)能力很強(qiáng)但存在一個(gè)推理時(shí)的效率問(wèn)題每個(gè)頭都獨(dú)立維護(hù)一套K和V。在自回歸生成時(shí)這些K和V需要被緩存下來(lái)KV Cache以供后續(xù)token使用。h越大需要緩存的張量就越大對(duì)顯存的壓力也越大。為了解決這個(gè)問(wèn)題社區(qū)提出了兩種變體多查詢注意力MQA所有注意力頭共享同一套K和V只有Q是每個(gè)頭獨(dú)立的。這極大地減少了需要緩存的K和V的數(shù)量顯存占用大幅下降推理速度也更快。但代價(jià)是因?yàn)镵, V的多樣性降低了模型容量和表達(dá)能力可能會(huì)受到一定影響。在一些實(shí)驗(yàn)中MQA可能導(dǎo)致模型性能輕微下降。分組查詢注意力GQA這是MHA和MQA之間的一個(gè)優(yōu)雅折中。它將h個(gè)頭分成g個(gè)組組內(nèi)共享一套K和V不同組之間的K, V不同。例如一個(gè)8頭的模型可以分成2組每組4個(gè)頭共享K, V。計(jì)算量/顯存需要緩存的K, V數(shù)量從h套減少到g套是MHA的g/h倍。表達(dá)能力保留了g組不同的K, V比MQAg1有更強(qiáng)的表達(dá)能力。為什么GQA在當(dāng)今大模型中如此流行以Llama 2/3為例它們就采用了GQA。因?yàn)樵诎賰|、千億參數(shù)尺度下MHA的KV Cache顯存開銷已經(jīng)成為推理瓶頸。GQA在幾乎不損失模型精度通過(guò)仔細(xì)選擇分組數(shù)g的前提下顯著降低了推理時(shí)的顯存壓力和帶寬消耗使得在有限資源下部署更大、更智能的模型成為可能。在選擇上如果你的應(yīng)用對(duì)推理延遲和顯存極其敏感且可以接受輕微的性能損失MQA是更激進(jìn)的選擇如果希望在性能和效率間取得最佳平衡GQA是目前的主流實(shí)踐。注意從模型結(jié)構(gòu)角度看GQA/MQA是訓(xùn)練時(shí)就確定好的架構(gòu)。你不能把一個(gè)訓(xùn)練好的MHA模型直接轉(zhuǎn)換成GQA模型這需要重新訓(xùn)練或進(jìn)行特定的模型合并與蒸餾。4. RoPE位置編碼讓Transformer“感受”順序的旋轉(zhuǎn)魔法原始的Transformer使用正弦余弦函數(shù)生成絕對(duì)位置編碼然后加到詞嵌入上。這種方法簡(jiǎn)單但存在一些問(wèn)題比如外推性差訓(xùn)練時(shí)見(jiàn)過(guò)的序列長(zhǎng)度有限推理時(shí)更長(zhǎng)的序列效果可能下降。RoPERotary Position Embedding 旋轉(zhuǎn)位置編碼的提出是一個(gè)非常巧妙的思路。它不再將位置信息作為“附加物”加到詞向量上而是通過(guò)旋轉(zhuǎn)矩陣對(duì)Q和K向量進(jìn)行變換將相對(duì)位置信息直接編碼在Attention計(jì)算的過(guò)程中。4.1 旋轉(zhuǎn)操作的直觀理解想象一下每個(gè)詞對(duì)應(yīng)的Q和K向量中的每一對(duì)維度例如第1維和第2維第3維和第4維以此類推構(gòu)成了一個(gè)二維平面。RoPE的核心思想是根據(jù)詞在序列中的位置m將這個(gè)二維向量旋轉(zhuǎn)m * θ角度θ是一個(gè)預(yù)設(shè)的、與維度相關(guān)的基數(shù)。對(duì)于位置為m的詞其查詢向量Q_m經(jīng)過(guò)旋轉(zhuǎn)。對(duì)于位置為n的詞其鍵向量K_n經(jīng)過(guò)旋轉(zhuǎn)。當(dāng)計(jì)算Q_m和K_n的點(diǎn)積即Attention分?jǐn)?shù)時(shí)這個(gè)點(diǎn)積結(jié)果會(huì)自然地包含它們之間的相對(duì)位置差(m-n)的信息具體體現(xiàn)為一個(gè)只與(m-n)相關(guān)的函數(shù)。這帶來(lái)了幾個(gè)巨大優(yōu)勢(shì)相對(duì)性Attention分?jǐn)?shù)只依賴于相對(duì)位置(m-n)這更符合語(yǔ)言的內(nèi)在規(guī)律我們更關(guān)心詞之間的相對(duì)距離而非絕對(duì)位置。外推性由于旋轉(zhuǎn)操作是連續(xù)的模型在訓(xùn)練時(shí)見(jiàn)過(guò)的位置旋轉(zhuǎn)角度在推理時(shí)即使面對(duì)更長(zhǎng)的序列更大的m旋轉(zhuǎn)角度的計(jì)算方式也是一致的。這賦予了RoPE潛在的長(zhǎng)度外推能力雖然仍需一些技巧來(lái)完全實(shí)現(xiàn)。兼容性RoPE可以無(wú)縫集成到現(xiàn)有的Attention計(jì)算中只需在計(jì)算QK^T前對(duì)Q和K進(jìn)行旋轉(zhuǎn)變換即可不改變模型主體結(jié)構(gòu)。4.2 RoPE在代碼中的實(shí)現(xiàn)在實(shí)際代碼中RoPE通常通過(guò)預(yù)計(jì)算一個(gè)復(fù)數(shù)旋轉(zhuǎn)矩陣來(lái)實(shí)現(xiàn)高效運(yùn)算。以PyTorch風(fēng)格的偽代碼展示其核心思想import torch import torch.nn as nn def apply_rope(x, freqs): x: (batch_size, seq_len, num_heads, head_dim) freqs: (seq_len, head_dim//2) 預(yù)計(jì)算的旋轉(zhuǎn)頻率 # 將x的最后一維head_dim視為復(fù)數(shù)即每?jī)蓚€(gè)連續(xù)維度為一個(gè)復(fù)數(shù) x_complex torch.view_as_complex(x.float().reshape(*x.shape[:-1], -1, 2)) # 預(yù)計(jì)算的freqs也是復(fù)數(shù)形式表示每個(gè)位置的旋轉(zhuǎn)角度 freqs_complex torch.polar(torch.ones_like(freqs), freqs) # 構(gòu)造e^(i*theta) # 進(jìn)行旋轉(zhuǎn)復(fù)數(shù)乘法 x_rotated x_complex * freqs_complex # 轉(zhuǎn)換回實(shí)數(shù)表示 x_out torch.view_as_real(x_rotated).flatten(-2) return x_out.type_as(x) # 在Attention中對(duì)Q和K分別應(yīng)用apply_rope q_rotated apply_rope(q, freqs_cis) k_rotated apply_rope(k, freqs_cis) # 然后用q_rotated和k_rotated計(jì)算點(diǎn)積 attn_scores torch.matmul(q_rotated, k_rotated.transpose(-2, -1))一個(gè)重要的實(shí)操細(xì)節(jié)在推理時(shí)由于是自回歸生成每次只新增一個(gè)token的位置。因此freqs只需要計(jì)算當(dāng)前新token的位置對(duì)應(yīng)的旋轉(zhuǎn)角度然后應(yīng)用到新token的Q和K上即可。對(duì)于歷史token的K它們的旋轉(zhuǎn)角度在之前的前向傳播中已經(jīng)計(jì)算并緩存在KV Cache里無(wú)需重復(fù)計(jì)算。這保證了推理的高效性。5. KV Cache推理加速的“時(shí)光機(jī)”這是Transformer推理尤其是自回歸生成文本中最關(guān)鍵的性能優(yōu)化技術(shù)沒(méi)有之一。不理解KV Cache就很難真正優(yōu)化模型的服務(wù)部署。5.1 問(wèn)題重復(fù)計(jì)算的災(zāi)難考慮一個(gè)最樸素的生成過(guò)程模型要生成一句完整的話每次預(yù)測(cè)下一個(gè)token。輸入“你好”模型計(jì)算輸出“世界”。輸入“你好 世界”模型計(jì)算輸出“”。輸入“你好 世界 ”模型計(jì)算輸出“結(jié)束”。在第二步當(dāng)輸入“你好 世界”時(shí)模型需要為“你”、“好”、“世”、“界”這四個(gè)token都計(jì)算中間結(jié)果包括它們?cè)诟鲗拥腒和V。但是“你”、“好”這兩個(gè)token的中間結(jié)果在第一步輸入“你好”時(shí)就已經(jīng)計(jì)算過(guò)了第二步重復(fù)計(jì)算了它們。第三步又會(huì)重復(fù)計(jì)算前五個(gè)token的中間結(jié)果。這種重復(fù)計(jì)算導(dǎo)致了巨大的計(jì)算浪費(fèi)且計(jì)算量隨生成序列長(zhǎng)度增長(zhǎng)而平方級(jí)增加。5.2 解決方案緩存K和VKV Cache的核心思想非常簡(jiǎn)單在生成第t個(gè)token時(shí)把當(dāng)前所有t個(gè)token在每一層注意力層計(jì)算出的K和V都保存下來(lái)。當(dāng)生成第t1個(gè)token時(shí)只需要計(jì)算這第t1個(gè)token自己的Q以及它對(duì)應(yīng)的新的K_{t1}和V_{t1}。然后將新的K_{t1},V_{t1}拼接到之前緩存的K_{1:t},V_{1:t}后面形成完整的K_{1:t1},V_{1:t1}再與Q_{t1}計(jì)算Attention。這樣一來(lái)計(jì)算量從每次都需要為整個(gè)序列計(jì)算Q, K, V變成了每次只計(jì)算一個(gè)新token的Q, K, V。Attention計(jì)算的核心——QK^T矩陣乘法——雖然仍然涉及整個(gè)序列因?yàn)镵是緩存的全部歷史但K和V的計(jì)算本身不再重復(fù)。這極大地減少了計(jì)算開銷。顯存開銷這是KV Cache的代價(jià)。你需要額外的顯存來(lái)存儲(chǔ)這些緩存的K和V張量。其大小約為2 * 層數(shù) * 批大小 * 序列長(zhǎng)度 * 隱藏維度。這也是為什么大模型推理如此“吃”顯存以及為什么GQA/MQA通過(guò)減少K, V的頭數(shù)來(lái)優(yōu)化顯存如此重要。5.3 KV Cache的實(shí)現(xiàn)與管理在實(shí)際的推理框架中如vLLM, Hugging Face的transformers庫(kù)KV Cache的管理是一個(gè)復(fù)雜的系統(tǒng)工程。存儲(chǔ)結(jié)構(gòu)通常為每一層維護(hù)兩個(gè)張量cache_k和cache_v形狀為[batch_size, num_heads, seq_len, head_dim]。在生成過(guò)程中seq_len維度會(huì)不斷增長(zhǎng)。增量更新每次前向傳播只計(jì)算新token的k_new和v_new然后將它們拼接到對(duì)應(yīng)層的cache_k和cache_v的seq_len維度末尾。內(nèi)存優(yōu)化PagedAttentionvLLM這是目前最前沿的優(yōu)化之一。它將連續(xù)的KV Cache空間劃分成固定大小的“塊”類似操作系統(tǒng)內(nèi)存分頁(yè)不同序列的KV Cache可以非連續(xù)地存儲(chǔ)在這些塊中。這極大地提高了顯存利用率特別是在處理大量并發(fā)、長(zhǎng)度變化的請(qǐng)求時(shí)避免了因內(nèi)存碎片造成的浪費(fèi)。量化將cache_k和cache_v的數(shù)據(jù)類型從FP16/BF16轉(zhuǎn)換為INT8甚至INT4可以顯著減少顯存占用但可能會(huì)引入精度損失需要小心校準(zhǔn)。長(zhǎng)度限制與滑動(dòng)窗口由于顯存有限KV Cache不能無(wú)限增長(zhǎng)。通常模型會(huì)有一個(gè)最大上下文長(zhǎng)度限制如4096, 8192, 128K等。當(dāng)序列長(zhǎng)度超過(guò)這個(gè)限制時(shí)需要采取策略。簡(jiǎn)單的做法是丟棄最早的tokenFIFO更復(fù)雜的策略可能使用滑動(dòng)窗口注意力只保留最近N個(gè)token的KV Cache。一個(gè)踩坑點(diǎn)在實(shí)現(xiàn)KV Cache時(shí)要特別注意注意力掩碼Attention Mask的對(duì)應(yīng)更新。每次拼接新的KV后注意力掩碼也需要相應(yīng)擴(kuò)展以確保因果性不能看到未來(lái)token的正確性。如果掩碼處理不當(dāng)會(huì)導(dǎo)致模型生成混亂或無(wú)意義的文本。6. 聯(lián)動(dòng)Attention、GQA、RoPE與KV Cache如何協(xié)同工作現(xiàn)在讓我們把這些部件組裝起來(lái)看一個(gè)現(xiàn)代大語(yǔ)言模型如Llama 3在推理時(shí)是如何處理一個(gè)生成請(qǐng)求的。假設(shè)我們有一個(gè)使用GQA和RoPE的模型正在以自回歸方式生成文本。初始化用戶輸入提示詞“中國(guó)的首都是”。模型將提示詞轉(zhuǎn)換為token序列并進(jìn)行嵌入。初始化各層的KV Cache為空。首輪前向傳播預(yù)填充階段對(duì)于提示詞中的每一個(gè)token模型逐層計(jì)算。在每一層的注意力層計(jì)算當(dāng)前token的Q, K, V。對(duì)Q和K應(yīng)用RoPE旋轉(zhuǎn)位置編碼根據(jù)token的絕對(duì)位置。由于是GQAK和V可能被多個(gè)頭共享。計(jì)算Attention分?jǐn)?shù)使用因果掩碼確?？床坏胶竺娴膖oken得到輸出。將計(jì)算出的K和V已經(jīng)是旋轉(zhuǎn)后的存入該層的KV Cache。經(jīng)過(guò)所有層后得到最后一個(gè)token的隱藏狀態(tài)投影到詞表得到下一個(gè)token的概率分布采樣出第一個(gè)生成token比如“北京”。自回歸生成階段將上一步生成的“北京”作為新token輸入。模型現(xiàn)在只需要處理這一個(gè)新token。在每一層的注意力層計(jì)算新token的Q, K, V。對(duì)新token的Q和K應(yīng)用RoPE位置是提示詞長(zhǎng)度1。從該層的KV Cache中讀取所有歷史token即提示詞所有token的K_cache和V_cache。將新token的K_new和V_new拼接到K_cache和V_cache的末尾形成完整的K_all和V_all。用新token的Q與完整的K_all計(jì)算Attention分?jǐn)?shù)同樣需要更新掩碼再與V_all加權(quán)求和。將K_new和V_new更新到該層的KV Cache中。最終輸出下一個(gè)token的概率采樣如此循環(huán)往復(fù)。在整個(gè)過(guò)程中GQA減少了需要緩存的K和V的數(shù)據(jù)量節(jié)省了顯存和帶寬。RoPE確保了在每次計(jì)算Attention時(shí)模型都能準(zhǔn)確地感知到每個(gè)token的相對(duì)位置信息無(wú)論這個(gè)token是來(lái)自歷史緩存還是新計(jì)算的。KV Cache避免了歷史tokenK, V的重復(fù)計(jì)算是推理速度的保障。7. 進(jìn)階思考與常見(jiàn)陷阱理解了核心骨架我們才能更好地診斷和優(yōu)化。下面是一些在實(shí)際工作中可能遇到的問(wèn)題和思考方向。7.1 長(zhǎng)序列推理的挑戰(zhàn)與優(yōu)化當(dāng)生成序列非常長(zhǎng)時(shí)即使有KV Cache也會(huì)面臨兩個(gè)問(wèn)題顯存瓶頸KV Cache線性增長(zhǎng)最終會(huì)耗盡GPU顯存。計(jì)算瓶頸Attention計(jì)算QK^T雖然K不重復(fù)算但矩陣乘法的規(guī)模隨著序列長(zhǎng)度線性增長(zhǎng)Q是[1, head_dim]K^T是[head_dim, seq_len]序列很長(zhǎng)時(shí)這個(gè)計(jì)算也會(huì)變慢。優(yōu)化思路窗口注意力只緩存最近N個(gè)token的KV認(rèn)為更遠(yuǎn)的token對(duì)當(dāng)前生成影響不大。這能固定顯存和計(jì)算開銷但會(huì)損失長(zhǎng)程依賴。流式處理與分塊對(duì)于極長(zhǎng)文本可能需要將輸入分塊并設(shè)計(jì)復(fù)雜的狀態(tài)傳遞機(jī)制。使用FlashAttention等優(yōu)化內(nèi)核這些內(nèi)核通過(guò)算子融合、減少GPU內(nèi)存讀寫次數(shù)等方式高效計(jì)算Attention尤其對(duì)長(zhǎng)序列有益。它們通常對(duì)RoPE和KV Cache有良好的支持。7.2 RoPE的外推性與長(zhǎng)度擴(kuò)展雖然RoPE具有理論上的外推性但很多模型在訓(xùn)練時(shí)只接觸了固定長(zhǎng)度如2048的數(shù)據(jù)。直接推理更長(zhǎng)的序列如4096時(shí)性能可能會(huì)下降因?yàn)槟Ｐ蜎](méi)有學(xué)習(xí)過(guò)那么大的旋轉(zhuǎn)角度。常見(jiàn)的長(zhǎng)度擴(kuò)展方法位置插值PI將超出訓(xùn)練長(zhǎng)度的位置索引進(jìn)行縮放如除以一個(gè)系數(shù)使其落入訓(xùn)練時(shí)見(jiàn)過(guò)的位置范圍。這是目前最簡(jiǎn)單有效的方法之一。NTK-aware縮放更精細(xì)地調(diào)整RoPE的旋轉(zhuǎn)基數(shù)θ而不是簡(jiǎn)單縮放位置索引以更好地保持高頻和低頻信息的特性。YaRN一種結(jié)合了位置插值和注意力溫度調(diào)整的方法效果通常更好。這些方法通常只需要在推理時(shí)對(duì)RoPE的計(jì)算進(jìn)行微調(diào)或者對(duì)模型進(jìn)行極短時(shí)間的微調(diào)P-tuning而不需要全參數(shù)重訓(xùn)練。7.3 KV Cache的精度與一致性在追求極致推理速度時(shí)我們可能會(huì)對(duì)KV Cache進(jìn)行量化如FP16 - INT8。這里有一個(gè)關(guān)鍵陷阱量化誤差的累積。由于KV Cache會(huì)被反復(fù)使用并用于后續(xù)所有token的計(jì)算其量化誤差會(huì)在自回歸生成過(guò)程中不斷累積和傳播可能導(dǎo)致生成質(zhì)量逐漸下降甚至出現(xiàn)災(zāi)難性遺忘或胡言亂語(yǔ)。對(duì)策使用更精細(xì)的量化策略如分組量化、動(dòng)態(tài)量化而不是簡(jiǎn)單的每張量量化。定期重計(jì)算Recomputing在生成長(zhǎng)文本時(shí)每隔一定步數(shù)清空部分舊的KV Cache并從最近的某個(gè)檢查點(diǎn)重新進(jìn)行前向傳播來(lái)計(jì)算新的、精確的KV Cache。這是一種用計(jì)算換精度的策略。在評(píng)估時(shí)務(wù)必進(jìn)行長(zhǎng)文本生成測(cè)試觀察生成質(zhì)量是否隨時(shí)間/長(zhǎng)度顯著退化。拆解Transformer的核心結(jié)構(gòu)尤其是推理時(shí)的動(dòng)態(tài)過(guò)程就像是在看一場(chǎng)精密的交響樂(lè)演出。Attention是指揮定義了信息融合的規(guī)則GQA是樂(lè)器的編排優(yōu)化了資源的配置RoPE是樂(lè)譜上的節(jié)拍器賦予了序列以時(shí)間和順序KV Cache則是樂(lè)手的肌肉記憶讓演奏無(wú)需重復(fù)練習(xí)已熟稔的段落。理解每一個(gè)部件的原理和它們之間的聯(lián)動(dòng)不僅能讓你在面試中對(duì)答如流更能讓你在模型部署、性能調(diào)優(yōu)和問(wèn)題排查時(shí)擁有清晰的思路和扎實(shí)的底氣。下次當(dāng)你面對(duì)一個(gè)推理緩慢的模型時(shí)你不會(huì)再感到茫然而是會(huì)自然地想到是KV Cache太大了要不要試試GQARoPE的外推設(shè)置對(duì)了嗎這種從骨架層面理解系統(tǒng)的能力正是工程師與調(diào)參俠的區(qū)別所在。