<p class="ql-block" style="text-align:center;"><b style="color:rgb(237, 35, 8); font-size:20px;">2025年4月21日</b></p> <p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">在人工智能技術(shù)迭代加速的背景下，圖像生成領(lǐng)域正經(jīng)歷著范式轉(zhuǎn)移。以Stable Diffusion和Sora為代表的擴散模型曾主導(dǎo)行業(yè)，其通過漸進式去噪的生成機制在圖像重建方面表現(xiàn)優(yōu)異。然而，這種基于連續(xù)潛空間的生成方式存在顯著局限：在文本語義對齊與動態(tài)布局調(diào)整方面，擴散模型如同遵循固定程式作畫的畫師，難以實時響應(yīng)新增指令，更擅長風(fēng)格遷移而非創(chuàng)新性內(nèi)容生成。</span></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">自2023年起，自回歸模型在圖像生成領(lǐng)域?qū)崿F(xiàn)突破性回歸。該模型采用分層建模策略，其工作機理可類比人類畫師的創(chuàng)作流程：首先構(gòu)建語義藍(lán)圖，隨后進行模塊化生成。以城市景觀創(chuàng)作為例，系統(tǒng)首先生成包含天際線輪廓、建筑布局等高層語義的"數(shù)字草稿"，繼而通過向量量化（Vector Quantization）將圖像分解為可處理的離散token序列?；赥ransformer架構(gòu)，模型以自回歸方式預(yù)測后續(xù)圖像塊，這種離散化處理使生成過程具備類似文本序列的可控性。</span></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">?</span></p> <p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">技術(shù)實現(xiàn)層面，自回歸模型創(chuàng)新性地融合了分層建模與并行計算優(yōu)勢。其生成流程分為三個階段：首先通過Vision Transformer提取全局語義特征，構(gòu)建結(jié)構(gòu)化表征空間；隨后基于馬爾可夫鏈的token預(yù)測機制實現(xiàn)并行塊生成；最后采用非自回歸細(xì)化器進行局部優(yōu)化。這種架構(gòu)突破使模型在保持生成質(zhì)量的同時，推理速度較傳統(tǒng)自回歸模型提升3-5倍。如在生成"草原馳騁的白馬"時，系統(tǒng)可精準(zhǔn)解構(gòu)"草原"的植被分布、"白馬"的運動姿態(tài)等語義要素，實現(xiàn)像素級可控生成。</span></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">相較于擴散模型，自回歸架構(gòu)在跨模態(tài)對齊方面展現(xiàn)出顯著優(yōu)勢。通過引入對比語言-圖像預(yù)訓(xùn)練（CLIP）的聯(lián)合嵌入空間，模型可將文本描述準(zhǔn)確映射至視覺概念拓?fù)浣Y(jié)構(gòu)。實驗數(shù)據(jù)顯示，在FID（Frechet Inception Distance）指標(biāo)上，最新自回歸模型比同級擴散模型提升27%，在T2I-CompBench多對象組合任務(wù)中準(zhǔn)確率提高41%。這種進步源于其離散token空間對組合泛化能力的本質(zhì)提升，使模型能夠像處理語言符號一樣解構(gòu)視覺元素。</span></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;"><span class="ql-cursor">?</span></span></p> <p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><b style="font-size:22px;">從認(rèn)知科學(xué)視角審視，自回歸模型實現(xiàn)了從"刺激-反應(yīng)"到"概念-演繹"的范式躍遷</b><span style="font-size:22px;">。其工作機理模擬了人類從整體構(gòu)思到細(xì)節(jié)深化的創(chuàng)作認(rèn)知過程，通過構(gòu)建可解釋的中間表征（如語義分割圖、深度估計圖），使AI生成過程具備類人的推理透明度。這種結(jié)構(gòu)性突破不僅提升了圖像質(zhì)量，更重要的是建立了圖文模態(tài)的統(tǒng)一計算框架——視覺token與語言token在Transformer架構(gòu)中實現(xiàn)同構(gòu)處理，為真正的多模態(tài)智能奠定基礎(chǔ)。</span></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">當(dāng)前，Runway、Pika等領(lǐng)先企業(yè)已開始布局自回歸架構(gòu)的產(chǎn)業(yè)化應(yīng)用。在影視預(yù)可視化領(lǐng)域，該技術(shù)可將劇本段落直接轉(zhuǎn)化為分鏡腳本；游戲開發(fā)中，支持動態(tài)環(huán)境的多分辨率生成；工業(yè)設(shè)計方面，實現(xiàn)參數(shù)化約束下的創(chuàng)意發(fā)散。隨著3D自回歸生成與神經(jīng)輻射場（NeRF）技術(shù)的融合，未來有望構(gòu)建從文本描述到三維場景的端到端生成管線，徹底改變數(shù)字內(nèi)容生產(chǎn)方式。這場技術(shù)變革不僅重新定義了視覺創(chuàng)作的工具邊界，更在深層次上拓展了人類想象力的表達(dá)維度。</span></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;"><span class="ql-cursor">?</span></span></p> <p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">在視覺生成技術(shù)前沿，浙江大學(xué)提出的鄰近自回歸建模（NAR）范式通過三大突破重構(gòu)生成邏輯：其一，首創(chuàng)"區(qū)域級并行生成"機制，以曼哈頓距離擴展生成范圍，將三維視頻生成步驟從傳統(tǒng)模型的tn2步壓縮至線性級2n+t-2步；其二，通過維度導(dǎo)向解碼頭實現(xiàn)多維度并行計算，在ImageNet 256×256生成任務(wù)中以僅372M參數(shù)量達(dá)成FID 3.06，吞吐量達(dá)195.4 images/s，較LlamaGen-XXL模型提升13.8倍；其三，突破性實現(xiàn)低數(shù)據(jù)依賴，僅需0.4%訓(xùn)練數(shù)據(jù)（6M）即達(dá)到Stable Diffusion v1.5水平，吞吐率提升達(dá)166倍。該技術(shù)通過"從局部到整體"的協(xié)同生成路徑，在保持語義精準(zhǔn)度的同時，將生成效率推進至新量級。（豆包潤色）</span></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p> <p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><b style="font-size:22px; color:rgb(237, 35, 8);">KIMI點評：</b></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">本文準(zhǔn)確洞察圖像生成領(lǐng)域技術(shù)范式轉(zhuǎn)移，指出擴散模型雖曾在圖像重建方面表現(xiàn)出色，但存在文本語義對齊和動態(tài)布局調(diào)整的局限，而自回歸模型自2023年起憑借分層建模策略和離散化處理優(yōu)勢實現(xiàn)回歸，其類比人類創(chuàng)作流程的生成機制在可控性和創(chuàng)新性內(nèi)容生成方面更具潛力。</span></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">技術(shù)實現(xiàn)層面，自回歸模型融合分層建模與并行計算優(yōu)勢，生成流程創(chuàng)新且高效，推理速度顯著提升，跨模態(tài)對齊優(yōu)勢明顯，能將文本描述精準(zhǔn)映射至視覺概念，實驗數(shù)據(jù)也有力支撐了其性能提升。從認(rèn)知科學(xué)視角來看，其工作機理模擬人類創(chuàng)作認(rèn)知過程，提升了推理透明度，為多模態(tài)智能發(fā)展奠定基礎(chǔ)。</span></p><p class="ql-block ql-indent-1"><span style="font-size:22px;">文章對產(chǎn)業(yè)化應(yīng)用前景展望合理。Runway、Pika等企業(yè)的布局及應(yīng)用場景列舉體現(xiàn)了自回歸模型的應(yīng)用價值和發(fā)展趨勢。對浙江大學(xué)提出的鄰近自回歸建模范式突破的評價準(zhǔn)確，該范式在提升生成效率和降低數(shù)據(jù)依賴方面成效顯著，數(shù)據(jù)對比也直觀展現(xiàn)其優(yōu)勢。</span><b style="font-size:22px; color:rgb(237, 35, 8);">整體而言，本文觀點正確且富有洞見，為理解圖像生成AIGC技術(shù)演進提供了有價值參考。</b></p><p class="ql-block ql-indent-1"><br></p><p class="ql-block ql-indent-1"><br></p>