人工智能浪潮席卷全球，正以前所未有的速度、廣度和深度改 變生產生活方式。世界主要國家紛紛將推進人工智能技術創新與應 用作為國家戰略的重要方向，我國高度重視人工智能在培育新質生 產力、塑造新動能方面的重要作用。當前，人工智能正處于邁向通用 智能的初始階段，并成為推動經濟社會持續發展的關鍵動力。

以Transformer架構為基礎的大模型不斷取得新突破，在大數據、 大算力加持下，逐漸實現從單任務智能到可擴展、多任務智能的跨 越。這一關鍵突破，標志著人工智能技術發展走向新范式。以大模型為代表的人工智能技術展現出了類人智能的“涌現”能力，呈現規模可擴展、多任務適應及能力可塑三大特征。

一是規模可擴展。 模型的規模可擴展性不僅體現在參數的擴大，更依賴高質量數據集 的供給以及大規模算力集群能力的增強。當前在模型參數保持不變 的情況下，提高數據質量、擴大數據集規模或提升算力規模水平，都能夠顯著增強模型的復雜性和處理能力。

二是多任務適應。大模型支持多任務多模態能力持續增強，可執行任務已經從文本對話拓 展到多模態理解、多模態生成等場景。

三是能力可塑。通用大模型 在訓練階段通過結合增量預訓練、有監督微調、知識圖譜等方法， 實現將專業數據和知識注入模型中，提升大模型在專業領域的應用 能力；在推理階段，通過引入檢索增強生成、提示詞工程和智能體 等技術，將更豐富的上下文信息和專業知識引入模型推理過程，解 決更復雜的推理任務，優化模型表現。

具體從大模型算法演進態勢看，深挖現有體系架構潛力，以實 現理解推理能力和訓練效率倍增仍是當前發展主線。模型研發主體 紛紛圍繞算法理論融合（如 Transformer 架構與其他路線結合）和模 型改造（如擴大上下文窗口、思維鏈復雜推理、優化注意力模塊、 網絡架構稀疏化、多模態特征對齊與統一理解等）展開創新升級， 從而提高模型性能表現。近期 OpenAI o1 模型通過模仿人腦思考的 思維過程，顯著提升數學、物理、編程等復雜任務的性能水平。與 此同時，非 Transformer 模型的底層算法也在不斷創新。例如，基于 圖神經網絡的 GraphCast、GNoME 在氣象和材料領域已取得重大突 破，基于物理約束的 PINN 網絡、基于算子學習的 DeepONet 和基于 傅里葉變換的 FNO 網絡已成為求解偏微分方程（PDEs）的重要手段。