趨境科技與清華共同開源的入選高性能異構推理框架 KTransformers，其論文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入選 “計算機系統領域奧斯卡” SOSP 2025。趨境作為計算機系統領域最具影響力的科技國際頂會之一，SOSP 見證了無數里程碑式技術成果的突推理首次亮相，從虛擬化到分布式文件系統，破異此次 KTransformers 的構計入選，標志著其異構計算技術得到全球頂尖學術與工業界的算瓶認可。
KTransformers 專注于高效利用底層 GPU、模型CPU、成本內存等多樣化算力，大降讓大模型在更低算力、入選更靈活的趨境硬件架構上高效運行。在大模型推理中，科技趨境科技提出了一條不同以往的突推理道路：一套面向 CPU+GPU 異構架構的 MoE 推理系統方案，讓原本只能依賴昂貴多卡 GPU 的破異大模型，能在 CPU 參與的硬件環境中實現接近同等性能的推理體驗。技術層面上，它通過一系列系統級創新，讓 GPU 負責注意力和主干網絡的高并行計算，CPU 則承擔稀疏專家模塊的推理任務，實現了高效的 CPU+GPU 協同執行。
11 月 6 日月之暗面發布 Kimi-K2-Thinking 模型后，KTransformers 已完成對該模型的全面適配，支持用戶在單卡環境下完成推理任務，2 卡環境下完成 LoRA 微調任務，大幅降低部署與定制化門檻。同時，趨境科技也已完成了該模型在昇騰 NPU 上的全面適配，提供了完善的全國產化推理解決方案。
10 月，KTransformers 與主流推理框架 SGLang 的合作，雙方架構合入同一分支，在 Kimi-K2-1TB 的模型推理任務中，用戶僅需簡單安裝 SGLang 與 KTransformers CPU 內核，下載官方模型及量化權重，即可通過一條命令啟動服務；同時僅使用單張消費級 GPU+CPU。此次合作融合了 GPU+CPU 異構推理創新模式與全 GPU 的傳統推理模式，雙方聯合推動大模型推理向更高性能、更低成本的方向演進，同時推動大模型推理架構變得更加完善，將邁向更廣泛的產業落地。
針對模型微調，KTransformers 與 LLaMA-Factory 深度集成，支持用戶使用 LoRA 等輕量級微調方法，在極少量 GPU 資源下完成模型定制。傳統上，LoRA 微調千億模型成本高達數百萬，趨境科技提供的異構微調能力將資源需求降低到單個消費級 GPU（如 RTX 4090）起，這使得高校、中小型實驗室、初創公司甚至個人開發者都有機會參與進來。該微調方案在較小規模的 MoE 模型（DeepSeek-14B）上面也展現了超過傳統方案 1.8 倍的吞吐、顯存占用降低 82%，成為消費級顯卡上微調超大參數 MoE 模型的唯一可行方案。
如今的 KTransformers 已成為一個被開發者、廠商與開源社區廣泛復用的共建式底層框架。全球頭部開源模型方，如 Qwen、Kimi、智譜 AI 等多個主流大模型，都在模型發布首日就推薦 KTransformers 作為推理引擎支持；其工程實踐與兼容性也被多家一體機產品線采納。趨境科技始終是異構路線的核心推動者，已與多個國產 CPU、GPU 硬件平臺合作，共同推進全國產高性價比方案；為數十家行業開發伙伴提供算力底座，逐步實現算力普惠。未來，趨境希望讓 AI 能力不再專屬于少數企業，讓大模型真正為業務所用。
相關文章
精彩導讀
熱門資訊
關注我們
