網上營業廳
掌上營業廳
隨著人工智能業界大模型從稠密架構向以DeepSeek為代表的多專家混合模型（MoE）架構演進，基于高端智算能力的云上推理成為當前技術演進的趨勢和必然需求，高效率推理性能成為智算資源提供領先者的核心競爭力。
近期，中國電信廣東公司聯合電信研究院、華為公司，基于中國電信粵港澳大灣區（韶關）算力集群已上線的全球首個商用昇騰超節點智算集群，采用電信研究院自研“翼芯”智算測試與適配優化平臺，針對多種推理場景開展了大模型性能優化及測試。通過對主流模型與超節點系統迭代適配調優，不同場景下的推理性能均實現了大幅提升；其中DeepSeek 671B滿血版模型達到單卡推理吞吐性能2122 Tokens/s，刷新了業界紀錄。
圖1：廣東電信超節點液冷艙
昇騰超節點系統創新應用全總線架構，采用高速互連技術將384張910C智算卡緊密耦合形成大型算力單元。該架構在大幅降低模型并行通信時延的同時，還需要解決好資源調度與并行策略設置復雜性變高的問題；需要針對不同業務場景的資源和并發策略進行靈活設置，才能最大發揮算力單元整體性能，將算力單元與大模型的親和度提升至最佳。
圖2：超節點物理架構
本次中國電信和華為公司共同合作，完成翼芯測試平臺與昇騰384卡超節點對接優化，針對13項基準性能、6類典型場景推理性能，采用5類典型資源配置開展自動化測試；同時嘗試采用了算子融合替換、PD分離調度、KV cache優化、集合通信優化、并行策略優化等多維度的調優策略，不斷將吞吐性提升到最大。經充分優化后，DeepSeek 671B模型在多種場景下的單卡吞吐性能較優化前有2.5~4.3倍提升；在保證TTFT為1.28s、TPOT為50ms的服務質量指標下，單卡吞吐達到了2122 Tokens/s，較業界前期測試最佳性能提升9.2%。
圖3：超節點性能優化情況
本次超節點優化和性能指標刷新，成功體現了中國電信對智算系統整體優化核心技術的深刻理解與實踐創新能力，可以根據客戶實際場景性能的需要，靈活配置智算資源池資源，更高效地服務于復雜推理、多智能體協同等新業務場景。下一階段中國電信將開展更多場景的超節點形態優化研究和驗證測試；在此基礎上，進一步匯聚產業生態、共建行業生態、共享技術生態、聚攏開發者生態，持續推動國產智算基礎設施建設和技術創新，全面助力人工智能產業高質量發展。
