今天,中电信人工智能科技有限公司正式发布Xing4.0-29B-A4B——具备中高阶代码生成与智能体执行能力的全国产百亿参数大模型。
据了解,Xing4.0-29B-A4B是基于全国产昇腾算力生态训练、面向复杂工程任务深度优化的百亿参数大模型。总参数29B,激活参数仅4B,原生支持256K超长上下文,可扩展至1M。采用MLA+ MTP + mHC前沿架构,可高效处理长程Agent任务,支持多步骤规划、工具调用,复杂推理链路执行,保障长会话上下文下任务逻辑连贯、执行稳定。在通用能力、Agent能力、Coding能力方面,效果比肩行业头部,可广泛应用于代码开发、数据分析、办公自动化及生活服务等场景。
据业界权威专家分析,Xing4.0-29B-A4B模型有如下技术亮点:
从“写片段”到“干工程”
当大模型从“聊天工具”走向“工程助手”,百亿参数规模的模型往往卡在两个坎上:一是代码生成停留在“片段级”,难以应对仓库级复杂工程任务;二是Agent执行缺乏长程稳定性,多步骤规划到一半就“断片”,工具调用频频出错。开发者不得不反复人工纠偏,效率不升反降。Xing4.0-29B-A4B围绕智能Agent执行与代码生成两大核心能力完成深度专项优化,面向复杂工程任务场景实现能力跃升。
主流开源生态深度兼容
对标头部模型开源生态工具链,Xing4.0-29B-A4B支持MindSpore、LLaMA-Factory等微调框架,适配SGLang、vLLM、KTransformers等主流推理框架。无论是模型微调还是生产环境部署,开发者均可沿用熟悉的开源工具链,无需额外学习成本,实现便捷高效的全链路落地。
Agent框架无缝接入
模型针对OpenCode、ClaudeCode、OpenClaw、Hermes等主流Agent与代码框架做定向适配调优,深度对齐各框架格式规范,这意味着,开发者无需繁琐的集成改造,即可将Xing4.0-29B-A4B无缝接入现有开发工作流,大幅降低框架适配成本。
轻量化部署:一张显卡就够了
15GB,一张卡就够了。传统FP16精度下,29B参数模型单卡显存占用约60GB,必须依赖多卡集群或云端部署。Xing4.0-29B-A4B经4-bit量化后,单卡显存占用压缩至约15GB,直降75%,RTX3090 / 4090(24GB)更能从容支撑长上下文场景,推理吞吐达30tokens/s,交互体验流畅自然。
从数据到强化学习的四重攻坚
中高阶代码生成与智能体,是对长程上下文理解、复杂推理规划、工具调用协同的综合考验。电信团队从数据体系、模型架构、训练范式到强化学习进行了系统性攻坚,期间华为小巧灵等团队参与训练全流程的系统工程落地保障。
※数据基座: 围绕预训练与后训练全生命周期,建设涵盖数十万亿词元的数据体系。
预训练阶段完成PB级多源异构数据清洗,引入海量智能体行为轨迹与结构化知识图谱。
※架构设计: 专为长程Agent任务设计,MLA多头潜变量注意力压缩KV缓存,MTP多Token预测增强生成连贯性,mHC流形约束超连接解决训练数值不稳定,Muon+ QK-Clip 优化器保障训练稳定。训练采用分阶段递进策略,从4K逐步扩展至32K/128K/256K序列长度,系统性构建长程能力。
※原生全国产化训练与微调:基于昇腾 910C芯片实现“国芯训国模”。通过DVM图算融合、细粒度重计算、AscendC 定制融合算子三级递进优化,同时兼容GPU训推生态。TeleChat4-29B量化模型推理服务已经在中国电信高阶网关完成验证,经1、5、8、10四个并发档位实测,服务运行稳健,请求成功率达100%,输出吞吐量峰值达到513.57tok/s。
※多专家强化学习:依托昇腾生态完成Slime强化学习框架适配,面向Agent、Coding、Reasoning开展多专家强化学习训练,通过MOPD技术实现多专家能力高效融合,进一步提升复杂推理与智能体任务表现。
目前,Xing4.0-29B-A4B模型已上线GitHub、huggingface、魔搭、Gitee、魔乐等开源社区。
开源地址:
GitHub:https://github.com/XingChen-AGI/Xing4.0-29B-A4B
HuggingFace:https://huggingface.co/XingChen-AGI/Xing4.0-29B-A4B
魔搭:https://modelscope.cn/models/XingChen-AGI/Xing4.0-29B-A4B
Gitee:https://gitee.com/xingchen-agi/xing4.0-29b-a4b
魔乐:https://modelers.cn/models/XingChen-AGI/Xing4.0-29B-A4B
评论
更多评论