中关村在线

热点资讯

GitHub Copilot将于10月底支持本地AI模型推理,实现云边协同智能编码

微软于2026年10月8日宣布,GitHub Copilot将于本月底起支持本地AI模型推理能力。开发者可在云端模型与设备端模型之间实现自动切换或手动指定,灵活适配不同开发场景与资源条件。

GitHub Copilot是一款面向程序员的智能编码助手,已深度集成于Visual Studio Code、命令行工具等多种主流开发环境,能够依据当前代码上下文,实时提供代码补全、逻辑解释及结构化重构等建议。

现阶段,Copilot的所有推理任务均由云端模型完成,系统通过统一协调器,依据响应速度、计算成本与生成质量等多维指标动态分配请求路径。此次升级将拓展该协调机制,使其具备跨云端与本地环境的联合调度能力,可在后台无缝协同两类模型完成推理任务。

用户可通过GitHub Copilot命令行工具、独立应用或Visual Studio Code插件,选择两种运行模式:一是启用自动编排,由系统根据任务特性与设备状态智能决策模型部署位置;二是强制启用设备端模型,确保全部处理过程在本地完成,兼顾数据隐私与离线可用性。

在本地模型配置层面,用户可自主指定AI服务提供方、具体模型名称或自定义推理端点。例如,Windows平台开发者可基于Windows ML直接调用MAI Code 1.1 Flash模型;亦可接入符合OpenAI API规范的本地部署服务,并选用其公开提供的任意兼容模型。

作为本次更新的重要组成部分,微软同步发布全新轻量级代码大模型MAI Code 1.1 Flash。该模型采用混合专家架构,总参数量达1370亿,每轮激活参数约68亿,并融合量化压缩与推测解码技术,在响应延迟与内存占用方面实现显著优化。

在Surface Laptop Ultra设备上的实测表明,该模型在高复杂度编程任务中,峰值内存占用、Token处理效率及整体执行速度均有明显提升。解码吞吐量测试显示,在提示长度覆盖2000至256000 Token的宽泛区间内,其平均处理速率稳定维持在每秒40至63个词元之间。

展开全文
人赞过该文 赞
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具