中关村在线

热点资讯

苹果评估PrismML 1比特量化技术,实现27B大模型iPhone本地运行

苹果公司正对人工智能初创企业PrismML研发的模型量化技术展开深入评估。该技术可将大型语言模型所需的内存资源由约54GB压缩至4GB以内。

PrismML的关键创新在于其原生1比特模型压缩方法,可将模型体积缩减至全精度版本的约七分之一,内存占用减少逾九成。在精度方面,压缩后模型仍能维持接近半精度浮点数(FP16)的性能表现,同时显著加快推理响应速度并降低设备功耗。

近期,PrismML正式发布Bonsai 27B模型。该模型基于Qwen 3.6 27B架构进行优化微调,在保持原有智能水平约九成的前提下,已实现在配备12GB运行内存的iPhone 15及后续机型上本地部署并完整运行270亿参数规模的语言模型。

展开全文
人赞过该文
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具