国内领先大模型厂商智谱近日发布了其产品智谱清言的Intel酷睿Ultra专享版。该版本无需联网,可以在PC本地离线运行智谱的端侧模型,此举有望保护用户的隐私安全。
智谱清言是一款集移动端和PC端AI助手功能于一体的平台,具备丰富的附加功能。然而,在以往的操作中,它必须依赖云端大模型才能正常运行。
为了满足不同AI负载的需求,Intel酷睿 Ultra系列处理器通过CPU、NPU和iGPU三者的合作,提供了适配不同场景的算力引擎。其中,CPU适用于对延迟要求较高的AI应用;NPU适用于持续性、低负载的AI应用;iGPU适用于高吞吐量的AI运算。
在与Intel进行深度合作的过程中,智谱在本地模型选择上注重平衡参数和准确性,并采用合理的量化技术来确保模型文件尺寸合理,并选择了优秀的工具链来实现高效的本地模型运行。这次发布的智谱清言酷睿Ultra专享版会自动检测PC配置,并下载适当的端侧模型以提供知识问答、文档撰写、创意生成等服务。
举例来说,用户可以将若干篇存放在PC中的文档进行自然语言查询,输出内容包含来自这些文档的专业信息,并且更加自然、有逻辑。此外,该版本还能完成长文档的摘要等工作,提高生产效率。但需要注意的是,该版本对内存容量有一定要求,最低不应低于24GB。
评论