Chat With RTX 为 NVIDIA RTX AI PC 信息定制聊天机器人

这个技术展示Demo让任何拥有RTX GPU的人都能享受强大的个人定制化的GPT聊天机器人。

在基于NVIDIAGPU 的云端服务器支持下，全球每天有数百万人使用聊天机器人。现在这些开创性的工具将出现在搭载NVIDIARTX的WindowsPC 上，以实现本地、快速、信息定制的生成式AI。

Chatwith RTX技术演示版，现已开放免费下载，用户可在搭载NVIDIAGeForce RTX 30 系列或更高版本的GPU（至少8GB显存）进行本地部署，打造个人专属聊天机器人。

问我一切

Chatwith RTX 借助检索增强生成（RAG）、NVIDIA TensorRT-LLM软件及NVIDIARTX 加速技术，将生成式AI功能引入由GeForce赋能的本地WindowsPC。用户可快速轻松地将桌面端上的资料当成数据集，连接到Mistral或Llama 2这一类开源大型语言模型，以便快速查询与上下文有关的内容。

用户只要输入查询内容即可，无需搜寻笔记或储存的内容。例如用户可以问：「我的合作伙伴推荐拉斯维加斯的哪家餐厅？」Chatwith RTX 工具就会扫描用户指向的桌面端资料，并且按照上下文提供答案。

Chatwith RTX 工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹，Chatwith RTX 工具就会在几秒钟内将它们载入到资料库中。

用户还能加入YouTube视频和播放列表里的信息。在Chatwith RTX里加入视频网址，用户便能将这些知识与聊天机器人进行整合，进行上下文查询。例如根据最喜欢的旅游KOL所发布的视频内容来询问推荐的旅游内容，或是按照顶尖教育资源获取快速教学和操作方法。

Chatwith RTX 可以将YouTube影片内容的知识加入查询结果。

Chatwith RTX 可以在WindowsRTX PC 和工作站上以本地部署的方式运行，再加上用户的数据还是保留在本地设备装置上，因此能够快速提供查询结果。与依赖云端环境的LLM服务不同，Chatwith RTX 让用户能够在PC桌面端处理敏感资料，无需分享给第三方或是连接到网络。

除了需要配备GeForceRTX 30 系列或更高版本的GPU（至少8GB显存），使用Chatwith RTX 还需要搭配操作系统Windows10 或11和最新的NVIDIAGPU 驱动。

编注：目前Chatwith RTX中存在一个问题，用户选择不同的安装目录时，会造成安装失败。我们将在日后的版本中修复这个问题。目前用户应使用默认的安装目录（「C:Users<username>AppDataLocalNVIDIAChatWithRTX」）。

使用RTX开发以LLM为基础的应用

Chatwith RTX 展现出利用RTXGPU 加速LLM的潜力。这款应用使用GitHub上的TensorRT-LLMRAG 开发者参考项目构建而成。开发者可以使用该参考项目，为RTX开发和部署私人以RAG为基础的应用，并且由TensorRT-LLM进行加速。深入了解如何建立以LLM为基础的应用。

深入了解 Chatwith RTX：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/