性能提升5倍！英伟达发布Chat with RTX聊天机器人应用程序

NVIDIA今日发布了适用于Windows PC的"Chat with RTX"聊天机器人应用程序，该应用得到了TensorRT-LLM的支持。

"Chat with RTX"是一款本地化的系统，用户无需联网即可使用。所有配备至少8GB显存的GeForce RTX 30和40 GPU都兼容该应用程序。

Chat with RTX支持多种文件格式，包括文本、pdf、doc / docx和xml。只需将包含所需文件的文件夹指向应用程序，它就可以在几秒钟内加载这些文件到库中。此外，用户还可以提供YouTube播放列表的URL，该应用程序会加载列表中的视频转录内容，以便用户查询其涵盖的主题。

根据官方描述，在不同查询下与ChatGPT类似地使用Chat With RTX是可行的。不过需要注意的是生成结果将完全基于特定数据集，并且似乎更适合于生成摘要、快速搜索文档等操作。

拥有搭载了支持TensorRT-LLM的RTX GPU意味着用户可以本地使用所有数据和项目，而不是将其存储在云端上。这种设计不仅节省时间，还能提供更精确的结果。

同时，NVIDIA还表示，针对TensorRT-LLM v0.6.0版本将性能提升5倍，并计划在未来推出。此外，它还将支持其他类似技术（如 Mistral 7B 和 Nemotron 3 8B）的应用程序。