Tensor RT-LLM,使大语言模型在搭载 RTX 的PC平台上运行速度提高4倍
+++生成式 AI(GenerativeAI)是个人计算史上最重要的趋势之一,推动游戏、创作、视频编辑、日常工作、开发等的发展。GeForceRTX 和 NVIDIARTXGPU配备名为TensorCores的专用AI处理器,将生成式 AI (GenerativeAI)的强大功能原生引入超过1亿台WindowsPC和工作站。如今,TensorRT-LLM for Windows 使PC生成式AI(GenerativeAI)速度提高4倍,Tensor RT-LLM for Windows是一个开源库,可加速最新AI大语言模型(如Llama2和CodeLlama)的推理性能。此前,TensorRT-LLM for Datacenter 已在上个月发布。NVIDIA还发布帮助开发者加速LLM 的工具,包括使用Ten
2023-10-18 10:13:02