行业领先的超高 TOPS：解码 RTX AI PC 和工作站上的 AI 性能

　　虽然 PC 游戏玩家了解每秒帧数 (FPS) 及类似的统计数据，但衡量 AI 性能需要新的指标。

　　TOPS 颖而出

　　例如，比较一下微软最近发布的 Windows 11 AI PC，其中就包含每秒至少可执行 40 万亿次运算的神经处理单元 (NPU)。40 TOPS 的算力足以胜任一些轻量级 AI 辅助任务，例如询问本地聊天机器人昨天的笔记在哪里。

　　以 Token 衡量性能

　　TOPS 只是一项基础衡量指标。LLM 的性能以模型生成的 Token 数量来衡量。

　　Token 是 LLM 的输出，它可以是句子中的一个词，甚至可以是标点符号或空格这类更小的片段。AI 加速任务的性能可以用“每秒 Token 数”来衡量。

　　另一个重要因素则是 batch size，也就是在一次推理过程中可同时处理的输入数量。由于大语言模型 (LLM) 是许多现代 AI 系统的核心，处理多个输入 (例如来自单个应用或跨多个应用) 的能力将成为关键的差异化因素。虽然较大的 batch size 可以提升并发输入的性能，但也需要占用更多的内存，尤其是运行较大的模型时。

　　结合了大显存、专用 AI 加速器和优化的软件，RTX GPU 的吞吐量得到了巨大提升，尤其是在 batch size 增加的情况下。

　　文本生图像，速度超以往

　　测量图像生成速度是评估性能的另一种方法。最直接的一个方法是使用 Stable Diffusion，这是一种基于图像的热门 AI 模型，可让用户轻松地将文本描述转换为复杂的视觉画面。

　　借由 Stable Diffusion，用户可以通过输入关键词快速获得想要的图像相比于 CPU 或 NPU，使用 RTX GPU 运行 AI 模型时可以更快生成所需结果。

　　全新的 UL Procyon AI 图像生成基准测试现已支持 TensorRT 加速。与最快的非 TensorRT 加速状态相比，TensorRT 加速可在 GeForce RTX 4080 SUPER GPU 上带来 50% 的速度提升。

　　适用于 Stable Diffusion 3 的 TensorRT 加速近期发布，前者是 Stability AI 备受期待的全新文本转图像模型。此外，全新的 TensorRT-Model Optimizer 可进一步提升性能。与非 TensorRT 加速状态相比，它可带来显著的速度提升，同时减少显存消耗。

　　当然，眼见方能为实。真正的考验来自于不断迭代提示词这种真实场景。在 RTX GPU 上，用户通过改进提示词来优化图像的速度可得到显著提升，每次迭代只需数秒即可完成。而在 Macbook Pro M3 Max 上，完成相同的迭代需要耗费数分钟。此外，如果在由 RTX 驱动的 PC 或工作站上本地运行，用户可以同时享受到速度和安全性方面的优势，并让所有内容保持私密。

　　测试结果出炉，相关技术开源

　　研究人员在社区使用的各种 GPU 和 CPU 上，以开源的 llama.cpp 推理引擎为对照，测试了 TensorRT-LLM 的实际表现。他们发现 TensorRT“在相同硬件上比 llama.cpp 快 30-70%”，并且在进行连续处理时效率更高。该团队还提供了测试方法，邀请其他人亲自测试生成式 AI 的性能。

　　无论是游戏还是生成式 AI，速度才是其致胜法宝。在确定性能冠军时，TOPS、每秒 Token 数和 batch size 均需纳入考量。