揭秘 NVIDIA AI Workbench 如何助力应用开发

　　此类工作在过去可能需要复杂的设置，而新工具使这项工作变得空前简单。

　　可协助 AI 开发者构建自己的 RAG 项目、自定义模型等等，这些功能简化了开发者的工作流。该工具是本月初在 展会上推出的 的一部分，它是一套用于自定义、优化和部署 AI 功能的工具和软件开发套件。复杂的技术任务有可能误导专家并让初学者难以上手，而 AI Workbench 使其复杂度大大降低。

　　NVIDIA AI Workbench 是什么？

　　用户可免费使用 NVIDIA AI Workbench，用户能够在各类 GPU 系统（如笔记本电脑和工作站到数据中心和云计算）上开发、试验、测试 AI 应用和制作 AI 应用原型。该工具为各类用户跨系统创建、使用和共享 GPU 开发环境提供了新的方法。

　　AI Workbench 如何助力解决 AI 项目的挑战

　　开发 AI 工作负载从一开始就需要手动执行一些通常来说很复杂的流程。

　　设置 GPU、更新驱动和管理版本不兼容问题可能会很麻烦。在不同系统之间复制项目可能需要一遍又一遍地重复手动流程。复制项目时若出现数据碎片化和版本控制问题等不一致情况，还可能阻碍协作。各种设置流程、移动凭据和机密，以及更改环境、数据、模型和文件位置都会限制项目的可移植性。

　　借助 AI Workbench，数据科学家和开发者可以更轻松地跨异构平台管理工作和协作。该工具在开发流程的各个方面实现了集成和自动化，并具有以下特点：

　　易于设置：AI Workbench 简化了 GPU 加速的开发环境的设置流程，让技术知识有限的用户也能操作。

　　无缝协作：AI Workbench 与 GitHub 和 GitLab 等版本控制和项目管理工具集成，有助于减少协作时可能产生的不便。

　　从本地扩展到云端时保持一致性：AI Workbench 确保跨多个环境依然可以保持一致性，支持在本地工作站或 PC 和数据中心或云端之间扩容或缩容。

　　利用 RAG 处理文档，操作比以往更加顺畅

　　NVIDIA 提供 开发示例，协助用户开始使用 AI Workbench。 就是一个例子：它在本地工作站、PC 或远程系统上运行基于文本的自定义 RAG Web 应用来处理用户的文档。

　　该 Workbench 项目支持 各种 LLM。此外，该项目的混合特性允许用户选择在何处运行推理。

　　Workbench 项目让用户可以对开发环境和代码进行版本控制。

　　开发者可以在主机上运行嵌入模型，并在 Hugging Face 文本生成推理服务器上本地运行推理，在目标云资源上使用 NVIDIA 推理端点（如 ），或使用自托管微服务（如 或第三方服务）运行推理。

　　混合式 RAG Workbench 项目还包括：

　　性能指标：用户可以评估基于RAG和非RAG的用户查询在每种推理模式中的表现情况。这些指标包括检索时间、首 Token 延迟 (Time to First Token, TTFT) 和 Token 速率 (Token Velocity)。

　　检索透明度：面板会显示精确文本片段（在向量数据库中检索到的语义相关度最高的内容），并且这些片段会被输入到 LLM 中，以提高回复与用户请求的相关度。

　　响应自定义：用户可以使用各种参数调整响应，例如要生成的最大令牌数、温度和频率惩罚。

　　如需了解详情，请前往 获取更多资源。此外，社区成员还提供实用的视频教程，例如下面来自 Joe Freeman 的教程。

　　自定义、优化、部署

　　开发者经常试图针对特定用例自定义 AI 模型。微调是一种通过使用额外数据训练模型，进而改变模型的技术，该技术可用于风格迁移或改变模型行为。AI Workbench 也有助于进行微调。

　　提供适用于各种模型的 QLoRa (一种可大幅减少内存需求的微调方法)，并可通过简单的图形用户界面实现模型量化。开发者可以使用公开或自有的数据集来满足其应用的需求。

　　微调完成后，用户即可对模型进行量化以提高性能并减少显存占用，然后将其部署到原生 Windows 应用进行本地推理或部署到 NVIDIA NIM 进行云推理。如需了解该项目的完整教程，请在 中进行查找。

　　真正的混合式设计：随时随地运行 AI 任务

　　上述的混合式 RAG Workbench 项目在多个方面采用混合式设计。除了提供推理模式选择外，该项目还可以在 NVIDIA RTX 工作站和 GeForce RTX PC 上本地运行，或扩展到远程云服务器和数据中心。

　　用户可以在自己选择的系统上运行所有 Workbench 项目，并且不会在设置基础设施方面产生开销。在 AI Workbench 中查找更多关于微调和自定义的示例和说明。

　　请订阅，我们每周都会将新鲜资讯直接投递到您的收件箱。

　　###