腾讯会议与联发科技天玑深化AI合作,联合打造智能、高效虚拟背景功能
腾讯会议与联发科技的最新合作,首次将虚拟背景功能通过天玑平台的NPU硬件加速,充分体现了AI算力在实际业务中的巨大价值。这一合作不仅增强了虚拟背景的流畅性和实时性,也为行业其他AI应用提供了全新的发展方向。通过软硬件的深度结合,天玑平台的NPU展现出前所未有的算力优势,使得用户体验得到前所未有的提升。
在本次合作中,联发科技的天玑移动平台为虚拟背景功能提供了强大的AI性能底座。天玑移动平台面向智能手机、平板电脑等移动设备,拥有高智能、高性能、高能效、低功耗卓越特性。最新发布的天玑9400集成联发科技第八代 AI 处理器 NPU 890,提供远超以往的AI 性能和能效。此外,天玑9400 还支持时域张量(Temporal Tensor)硬件加速技术、端侧高画质视频生成技术,强劲的端侧Stable Diffusion性能,不仅能够实现高分辨率生图,更支持端侧动图和视频生成,实现更多创新玩法。
【联发科技天玑9400移动平台集成先进的AI 处理器 NPU 890】
腾讯会议的虚拟背景功能是一种基于人像分割技术的运用,在进行视频会议时,腾讯会议将自动识别参会人,并将参会人周围的环境替换为指定图像或视频 ,在对参会人员进行隐私保护的同时,也提升了会议趣味。虚拟背景功能还可以取代布展背景墙,可有效节约会议成本。
此次腾讯会议基于天玑移动平台NPU上实现的AI人像分割技术,采用了自建的多样性数据集,涵盖了丰富多样的人物样本和场景环境,以确保能够在各种实际应用场景中实现稳定而精准的人像分割。同时在模型设计上,腾讯会议追求轻量化和高计算性价比,采用先进的卷积神经网络架构,并结合注意力机制与重参数化等技术,确保用户无论使用何种设备,都能享受到流畅且准确的人像分割体验。
【腾讯会议APP端-虚拟背景设置】
此次双方的深度合作,共同针对模型在GPU架构和NPU架构的运行能力进行了协同优化,显著提升了处理速度和能效表现,为用户提供了更加流畅和高效的体验。
联发科技不仅在芯片硬件层面提供了强大的NPU算力支持,还为腾讯会议提供了天玑AI开发套件NeuroPilot软件工具和API。通过联发科技的一站式软件解决方案NeuroPilot,为腾讯会议提供了模型量化、转换、编译和集成的完整工具链(SDK/API/Document),使之可在天玑移动平台上高效开发和部署基于神经网络的AI应用程序,极大简化了腾讯会议基于AI的应用程序开发步骤。
为了让模型网络中更多计算运行在高性能的天玑移动平台NPU,腾讯会议对自研模型中的自定义模块进行调整和替换,以充分发挥天玑移动平台NPU的AI性能。此外,双方还共同设计模型最大并行度,以进一步提升AI应用在天玑移动平台NPU上的执行效率。经双方联合优化,虚拟背景功能运行在天玑移动平台NPU的版本相对CPU FP16模式版本性能提升可达3.5倍至4倍,耗时也缩短到6毫秒内。同时,降低功耗还有助于减少手机发热,为长时间会议提供更好的续航保障。
腾讯会议智能应用研发中心负责人左小祥表示:长期以来,除了通过AI算法在软件层优化性能,腾讯会议与芯片设计厂商积极合作,探索在硬件层提升性能与优化用户体验的更多可能。本次与联发科技的合作,凭借天玑移动平台强大的AI算力支持,将腾讯会议的AI人像分割模型迁移至天玑AI引擎上运行,AI算法运行更快的同时,还大幅降低算法的CPU占用,节省更多CPU资源。腾讯会议将持续发力AI技术应用的前沿探索,并在软硬件生态的更多合作中,为用户打造更优开会体验,目前,腾讯会议已经在天玑9400、天玑9300、天玑9200、天玑9000等多个平台上线虚拟背景的端侧NPU版本。欢迎广大使用天玑移动平台设备的用户下载腾讯会议APP,体验高效AI加持的开会模式。
联发科技与腾讯会议的这一创新合作,突破了传统软硬件配合的边界,通过更深入的AI算力赋能,展现了未来移动端技术应用的新方向。这一合作为行业发展提供了有力的示范,未来双方将在更多场景中共同精进技术,不断推动更智能的AI应用普及,让天玑平台成为AI应用的领先阵地。