高通与智谱基于骁龙8至尊版移动平台合作适配优化GLM-4V端侧视觉大模型,加速多模态生成式AI体验的终端侧部署

要点:

  • 高通与智谱合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式。

  • 利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。

  • GLM-4V-MiniGLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。

20241021日,夏威夷——骁龙峰会首日,智谱与高通技术公司宣布合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式,进一步推动多模态生成式AI在终端侧的部署和推广,赋能更加情境化、个性化的终端侧智能体验。

骁龙8至尊版移动平台搭载全新第二代高通®Oryon CPU和高通®Hexagon NPU,终端侧AI能力再次实现突破,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够实现令人惊叹的处理能力,以超过70 tokens/秒的速度在终端侧高速运行。

改善情境化和定制化一直是用户体验的长期需求。多模态生成式AI模型能够利用终端侧丰富的传感器数据,例如文本、图像、音频、视频等,打造更加直观、无缝的智能交互体验。通过与骁龙8至尊版进行深度适配和推理优化,终端侧多模态应用ChatGLM能够支持三种终端侧交互方式:使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。丰富的多模态输入输出方式赋能智能助手ChatGLM实现了跨家庭、出行、工作和教育等多个场景的应用,例如通过手机摄像头获取穿搭建议,利用视觉信息实现智能导航,通过车内摄像头识别遗留物品,拍摄画作进行风格解析等。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示:“高通与智谱共同致力于推动生成式AI在边缘终端上的应用和普及,并已经在手机、PC、汽车等领域展开了紧密合作。结合高通在终端侧AI领域的长期领导力,跨不同边缘终端的广泛市场布局,以及骁龙8至尊版的AI创新,我们在推动终端侧生成式AI发展方面独具优势。多模态是发挥终端生成式AI潜力的重要技术发展方向,我们期待携手智谱,探索多模态在终端侧AI应用上的更多可能。”

智谱COO张帆表示:“骁龙8至尊版移动平台提供了卓越的AI算力,结合高通AI软件栈推理框架的性能优化,使得智谱的终端侧大模型可以在设备端实现高速推理。我们相信,终端侧算力平台的性能跃迁结合大模型能力的进步,会将生成式AI带入新的时代。终端侧运行的生成式AI,在为用户提供变革性体验的同时,能更好地保护用户隐私安全,真正让AI变革用户的日常生活。”

GLM-4V-MiniGLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。

骁龙峰会将展示基于GLM-4V端侧视觉大模型的用例,敬请期待。欲观看峰会主题演讲直播回放,请访问骁龙峰会专题页

关于高通公司

高通公司坚持不懈地创新,让智能计算无处不在,助力全球解决一系列最重大的挑战。我们经验证的解决方案推动主要行业转型,骁龙®品牌平台赋能非凡消费者体验。依托公司近40年为行业制定标准和打造划时代突破性技术的领导力,我们提供领先的边缘AI、高性能低功耗计算和无与伦比的连接。我们携手生态系统合作伙伴赋能下一代数字化转型,丰富人们的生活、改善企业业务并推动社会进步。在高通,我们用科技成就人人向前。

高通公司包括技术许可业务(QTL)和我们绝大部分的专利组合。高通技术公司(QTI)是高通公司的全资子公司,与其子公司一起运营我们所有的工程、研发活动以及所有产品和服务业务,其中包括半导体业务QCT。骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。高通专利技术由高通公司许可。


最新文章