Arm Ethos-U85 NPU:利用小语言模型在边缘侧实现生成式 AI


随着人工智能 (AI) 的演进,利用小语言模型 (SLM) 在嵌入式设备上执行 AI 工作负载成为业界关注的焦点。Llama、Gemma 和 Phi3 等小语言模型,凭借其出色的成本效益、高效率以及在算力受限设备上的易部署性,赢得了广泛认可。Arm 预计这类模型的数量将在 2025 年继续增长。
随着人工智能 (AI) 的演进,利用小语言模型 (SLM) 在嵌入式设备上执行 AI 工作负载成为业界关注的焦点。Llama、Gemma 和 Phi3 等小语言模型,凭借其出色的成本效益、高效率以及在算力受限设备上的易部署性,赢得了广泛认可。Arm 预计这类模型的数量将在 2025 年继续增长。