边缘AI，大模型落地应用的重要一役

拥有数十亿参数的众多生成式AI对基础设施提出更高的要求是业界共识，无论是AI模型优化参数的AI训练，还是执行该模型的AI推理，至今都受限于模型本身的庞大和复杂部署在云端，这也正是过去传统的AI部署模式：端侧采集数据，云端进行计算。

只不过，一方面在云端进行推理成本昂贵，另一方面不同的应用场景所需要的推理能力也各不相同。再加上端侧更快的响应速度和更高的安全性，生成式AI想要规模化扩展，其处理重心就需要从云端向边缘转移，也就是说，大模型应用落地的重要一战将在边缘AI领域打响。

如何评价玩家们的边缘AI能力？AI SoC嵌入式终端设备在算力、功耗和成本等方面的综合表现最为直观。