广和通加速通义千问Qwen3在端侧全面落地，破解边缘AI效能瓶颈
6月，广和通宣布：率先完成通义千问Qwen3系列混合推理模型在高通QCS8550平台端侧的适配部署。广和通通过定制化混合精度量化方案与创新硬件加速算法，成功突破Qwen3新型架构在边缘侧的落地创新，为AIoT设备提供业界领先的端侧大模型支持。
通义千问Qwen3自4月底正式发布并全部开源8款「混合推理模型」，其模型性能在代码、数学、通用能力等多项基准测试中刷新纪录。其中，Qwen3-4B与早期版本的Qwen2.5-72B能力相当，在提升推理性能的同时，大大降低了端侧部署成本。同时，Qwen3系列模型还是首个支持混合推理模式(Hybrid Reasoning)的开源模型。开发者可以根据需求开启、关闭思考模式或指定思考长度，将人类大脑的“直觉反应”和“深度思考”能力装进了AI。
广和通完成了参数规模为0.6B/1.7B/4B/8B的Qwen3模型在边缘端的部署，以满足不同下游应用需求。针对Qwen3引入的QK-Norm改进注意力机制和混合推理模式，广和通设计了定制化的混合精度量化方案，动态识别模型结构特征，对Norm层、注意力模块等关键组件采用差异化量化策略。再者，广和通结合NPU特点优化推理结构，利用QCS8550芯片Hexagon DSP的矩阵加速单元，显著提升了大模型在边缘设备上的落地能力。
目前，广和通AI Stack已支持通义千问Qwen3- 0.6B/1.7B/4B/8B模型的量化和推理，为用户提供不同端侧场景应用的模型选择。AI Stack拥有完整AI工具链，集成易于部署的代码，可进行数据标注、模型训练、模型微调。针对模型移植，AI Stack提供模型转换、模型量化和算子替换等能力。再者，AI Stack的高性能推理引擎将训练、转换完成的模型高效部署在端侧并执行推理任务，从而在实际业务场景中实现多样化的AI应用。
广和通AI研究院院长刘子威表示：“广和通率先在端侧部署Qwen3，不仅是技术验证，更是边缘智能落地的典型案例能力。通过广和通自研的AI Stack，我们让机器人、AI眼镜、翻译机等端侧设备真正具备本地化复杂推理与决策能力。广和通将强化端侧AI的商业落地能力，为更多AIoT设备赋智。”
在线留言询价
- 一周热料
- 紧缺物料秒杀
| 型号 | 品牌 | 询价 |
|---|---|---|
| TL431ACLPR | Texas Instruments | |
| MC33074DR2G | onsemi | |
| BD71847AMWV-E2 | ROHM Semiconductor | |
| CDZVT2R20B | ROHM Semiconductor | |
| RB751G-40T2R | ROHM Semiconductor |
| 型号 | 品牌 | 抢购 |
|---|---|---|
| TPS63050YFFR | Texas Instruments | |
| ESR03EZPJ151 | ROHM Semiconductor | |
| BU33JA2MNVX-CTL | ROHM Semiconductor | |
| BP3621 | ROHM Semiconductor | |
| STM32F429IGT6 | STMicroelectronics | |
| IPZ40N04S5L4R8ATMA1 | Infineon Technologies |
AMEYA360公众号二维码
识别二维码，即可关注
请输入下方图片中的验证码：