测试报告：瑞芯微RK3588与爱芯元智AX650N芯片在QWen大模型下的性能对比分析

本次测试报告对不同模型在不同硬件环境下的输入输出性能进行了对比分析。测试内容包括输入和输出的Token数量（每秒），不同厂商的硬件配置（瑞芯微与爱芯元智）以及模型的大小与架构（Qwen系列）。以下为详细测试结果和分析：

测试提示词：

请简要说明 Transformer 在时间序列预测中的一个典型应用场景。请用中文回答问题，控制在 120～200 字之间。

测试数据表：

测试结果分析：

1. 输入和输出性能对比：
   • **瑞芯微硬件（RK3588）**上的Qwen系列模型表现较为出色，尤其是在Qwen2.5-0.5B-Instruct模型上，每秒输入Token高达808.2，输出Token为39.49，表现明显优于其他型号。
   • 随着模型规模的增大，特别是在Qwen3系列中，输入和输出Token数量都有所下降。例如，Qwen3-4B-Base在每秒输入Token仅为117.43，输出Token为6.71，性能显著下降。
2. **爱芯元智硬件（AX650N）**上的表现：
   • 与瑞芯微硬件相比，爱芯元智的AX650N硬件在处理相同规模的Qwen系列模型时，其性能有所下降。例如，Qwen2.5-0.5B-Instruct-GPTQ-Int4每秒输入Token为113.03，输出Token为6.42，远低于瑞芯微上的表现。
   • Qwen3系列的表现也同样如此，尤其是在Qwen3_4b_int8模型中，每秒输入Token仅为32.87，输出Token仅为2.31。
3. 模型规模与性能关系：
   • 从表格中可以看到，较大的模型（如Qwen3-4B-Base和Qwen3_4b_int8）普遍表现较差，不论是输入Token还是输出Token的处理速度都较低。这表明，尽管更大的模型在某些任务中可能有更强的能力，但它们对硬件资源的要求更高，导致处理速度的降低。

RK3588与AX650N的硬件对比：

综合结论：

1. RK3588适用场景：适合广泛的嵌入式开发、边缘计算和多媒体应用，特别是在需要较高计算能力和大内存的场景下表现优异。对于高吞吐量的应用，较小的模型（如Qwen2.5-0.5B-Instruct）能够在其硬件上获得更好的性能。

2. AX650N适用场景：专注于高效的AI推理和视频处理，特别适合低延迟和大规模的视频解码应用。由于其资源和计算能力的限制，AX650N不适合处理大规模的模型。