#Benchmark说明

#测试条件

• 测试开发板：RDK S600。

• 运行环境：Linux。

#统计信息

• model：模型名。

• BPU core num：模型运行时占用的BPU核数量。

• qtype：模型的量化精度。

• max context：模型累计能处理的token序列最大长度。

• TTFT(ms)：首字生成时间。

• Decode(TPS)：Decode阶段每秒生成的token数。

• memory(GB)：模型的内存占用量。