LLM

测试条件

• 测试开发板：RDK S600

• 运行环境：Linux

统计信息

• model：模型名。

• BPU core num：模型运行时占用的BPU核数量。

• qtype：模型的量化精度。

• max context：模型累计能处理的token序列最大长度。

• TTFT(ms)：首字生成时间。

• Decode(TPS)：Decode阶段每秒生成的token数。

• memory(GB)：模型的内存占用量。

实测数据

model	BPU core num	qtype	max context	TTFT (ms)	Decode (TPS)	memory (GB)
DeepSeek-R1-Distill-Qwen-1.5B	prefill 2 decode 2	prefill w4 decode w4	4096	68.9	92.4	2.2
Qwen3-0.6B	prefill 4 decode 4	prefill w8 decode w8	4096	75.4	92.9	3.0
Qwen3-1.7B	prefill 4 decode 4	prefill w4 decode w4	4096	91.2	75.0	3.7
Qwen3-4B	prefill 4 decode 4	prefill w4 decode w4	4096	232.1	45.8	6.6
Qwen3-4B	prefill 4 decode 4	prefill w8 decode w8	4096	235.3	32.3	8.3
Qwen3-8B	prefill 4 decode 4	prefill w4 decode w4	4096	283.6	31.4	9.1