需要注意的是，由于chat_template和tokenize算法的影响，生成的prompt的token数量可能有些误差，不是精确的指定token数量。在继续尝试了多种vLLM提供的各类参数后（例如--max-num-batched-tokens、--max-num-seqs等），我们仍然无法达到比第一次表现更好的测试。可以看到，关闭async-scheduling后，无论是RPS、Latency