import osmain()

上述中TORCH_CUDA_ARCH_LIST="8.9"代表着使用的cuda版本，需要根据实际情况设置。可能遇到的问题：error: can't find Rust compiler。最后安装成功， 安装成功后可以通过ds_report来查看对应的安装报告。如果需要使用 CPU Offload 优化器参数，设置参数。第二步：进入虚拟环境，安装Pytorch 2.3.1。如果需要使用 NVMe O

如果num_beams>1且num_beam_groups>1，则使用分群束搜索，调用~generation.GenerationMixin.group_beam_search。如果num_beams>1且do_sample=True，则使用beam搜索多概率采样，调用~generation.GenerationMixin.beam_sample。如果num_beams=1且do_sample=T