Android 蓝牙开发之数据通信本文所述通信，是建立在已配对的基础上的。因为，个人认为，目前手机上的蓝牙配对功能已经很完善了，所以，我们完全可以先通过手机进行配对，然后直接在程序里面获取以配对的蓝牙设备进行开发即可，这样一来，我们把蓝牙开发里面的搜索和配对的工作就都给省略了。当然，这得根据个人想法以及功能需要来决断，因此不再多做赘述。下面简单描述下功能实现：从手机中已经配对的蓝牙设备中，得到指定

vllm的安装和使用，对torch、cuda、xformers等有较多的版本依赖，过程中有一些曲折，故整理记录如下。

paddlepaddle-gpu使用问题

设置：限制程序可见的 GPU 设备，确保返回的设备数量在程序运行过程中保持不变。延迟调用：确保在vLLM引擎初始化之前不调用。检查依赖库的初始化：确保所有依赖库的初始化都在vLLM引擎初始化之后进行。检查多进程或多线程问题：确保每个进程或线程都设置了，并且在初始化vLLM引擎之前没有调用。

设置：限制程序可见的 GPU 设备，确保返回的设备数量在程序运行过程中保持不变。延迟调用：确保在vLLM引擎初始化之前不调用。检查依赖库的初始化：确保所有依赖库的初始化都在vLLM引擎初始化之后进行。检查多进程或多线程问题：确保每个进程或线程都设置了，并且在初始化vLLM引擎之前没有调用。

top_p和top_k：用于控制生成文本的多样性和连贯性。较小的值会使生成的文本更连贯但缺乏多样性，较大的值会使生成的文本更随机和多样。：用于控制生成文本的随机性。较高的值增加随机性，较低的值增加确定性。：用于控制生成文本的长度。

是一个通用的大型语言模型，适用于各种自然语言处理任务。是在通用模型基础上经过指令微调的版本，特别适合处理指令式的任务。选择哪个版本取决于你的具体需求。如果你需要一个通用的模型来处理多种任务，可以选择。如果你的任务涉及大量指令式的操作，建议使用。参考链接。

在使用vLLM进行模型推理时，即使你不显式调用tokenizervLLM也会自动处理 tokenization。vLLM内部会使用模型对应的tokenizer来对输入文本进行 tokenization。以下是一些关键点和示例代码，帮助你理解这一过程。

深度学习，特别是现在的大模型，数据永远是最紧要的基础和前提。数据中有大量的各种各样的特征，这些特征类型不同、来源不同，而且没有一个明确的结构来描述它们之间的关系，这些特征的多样性和复杂性给数据处理和分析带来了挑战。高基数 ids：每个实体的唯一标识。交叉特征：两个或多个特征之间的组合关系。计数特征：某个特征出现的次数。比例特征：某个特征在整体中的占比。

在分布式训练中， 和是两个不同的概念，它们分别表示不同层次的进程标识符。理解这两者的区别和关系对于正确设置分布式训练环境至关重要。::关系：其中是每个节点上的设备数量（例如，在一个有4个GPU的节点上， 就是4）。区别：假设你有一个由两台机器组成的集群，每台机器上有两个NPU：在这种情况下：解释:获取 :设置设备:以下是一个完整的示例，展示了如何在分布式训练中使用和 ：