最后可以把自己的 GPU 贡献到池中，众人拾柴火焰高，其中 YOUR_TOKEN_HERE 可以通过 https://huggingface.co/settings/tokens 获取，public_name 则可以起一个别名，便于在服务端找到你的机器。，不同于之前的联邦学习或是传统分布式训练，它能将模型拆分到更小的颗粒度，每个节点仅下载一小片神经网络并行计算，大大加速了训练和推理速度，再也不用羡

3090上只能跑 7B 或 13B的量化版本的推理，想后续自行微调的，请直接放弃 13B，读入权重就 OOM，自行量化的机会也没有的。首先获取所需的群聊天记录，通过 sql 来筛选需要的内容，然后用传统统计方法来做结构化数据的分析，再把非结构化的数据扔给大模型处理，传统方法适合数理计算，而大模型更擅长归纳汇总，可以组合起来交叉使用。还有更多有趣的场景可以做，比如家长群里提取重要通知，复现已离世的亲

BakLLaVA 推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到100~300ms，而大模型动则需要10秒的延时，限制了许多场景。该模式能够识别镜头上的目标，支持中英文双语，基本上可以理解场景中的内容，可用作基础的意图识别，也可用于场景内容分析。利用家中的电脑和闲

最后可以把自己的 GPU 贡献到池中，众人拾柴火焰高，其中 YOUR_TOKEN_HERE 可以通过 https://huggingface.co/settings/tokens 获取，public_name 则可以起一个别名，便于在服务端找到你的机器。，不同于之前的联邦学习或是传统分布式训练，它能将模型拆分到更小的颗粒度，每个节点仅下载一小片神经网络并行计算，大大加速了训练和推理速度，再也不用羡

采用 termux 方案可以分离大模型和具体应用APP，单机可用 127.0.0.1 访问保证安全，跨机协作可以暴露 IP，提供为本地算力，灵活度和兼容性都是最佳。想象一下：没有 API 调用限制，不用担心网络延迟，数据完全本地处理，你的 AI 助手随时待命——这一切，只需要一台安卓手机。问天气，问路线，问建议，问秘密。云端有云端的优势：更强的模型，更多的数据，更低的成本。，AI眼镜作为第一人称视

采用 termux 方案可以分离大模型和具体应用APP，单机可用 127.0.0.1 访问保证安全，跨机协作可以暴露 IP，提供为本地算力，灵活度和兼容性都是最佳。想象一下：没有 API 调用限制，不用担心网络延迟，数据完全本地处理，你的 AI 助手随时待命——这一切，只需要一台安卓手机。问天气，问路线，问建议，问秘密。云端有云端的优势：更强的模型，更多的数据，更低的成本。，AI眼镜作为第一人称视

前言上回说到，用`C++`来写`UI`界面的开发效率不如`JS+HTML`来的高，但设备开发又免不了要通过内核态来操作硬件，这里我们就要先打通从`JS框架`到设备驱动之间的联系。本章基于`...

前言上回我们把 pytorch 的环境安装好了，这篇我们建立一下 tensorflow 和 keras 的开发环境。不得不说，相对于pytorch来说，tensorflow 对各个系统的支持真的很完善，无论是各种平台还是各个版本都有对应的预编译安装包，官方文档也很详细（但不代表没有坑，详见下文），是工程化不错的选择。而pytorch代码更pythonic，所以最新的模型和算法很多都由pytorch

前言上一篇我们在树莓派上安装了OpenVINO的环境，并跑了几个官方demo，作为关键点的模型转换工作，以各个版本的yolo实现为例，在这篇做一下实现。目标检测是人工智能应用比较成熟的领...

前言上回我们建立了 tensorflow 的开发环境，跑测试模型比较方便，但对于树莓派来说，还是太庞大了。仅有 0.3fps 无法满足实时的生产环境需求，这篇我们部署一下专门为移动端和嵌...