通过自制 fish-speech 容器镜像, 并添加参考音频数据, 窝们成功获得了一只封装好的派蒙罐头 (真·应急食品). 随便放在哪里都可以直接运行, 无需网络, 很是方便好用.CPU 推理确实很慢, 后续计划寻找无需 N 卡条件下, 更快运行大模型的方法.本文使用 CC-BY-SA 4.0 许可发布.

近些年, 国际形势变化很快, 各种不确定因素越来越多. 所以,任何单个平台都是不可靠的, 随时可能出现各种各样奇奇怪怪的问题.因此, 重要数据一定要多备份!!本文是 《git 免费开源平台推荐 4+7 个》 的更新版本:本文使用 CC-BY-SA 4.0 许可发布.

通过llama.cpp运行 7B.q4 (4bit 量化), 7B.q8 (8bit 量化) 模型, 测量了生成式 AI 语言模型在多种硬件上的运行 (推理) 速度.根据上述测量结果, 可以得到以下初步结论:(1)显存 (内存) 大就是正义!大, 就是正义!!限制能够运行的模型规模的最主要因素, 就是显存的大小.目前的大部分显卡 (除了高端的比如 4090), 显存都不超过 16GB.

使用 llama-factory 工具可以对 AI 语言模型 (LLM) 进行微调 (LoRA SFT), 只需准备数据集即可.可以看到, AI 具有一定的泛化能力, 也就是训练数据集中没有的问题, 模型也可以给出比较合理的回答.此处使用的丹炉不好, 炼不了上品仙丹, 只能用个小模型意思意思. 但原理和操作步骤都是一样的, 只要换上更好的硬件, 准备更多数据, 就能炼制更好更大的仙丹啦 ~AI 并

对于一个拼音输入法来说, 最重要也最基础的数据, 就是拼音和汉字的对应关系, 或者说拼音和汉字的对照表. 获取拼音数据有多种方法, 本文介绍其中的一种: 从 Unicode 标准 (Unihan 数据库) 获取拼音数据.

通过llama.cpp运行 7B.q4 (4bit 量化), 7B.q8 (8bit 量化) 模型, 测量了生成式 AI 语言模型在多种硬件上的运行 (推理) 速度.根据上述测量结果, 可以得到以下初步结论:(1)显存 (内存) 大就是正义!大, 就是正义!!限制能够运行的模型规模的最主要因素, 就是显存的大小.目前的大部分显卡 (除了高端的比如 4090), 显存都不超过 16GB.

由于本文太长, 分开发布, 方便阅读.

通过自制 fish-speech 容器镜像, 并添加参考音频数据, 窝们成功获得了一只封装好的派蒙罐头 (真·应急食品). 随便放在哪里都可以直接运行, 无需网络, 很是方便好用.CPU 推理确实很慢, 后续计划寻找无需 N 卡条件下, 更快运行大模型的方法.本文使用 CC-BY-SA 4.0 许可发布.

由于本文太长, 分开发布, 方便阅读.

通过llama.cpp运行 7B.q4 (4bit 量化), 7B.q8 (8bit 量化) 模型, 测量了生成式 AI 语言模型在多种硬件上的运行 (推理) 速度.根据上述测量结果, 可以得到以下初步结论:(1)显存 (内存) 大就是正义!大, 就是正义!!限制能够运行的模型规模的最主要因素, 就是显存的大小.目前的大部分显卡 (除了高端的比如 4090), 显存都不超过 16GB.