AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位

AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位

transformers的三个核心抽象类是Config, Tokenizer和Model，这些类根据模型种类的不同，派生出一系列的子类。构造这些派生类的对象也很简单，transformers为这三个类都提供了自动类型，即AutoConfig, AutoTokenizer和AutoModel。三个AutoClass都提供了from_pretrained方法，这个方法则一气完成了模型类别推理、模型文件

（和Java生成的中间文件可以在JVM上运行一样，onnx runtime引擎为生成的onnx模型文件提供推理功能）在训练模型时可以使用很多不同的框架，比如 Pytorch， TensorFLow， MXNet，以及深度学习最开始流行的 Caffe 等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如 tensorflow 不同的版本之间

【代码】next.js vscode 调试debug。

django参考：Writing your first Django app, part 1 | Django documentation | Django综合demo：GitHub - FuAdmin/fu-admin: 采用当前最流行的技术栈 Vben Vue Vue3 Python Django Ninja（Fast Api 和 Django的结合）开发的后端管理系统

基础安装ubuntu20安装docker官方教程portainer进行可视化的docker管理#创建volumedocker run -d -p 9000:9000 \--restart=always \-v /var/run/docker.sock:/var/run/docker.sock \--name prtainer \portainer/portainer安装后浏览器输入 http://

需要安装官方nccl。

想在 七百零四章 前加入 第。

有可能是项目里有多个用到 libc++_shared.so 库跟RN的不一致。我注释掉了其中一个module的。网上各种说法，这个讲的比较明白。