下载文件：https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken。设置容器环境变量：在 docker-compose.yml 文件如图位置添加 TIKTOKEN_CACHE_DIR=/data/cache。改docker-compose pull为docker pull mysql/one-api/redi

安装run包驱动时，会将动态库libdcmi.so和头文件dcmi_interface_api.h拷贝到“/usr/local/dcmi/”目录下。终于搞明白华为的这一套架构了，ascend-toolkit的latest是用于存放最近安装的版本，并非是最高的版本，所以存在多个也无所谓。失败了，检查发现是CANN版本不一致导致，toolkit的版本是8.3，驱动的版本是8.0.0。执行如下命令，完成

版本问题解决了：

backend and will fall back to run on the CPU. This may have performance implications. (function npu_cpu_fallback)Exception in thread Thread-5:原模型直接推理可以跑起来，但是回答问题的时候它没法用npu，还要迁移到CPU计算，这个过程可能需要花费数小时，官方解

尝试关闭expandable_segments不行，export PYTORCH_NPU_ALLOC_CONF=max_split_size_mb:32,garbage_collection_threshold:0.6,expandable_segments:True。找到原因了，从这里开始-CANN社区版8.0.0.alpha001开发文档-昇腾社区。找到原因了，内存池扩展段功能是高级特性需要H

bf16是Facebook新提出的深度学习数据格式，华为的机器并不一定支持，所以将其设置为false。这个问题在最新的A2系列服务器可直接解决，驱动用24及以上。只有A2系列的才支持。确实是的，在ascend-toolkit下ls。重新装kernel算子,opp_kernel。

设置 do_sample: false，取消随机抽样策略。

昇腾910跑大模型时遇到报错。还是要去source一下。

这个报错很奇怪，貌似是和sklearn有关，卸载sklearn才得以解决。我这里尝试了无数种方法都不行，最终，卸载sklearn，意外解决了问题。ldd --version查看glibc的版本。

今天在处理txt文件时遇到了一些问题，它不是格式化的数据，行前行末都有空格，而且每个元素的分隔符不一致，没法进行分割处理，如果用read_csv或者read_table函数是无法直接处理的，得到的只有一个数据块，txt数据如下所以我想给它先转换成格式化的数据，再利用函数进行处理。先用原生Python对空格分隔符进行处理# 读取inputfile = open('_data_1lognorm_nh4