随着大模型应用场景的不断拓展，arm cpu 凭借其独特优势在大模型推理领域的重要性日益凸显。它在性能、功耗、架构适配等多方面发挥关键作用，推动大模型在不同场景落地Arm Kleidi 成为解决这些挑战的理想方案，它能够为运行在 Arm CPU 上的所有 AI 推理工作负载提供无缝的性能优化。KleidiAI 是一套轻量级且高性能开源的 Arm 例程，专为 AI 加速而设计。

pytorch, IRPyTorch JIT Source Code Read NotePyTorch 源码解读之即时编译篇

转载自:https://oldpan.me/archives/how-to-debug-pytorch-deeper前言我们对Pytorch的debug一般都是在python端进行，这对于一般搭建模型的任务来说足够了。但如果我们需要对Pytorch进行一些修改或者研究一下机器或深度学习系统是如何搭建的，想要深入探索就必须涉及到C++的源码层面。举个栗子，例如torch.rand(3, 4)这个函数

这个是 C++ 的名字修饰（Name Mangling） 机制导致的，是 C++ 为了支持函数重载、命名空间、类成员函数等特性，而对函数名进行的特殊编码，最终会在编译后的 SO（共享库）中生成带有额外字符的函数名。如果要g++编译动态的名字不变，需要加上以下代码。用gcc编译成动态库，并用nm看函数名字。用g++编译成动态库，并用nm看函数名字。

不启用docker的启动命令

本文介绍了Docker配置镜像加速与日志管理的方法。通过在daemon.json配置文件中添加多个国内镜像源（如dockerproxy、百度云、腾讯云等）并设置日志参数（最大500MB，保留3个文件）。配置后需重启Docker服务并可通过docker info验证。最后示例展示了使用配置后的环境拉取rayproject镜像。该方案能有效提升国内Docker镜像下载速度并优化日志管理。

mllm端侧推理架构，qnn后端解读

请参考:https://blog.csdn.net/GAI159/article/details/105025312确实可以跟踪到word文件的修改。缺点word文件的一点修改，比如标点，空格等修改之后，commit一次之后，仓库所占用的内存就是增加一个word文件的内存。所以最后你会发现，一个文件只有2MB，整个仓库有200MB....

转载自:https://www.codenong.com/cs107041027/实验室的服务器只有命令行界面，想跑ORB_SLAM2却显示了图形界面，会报这种错误：terminate called after throwing an instance of 'std::runtime_error'what(): Pangolin X11: Failed to open X display想了好多

请参考:https://blog.csdn.net/a435262767/article/details/103481366插件：vscode插件商店搜索cudacpp进行安装后，可支持语法高亮以及<<<>>>等cuda专用符号。参考《VScode 为 *.cu文件 添加高亮及c++ intelligence相关操作的方法》，设置settings文件，添加文件c