神经网络在运行时有较高的计算成本，而且随着大模型时代的到来，知识由一个巨大的LLM存储，为了获取知识，即使用模型进行推理或者以会话的方式获取想要搜索的答案，都变得简单。但深入到计算层面，就可以看到，这些推理的计算对于内存带宽和算力都有较高的要求，如何降低神经网络的功劳和latency，是一个非常热门的话题。量化概念量化： 量化实际上就是把高位宽表示的权值和激活值用更低位宽来表示。定点运算指令比浮点

postman自动化测试简述center>简介 在程序员的工作中，尤其是在前后端开发分离的实践过程中，一定会有的工作就是接口联调，HTTP接口作为前端后端传输通信的关节，参数传递的有效性和格式验证非常的重要，Postman就是一款这样优秀的应用，在程序员工作的过程中，赋能工具箱至关重要。本文介绍的终点就是Postman，以及Postman的在实践自动化测试方面的抛砖引玉的工作，重点还是告诉读

本文档主要演示搭建vllm0.5.0的评测环境的过程。这个环境问题，真的很费劲。经过上述的镜像生成，之后，我们之后就可以一直使用源码安装的方式来进行环境的创建，生成镜像，复用镜像，并且在使用过程中，也演示了pip使用缓存的技巧，这是非常方便，非常有效的一种方式。源码安装vllm 0.5.0源码安装lm-evaluate-harness 用来评测大模型和量化大模型的精度。该文档详细描述了通过Dock

Ubuntu服务器使用动态链接聚合模式进行网口绑定简介在这次阿拉善的出差过程中，自己也在疲惫的工作中学到一些可以在以后的工作中使用或者自己觉得重要的东西，昨天晚上已经总结过XShell快速命令配置使用,在阿拉善出差的9天中，还有另外两个主题的工作内容需要总结。Ubuntu服务器使用active-backup（模式1）模式进行网口绑定Ubuntu服务器使用动态链接聚合（模式4）模式进行网口绑定CPU

为了深入理解CNN，进行B站 同济子豪兄深度学习之卷积神经网络的学习.最近一直想要弄清楚这个CNN的工作，并且要能够使用CNN完成自己的神经网络，至少在计算视觉领域能够分析，以及典型的计算机视觉，NLP，语音处理相关的工作。CNN都是一个相对来说比较有用的工作。所以深度学习框架，Tensorflow或者Pytorch都是非常重要的。自己在这方面的积累真的太少了。要尽快的学习，加速自己对于机器学习的

本文的内容包括PCA分析，特征脸以及通过使用主成分分析来转换原始训练数据集的过程，行文也包括了为理解这个过程而记录的图片链接，辅助对于协方差矩阵，矩阵、特征值分解的理解。

 程序猿日常工作开发中，免不了要和linux服务器打交道的，如何高效的使用shell命令来实现我们的功能呢，比如说如下的场景： 诸如此类的场景，如果手动，一个一个ssh-scp，太枯燥了。因此，我们便需要高效的并行工具，启动多进程的方式来实现我们的目标。在Linux中，并发查询多个目录的磁盘占用可以通过多种方法实现。以下是一些可以提高效率的策略：使用与参数并行执行：命令可以将标准输入数据转换为命令

参考了vscode上python进行debug大全 - 知乎。这个笔记记录了使用vscode调试远端服务器配置的过程，好记性不如烂笔头，还是多记录一些内容吧，我发现，当你遇到一个问题的时候，很有可能，你会重新遇到的。通过不断记忆，我们能够很好的建立联系这样就能比较自信的解决同样的问题。还能节省许多的实践。

简介线性表是一种线性结构，除了头结点和尾节点，线性表的每个元素都只有一个前取节点和一个后继节点。而树结构则相较于线性表更加复杂，它描述的关系为数据元素之间的父子关系，也是现实世界父子关系的缩影，一个父亲节点可以有零个或者多个子节点而每个子节点有且只有一个父节点但是在图是比树更加复杂的数据结构，图的基本特征是，在图中，数据元素（顶点）之间的关系使任意的，每个顶点都可以和其他任何顶点相关。上图中就存在

由于FastBuild之前花费了大概5天的时间优化，但最近重新部署，又发现了一些问题，就很痛苦，五一之后，自己又花了三天的时间系统的进行了优化。上一波优化位于05-07 周二 Python使用并行程序取代串行加速运行，样例程序演示而这一波优化，则主要集中在Python的并发执行和全局捕获异常自己可真的是蔡格尼克效应的实在的表现。简直是有一件事情之后，自己一定要把它做完，才能放下他，不被它占据自己的