之后，模型的结构和参数会被转换成一种只描述网络结构的中间表示，一些针对网络结构的优化会在中间表示上进行。最后，用面向硬件的高性能编程框架（如 CUDA，OpenCL）编写，能高效执行深度学习网络中算子的推理引擎会把中间表示转换成特定的文件格式，并在对应硬件平台上高效运行模型。这一条流水线解决了模型部署中的两大问题：使用对接深度学习框架和推理引擎的中间表示，开发者不必担心如何在新环境中运行各个复杂的

本项目是根据datawhale 与 趋动云平台联合 联合的项目，本文主要在于学习和了解使用大模型。使用的大模型是 ChatGLM3-6B, 这是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。整体平台感觉还是非常好用的，方便模型的部署。

Q1：假如我想搞一个自己的知识库助手，选择那种方式比较合适？A1： 以我目前的了解来看，假如只是在微调和RAG里面选择。我会主要看个人需求。RAG适用于知识需要快速更新的领域，对实时性要求不是特别高的应用场景。微调适合的领域为数据量较小但质量高的领域。对模型效果有较高要求，且可以承担相应计算资源消耗的场景。领域知识比较独特，需要模型深入学习的场景。所以，假如你想要做一个简单的智能知识助手，不要求精

可以在该代码的基础上，增加写入excel表的操作，这样就可以把模型推理前的体积和模型推理后的体积都写入excel表，然后进行一系列分析。

编辑ONNX的python代码一、ONNX模型的基本操作1，加载ONNX模型2，保存ONNX模型3，OP节点列表4，输入节点名称5，输出节点名称6，参数节点二、ONNX模型的修改1，修改内部的变量2，创建tensor3，增加OP节点4，增加输入\输出tensor节点5，增加参数节点6，特殊节点-constant增加7，读取ONNX的参数tensor格式，转换为numpy三、例程得到第一个Conv的

但最好还是多点开花并且可以形成自己的一套端到端的方法论，除了明确模型优化部署的任务和上下游关系，更要从业务角度去推进优化的工作，即做到一种全栈式的发展，随便给你一个业务或者产品形态，可以快速的针对特定的硬件或者算法模型找出适配的一套最佳优化方案（人力成本，效率迭代等），这才是做这个方向的最终目的，这也是大多数公司比较稀缺的。如果仅仅停留在关注部署或者优化的某一个技术栈，而不是用端到端业务全流程的角

图像分割损失函数

可以在该代码的基础上，增加写入excel表的操作，这样就可以把模型推理前的体积和模型推理后的体积都写入excel表，然后进行一系列分析。

全连接神经网络

讯飞星火认知大模型，由科大讯飞于2023年5月推出的中文大模型，也是国内大模型的代表产品之一。同样，受限于中文语境与算力资源，星火在使用体验上与 ChatGPT 还存在差异，但是，作为与文心不分伯仲的国内中文大模型，仍然值得期待与尝试。相较于存在显著资源、技术优势的百度，科大讯飞想要杀出重围，成为国内大模型的佼佼者，需要充分利用相对优势，至少目前来看，星火并未掉队。同时，不知道是否因为讯飞 API