在阅读代码实现的过程中，我发现基于MLIR来做公共子表达式消除的时候还顺带做了死代码消除的功能。另外，在考虑公共子表达式消除的时候需要保证两个重复的操作处于同一个基本块中以及两个重复操作之间没有其它具有副作用的操作才可以消除。在OneFlow的实现中只是对OneFlow的UserOp的特殊属性即OpName和SymbolID进行了擦除，用一个魔法属性来代替，这是因为这两个属性不应该去影响公共子表达

神经网络训练细节part1 第十课时：   （前3行是第9课时的内容）   最少使用3个神经元可以完成2类点的分类   神经网络越多越好，但要加入适当正则化，防止过拟合  L-BFGS是神经网络小的时候的一种优化算法(mini-batch)  Mini-batch SGD 过程   1.从训练集中抽样出一小部分数据   2.将数据运入卷积神经网络中计算损失值 

前言因为最近在和计算棒打交道，自然存在一个模型转换问题，如果说YOLOv3或者YOLOV3-tiny怎么进一步压缩，我想大多数人都会想到将标准卷积改为深度可分离卷积结构？而当前很多人都是基于DarkNet框架训练目标检测模型，并且github也有开源一个Darknet转到OpenVINO推理框架的工具，地址见附录。而要说明的是，github上的开源工具只是支持了原生的YOLOv3和YOLOV3-.

前言具体原理已经讲过了，见上回的推文。深度学习算法优化系列七 | ICCV 2017的一篇模型剪枝论文，也是2019年众多开源剪枝项目的理论基础 。这篇文章是从源码实战的角度来解释模型剪枝，源码来自：https://github.com/Eric-mingjie/network-slimming 。我这里主要是结合源码来分析每个模型的具体剪枝过程，希望能给你剪枝自己的模型一些启发。稀疏训练论...

前言这篇文章是对前面《目标检测算法之SSD代码解析》，推文地址如下：点这里的补充。主要介绍SSD的数据增强策略，把这篇文章和代码解析的文章放在一起学最好不过啦。本节解析的仍然是上篇SSD代码解析推文的pytorch版本的代码。地址见文末。数据下载在...

前言的前言：Darknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架，其主要特点就是容易安装，没有任何依赖项（OpenCV都可以不用），移植性非常好，支持CPU与GPU两种计算方式。而AlexeyAB版本的Darknet是在官方Darknet基础上进行了很多修改，添加了一些新特性，新算法，新Backbone，是最流行的目标检测开源项目之一。前言总写一些论文解读自然是不太好的，因...

前言：\quad至今已经做了一些数据清洗，特征提取这些特征工程相关的东西，同时在房价预测项目中也使用了随机深林，SVR，线性分类器，Xgboost来做回归，发现结果只能到Top 65%，所以开始着手学习Ensemble Learning，也就是模型融合，提升比赛的竞争力。Ensemble Generation介绍\quadEnsemble Learning是指将多个Base Mod...

论文：XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks链接：https://arxiv.org/abs/1603.05279代码：http://allenai.org/plato/xnornet1. 前言前面已经介绍了2篇低比特量化的相关文章，分别为：基于Pytorch构建一个可训练的BNN 以

总的来说，TeleChat-7B具有一定的文创能力和代码能力，对于本次测试的大多数prompt可以生成较为合理的答案。但模型本身也存在大模型幻觉，指令跟随能力一般以及回答有概率重复的问题。但由于TeleChat模型的训练Token相比于主流模型已经比较少了，只有1.0T数据，所以相信上述问题通过更多高质量的数据以及PPO等训练可以进一步被缓解。

本文解析一下mlc-llm（https://github.com/mlc-ai/mlc-llm）对大模型推理的流程以及使用的图优化，算子优化策略。mlc-llm的模型部署流程可以查看官方文档：https://mlc.ai/mlc-llm/docs/ ，也可以参考我前段时间写的这篇。此外，阅读mlc-llm的代码还需要理解一些TVM Unify的一些基础概念，可以参考等等。从 https://git