0. 前言对于一些特殊的算子, 我们需要进行定制其前向和反向的过程, 从而使得其能够获得更快的速度, 加速模型的训练. 这样, 我们自然会想到使用PyTorch的cuda扩展来实现, 这里, 我将以一个简单且易于理解的例子出发, 详细的介绍如何构造一个属于你的cuda扩展.1. 为什么需要写cuda扩展?由于我们的一些特殊结构可以由基础的pytorch提供的算子进行组合而形成, 但是, 其问...

这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且了解项目情况的朋友。本文分为两部分介绍Kaggle，Part One简单介绍Kaggle，Part Two将简单介绍正规的竞赛的项目，大家可以针对性的解决感兴趣的题目。1、Kaggle简介Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/企业或者研究者可以将数据、问题描述、期望的指标发布到Kagg

最近在学习CS20课程——一门讲述tensorflow应用的实践性课程，正好Assignment2讲到了Style Transfer这个东西，这里把我的理解总结一下（代码基于Tensorflow）。代码：chiphuyen/stanford-tensorflow-tutorials/assignments/02_style_transfer/论文：Bringing Impres...

本文是基于《kaggle比赛集成指南》来进行总结的概述什么是集成学习，以及目前较为常用的技术。这里主讲的集成学习技术用于分类任务，关于回归和预测这块不太了解，读者可自行查询相应博客或者论文。1 什么是模型的集成？集成方法是指由多个弱分类器模型组成的整体模型，我们需要研究的是：① 弱分类器模型的形式② 这些弱分类器是如何组合为一个强分类器学习过机器学习相关基础的童...

BP后向传播算法前言昨天看到了一篇关于BP后向传播的论文，想着把这方面的知识彻底理解一下，本文将基于该论文和基本的BP算法。解释其基本概念和权值调整的运算过程。一、BP神经网络的基本原理BP（Back Propagation）网络是1986年由Rinehart和McClelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习

tensorflow的官网上提供很详细的python教程，也确实很好用。但是，应用软件产品大多用c/c++写的。所以，大部分的应用都是用python来训练模型，得到训练好的模型后. 用c++调用tensorflow模型进行推理。通过收集资料，总结了方法.1. 使用python训练模型，并保存模型a.训练并保存模型sess = tf.Session(config=config) #sess...

最近在学习CS20课程——一门讲述tensorflow应用的实践性课程，正好Assignment2讲到了Style Transfer这个东西，这里把我的理解总结一下（代码基于Tensorflow）。代码：chiphuyen/stanford-tensorflow-tutorials/assignments/02_style_transfer/论文：Bringing Impres...

前言最近实习单位在搞电网数据的清洗程序改写，用到了稀疏编码器，关于稀疏编码器的原理部分，可以参见下面的文档，这里可以这么简单理解：就是通过对代价函数设置交叉熵等误差项，使得输出层和输入层是基本一致的。  但是，实际上，Sparse AutoEncoder是来源于传统神经网络的。由于要在集群上跑，对速度要求很高，而且sklearn的包的神经网络api中没有稀疏编码器，有一些如同MLPclas

这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且了解项目情况的朋友。本文分为两部分介绍Kaggle，Part One简单介绍Kaggle，Part Two将简单介绍正规的竞赛的项目，大家可以针对性的解决感兴趣的题目。1、Kaggle简介Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/企业或者研究者可以将数据、问题描述、期望的指标发布到Kagg

这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且了解项目情况的朋友。本文分为两部分介绍Kaggle，Part One简单介绍Kaggle，Part Two将简单介绍正规的竞赛的项目，大家可以针对性的解决感兴趣的题目。1、Kaggle简介Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/企业或者研究者可以将数据、问题描述、期望的指标发布到Kagg