一、环境本教程中使用两台阿里云服务器，其配置为单核CPU，2G内存，操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。 二、配置服务器hostname进入实例的基本信息页面，点击修改信息修改HostName，NameNode节点对应的HostName为master，DataNode节点对应的HostName为node1 三、修改hosts(最好使用内网IP)四、SS

SGC：简化图卷积网络《Simplifying Graph Convolutional Networks》论文地址：https://arxiv.org/abs/1902.07153一、简介​图卷积神经网络(Graph Convolutional Networks,GCNs\text{Graph Convolutional Networks,GCNs}Graph Con

用于视觉特征无监督学习的深度聚类《Deep Clustering for Unsupervised Learning of Visual Features》论文地址：https://arxiv.org/pdf/1807.05520.pdf一、简介​预训练卷积神经网络已经成为许多计算机视觉的基础部件，其能够产生良好的通用特征来改善模型在有限训练集上的泛化能力。ImageNet\text{ImageN

参考文献：Ian Goodfellow,Yoshua Bengio,Aaron Courville.Deep Learing.

原文链接：http://proceedings.mlr.press/v48/xieb16.pdf基于神经网络的具体算法DEC一、简介聚类特别依赖特征空间的选择；先前很少有研究来解决用于聚类的特征空间学习问题；本文提出了一种称为Deep Embedded Clustering(DEC)\text{Deep Embedded Clustering(DEC)}Deep Em

说明：主要参考Francois Chollet《Deep Learning with Python》；代码运行环境为kaggle中的kernels；数据集IMDB、IMBD RAW以及GloVe需要手动添加# This Python 3 environment comes with many helpful analytics libraries installed# It is d...

深度网络的公理归因Axiomatic Attribution for Deep Networks一、简介本文研究的问题是，将深度网络的预测结果归因到输入的特征中。本文确定了两条归因的基本公理：Sensitivity和Implementation Invariance，并基于这两个公理设计了一种新的归因方法，称为积分梯度法(Integrated Gradients)。该论文之前的许多归因方法并不完全

​本文来自于《Theory of Deep Learning》，主要是对神经正切核(NTK)理论进行介绍。这里主要是补充了一些基本概念以及部分推导过程。作为软件工程出身，数学不是特别好，有些基础知识和推导步骤没办法一次补足。若有机会，后续会逐步补全缺失的部分。​设X1,…,XnX_1,\dots,X_nX1​,…,Xn​为nnn个独立的随机变量，且XiX_iXi​的边界为[ai,bi][a_i,b

​令x表示prompt，y表示response，策略πθ​针对tokent输出的概率分布为pt​pt1​pt∣V∣​πθ​⋅∣xyt​softmaxTzt​​1∣V∣表示整个词表的大小，zt​∈RV是logitsT∈R是解码温度。​那么tokent的熵为Ht​−j1∑∣V∣​ptj​logptj​2。

SIMVLM：基于弱监督的简单视觉语言模型预训练《SIMVLM：Simple Visual Language Model Pre-training with Weak Supervision》论文地址：https://arxiv.org/pdf/2108.10904.pdf?ref=https://githubhelp.com一、简介​基于Transformer\text{Transformer}