python如何将自己写的代码打包供他人使用背景： 利用setuptools来实现，所以先安装setuptools，其实Python2.7.9及之后的版本都自带安装setuptools了，无需在另外安装如果没有安装setuptools的直接下载源码包解压安装就行了示例：以linux环境为例1.创建文件创建文件结构如下：setuptools_demo/├── pkDemo...

ZKFC设计文档（ZK Failover Controller Design）设计组件化设计，ZK-based的automatic Failover主要由三个组件组成：HealthMonitor：用于监控NN是否unavailable或者处于unhealth状态ActiveStandbyElector：用于监控NN在zk中的状态ZKFailoverCon

bert论文中提到：“GPT uses a sentence separator ([SEP]) andclassifier token ([CLS]) which are only introducedat fine-tuning time; BERT learns[SEP], [CLS] and sentence A/B embeddingsduring pre-training.”...

Bert base的网络结构：L（网络层数）=12, H（隐藏层维度）=768, A（Attention 多头个数）=12, Total Parameters= 12*768*12=110M使用GPU内存：7G多Bert base的网络结构：) and BERTLARGE (L=24, H=1024,A=16, Total Parameters=340M).使用GPU内存：3...

warmup_proportion表示，慢热学习的比例。比如warmup_proportion=0.1，总步数=100，那么warmup步数就为10。在1到10步中，学习率会比10步之后低，10步之后学习率恢复正常。在1到10步之间，学习率的改变一般有以下几种方式："warmup_cosine": WarmupCosineSchedule,"warmup_constant": Warm...

1. Mask LM的输入输出形式：input : [CLS] I like[MASK] (原始句子：I like cat)ouput: Ch1 h2 h3对h3增加一层所有词的softmax，预测其输出是否为cat。2. Next Sentence Prediction输入输出形式：input [CLS] I like cat. [SEP] He like d...

grep -h 'abcd' *.txt加个-h，就不显示文件名

MMD介绍MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为：python代码样例：import torchdef guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_si...

ACL: The Association for Computational Linguisticshttp://www.aclweb.org/AAAI: Association for the Advancement of Artificial Intelligencehttp://www.aaai.org/ICCL: The International Committee on Computa

1 什么是逻辑逻辑（logic）是一个外来词语，指的是思维的规律和规则。狭义上逻辑既指思维的规律，也指研究思维规律的学科即逻辑学。广义上逻辑泛指规律，包括思维规律和客观规律。2 什么是逻辑推理逻辑推理是指运用逻辑（规律）进行推理。演绎推理（Deductive Reasoning）是由一般到特殊的推理方法。与“归纳法”相对。推论前提与结论之间的联系是必然的，是一种确实性推理。...