目录使用如下方法，可将Keras_model写成pb文件tf2onnx 将pbfile转成onnx背景：用keras 训练 NER 模型，模型架构为：Roberta_CRF。整个模型保存下来，1.2G 左右。欲部署在cpu环境下，需要对模型进行压缩和加速。没有找到bert的蒸馏后的中文预训练模型。整体方案是：keras_weights -> tf_pb_model(freeze graph)

前面说一些背景大佬万福,若有高见,还请不吝赐教.折腾了一天半,总算解决了豆瓣需要登录和输入验证码才能继续爬数据的问题.故事是这样的,我有一份媒资数据表,表里面都是影片数据,包括:导演\演员\影片类型等等.但是这份数据表的数据缺失太多了,也没有对应上最新的豆瓣评分.为了建立影片之间的相互关系,需要尽可能的补充影片的各项属性.于是,爬取豆瓣数据来丰富该数据表成为首选解决方案.具体的实现思路,...

统计学大体可以分为两类：描述性统计学：希望在不告诉别人所有数据的情况下介绍这些数据的情况。推论统计学：从总体中获得一些样本，利用样本的数学计算，推断出总体的情况。机器学习、数据挖掘、数据分析领域离不开统计学。以前学习统计的时候，只是为了应付考试，很多知识都是靠死记硬背。考试过后，这些东西慢慢的就忘记了。最近重新回顾统计基础知识，感觉很多细节还是值得注意的。统计学的主要知识基本包括：...

该文总结数据分析常用手法，在代码中用注释的形式给出必要的阐述。需要安装包：numpy、scipy、numpy、pandas、sklearn检查数据是否符合某项分布#检查数据是否符合正态分布##构建正态分布数据In [1]: import numpy as npIn [2]: import scipy.stats as ssIn [3]: norm_dist = ss.nor...

Seq2seq文本摘要总结目录前言结构EncoderATTENTIONDecoderTrainingevaluate前言之前尝试用textRank+NMF做长文本摘要，但textRank是基于句子间距离的，其结果是文本中句子的重要性排序，输出的是文本中现成的句子。这对于文章内容的理解是不够的。当某个思想需要用多个句子表达，或者长文本中包含过于复杂...

目录NER 的各种方法基于字的BiLSTM-CRF模型CRF层详解Emission scoreTransition scoreCRF loss function代码模型效果骚年，来一份“人民日报”吗？骚年，你搞懂了LSTM了没？有“人民日报”懂LSTM，我们就开车出发啦！NER 的各种方法对于NER 的各种方法基本上归于三类方法：...

朋友，你通过各种不同的途经初次接触支持向量机（SVM）的时候，是不是会觉得这个东西耳熟能详，感觉大家都会，却唯独自己很难理解？每一次你的老板或者同仁让你讲解SVM的时候，你觉得你看过这么多资料，使用过这么多次，讲解应该没有问题，但偏偏在分享的时候结结巴巴，漏洞百出？每一次机器学习相关的面试在问到支持向量机（SVM）的时候，尽管你觉得你都准备好了，可是一次又一次败下阵来，以至于觉得问那些问题...

这是一篇笔记类型文章，主要是从新学习一下fastai,和实践“pytorch-pretrained-BERT”和“pytorch-transformers”对接fastai 后简洁快速实现bert模型的训练和执行任务。我还是一个小白，大佬看到我的文章奋起拍砖的时候，还请不要打脸。--------现在还只能靠脸吃饭。感谢！The Basics of Fast AIFastai框架基...