（作者：陈玓玏）昨天在用用Pycharm读取一个200+M的CSV的过程中，竟然出现了Memory Error！简直让我怀疑自己买了个假电脑，毕竟是8G内存i7处理器，一度怀疑自己装了假的内存条。。。。下面说一下几个解题步骤。。。。一般就是用下面这些方法了，按顺序试试。一、逐行读取如果你用pd.read_csv来读文件，会一次性把数据都读到内存里来，导致内存爆掉，那么一个想法就是一...

导读：随着Bert的发布，预训练 ( pre-train ) 成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。本文将介绍几种常见的语言模型的基本原理和使用方式，以及语言模型在网易严选NLP业务上的实践，包括分类、文本匹配、序列标注、文本生成等。01前言文本的表征经历了漫长的发展历程，从最简单经典的bow词袋模型、以LDA为代表的主题模型、以word2

（作者：陈玓玏）决策树的本质是什么？是将特征空间逐级划分，如下图过程所示：图示就是每次都找不同的切分点，将样本空间逐渐进行细分，最后把属于同一类的空间进行合并，就形成了决策边界，树的层次越深，决策边界的切分就越细，区分越准确，同时也越有可能产生过拟合。这也就是说，决策树最重要的一件事情就是：怎么找切分点？基本的决策树算法有三类，按时间顺序分别是：ID3、C4.5、CART。...

（作者：陈玓玏）想要部署机器学习平台，但平台对机器还是有一定要求的，所以在腾讯云购买了一台服务器，配置信息如下，以避免在部署过程中因为机器的性能问题而部署失败。购买完成后，直接登录服务器，是酱紫的打开机器学习平台的主页，网比较好就看https://github.com/tencentmusic/cube-studio，网不太好就看https://gitee.com/data-infra/cube-

（作者：陈玓玏）在实际使用Python的过程中，我们常常需要安装不同版本的Python环境，并且安装相应的各个package。这里我们解决三个问题：anaconda中如何安装多个版本的Python；anaconda中如何安装不同版本的Python对应的各个package；如何改变镜像源加速下载。一. anaconda中如何安装多个版本的Python1）在开始菜单中找到anacon...

主要是要注意其中selector的app和metadata中的app名称要一致，另外引入的configmap名称要和前面的configmap一致等等。创建好yaml文件后，通过kubectl创建deployment。replica写1就好，数据库的副本数一般1就够了，避免读写冲突。注意targetPort要和deployment暴露出来的一致，否则无法转发到deployment创建的pod。同样，

（www.data-master.net 数据极）问题：我遇到了ElasticSearch和Rails的问题，由于attr_protected，一些数据没有正确编入索引。Elastic Search在哪里存储索引数据？怎么检查实际索引数据是否错误呢？检查映射的命令Tire.index(‘models’).mapping没有帮助，仅列出字段。（www.data-master.net 数据极）...

（原创作者：陈玓玏）       关于数据挖掘的定义七七八八的，但是总的来说，数据挖掘是从海量数据中挖掘有用的行为模式等信息，帮助智能化的决策。       关于数据挖掘的步骤，也有很多划分，这里作者且大胆地按照自己的理解划分一下吧，分为需求理解、结果定义、数据收集、数据清洗、数据划分、特征提取、特征选择、...

（作者：陈玓玏）一、给用户开sudo权限在部署hadoop的时候，通过./sbin/start-dfs.sh自动启动datanode那些一直不成功，总是叫我输密码，虽然我自己觉得可能是我免密登录设置不成功，但网上有小哥哥/小姐姐说是因为权限问题，因为没给我的用户开root权限，于是在/etc/sudoers文件中为我自己添加权限如下，也就是给这个DZG0370用户添加所有的root权限，但是是..

（作者：陈玓玏）最近开始倒腾Linux了，安装好Linux之后的第一步就是安装Python了。不过Linux系统在这方面特别友好，因为它是自带了Python的，