系列文章目录【Scrapy框架一】初步认识爬虫框架文章目录系列文章目录前言一、settings参数介绍二、部分参数验证2.1 ROBOTSTXT_OBEY验证2.2 待补充...总结前言了解爬虫的配置文件settings.py各个字段的含义，对使用scrapy框架会有很大帮助，比如如何设置并发量，如何设置请求延时，如何设置遵守robots协议等等。所以在学习过程中，对接触到的爬虫参数做了归纳。一、

获取yarn restful节点和port信息。获取SecondaryNameNode节点。获取NameNode restful接口。获取ResourceManager节点。查询hdfs系统中的namenode。查看datanode的存储目录。上传本地文件到指定目录下。查看hadoop版本。

防火墙端口开放与关闭基础操作

系列文章目录上一篇：机器学习基础知识整理一文章目录系列文章目录前言一、处理分类数据1. 对nominal型分类特征编码2. 对ordinal分类特征编码3. 对特征字典编码4. 填充缺失的分类值5. 处理不均衡分类二、处理文本1. 清洗文本2. 解析并清洗HTML3. 移除标点4. 文本分词5. 删除停止词6. 提取词干7. 标注词性8. 将文本编码成词袋9. 按单词的重要性加权三、总结前言提示：