远程访问hadoop查看端口开放情况netstat -tpnl修改hists配置文件sudo vim /etc/hostslocalhost(或master)ip由127.0.0.1修改为0.0.0.0再次查看端口开放情况netstat -tpnl重启hadoop这时只有访问权限，如需修改权限需要在hdfs namenode所在机器添加新用户adduser ...

SpringBoot的默认支持的连接池有四种hikari，tomcat， dbcp，dbcp2，底层配置好的连接池为hikari，这里使用druid连接池可以使用配置方式也可用硬编码方式，这里使用硬编码手动创建DataSource方式实现以下为代码import com.alibaba.druid.pool.DruidDataSource;import com.alibaba.fastjson.JS

scrapy中有三种方式设置headers，cookiessetting中设置cookiemiddlewares中设置cookiesipder文件中重写start_requests方法这里记录第三种，重写start_requests方法，这里以豆瓣网为例一、设置请求头headers在start_request中新增headers = {'User-Agent'...

1、安装seleniumpip install selenium2、下载chromedriverchromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html根据chrome版本下载对应的chromedriver下载后解压为chromedriver文件 3、将chromedriver移...

HDFSJava常用API常用APIhadoop类功能org.apache.hadoop.fs.FileSystem一个通用文件系统的抽象基类，可以被分布式文件系统继承。所有的可能使用Hadoop文件系统的代码都要使用到这个类org.apache.hadoop.fs.FileStatus客户端可见的文件状态信息org.apache.hadoop.fs.F...