今天在爬虫的时候，爬了二十条程序就莫名卡着不动了，还以为是被服务器禁止访问。还去加了user-agent池，随机获得user-agent构成headers，没想到居然是最后文件命名的时候出问题了。用于命名的字符串出现了非法的字符。网上查找资料，构造一个函数，通过正则表达式除去字符串中发非法字符：import redef validateTitle(title):rstr = r...

1.如何从宿主机拖动复制文件到虚拟机VM中的解决方法参考：https://blog.csdn.net/u010899985/article/details/549994872.下载源更改为阿里云修改下载源文件，一般是在 /etc/apt/sources.list文件里面。参考：https://blog.csdn.net/p942005405/article/details/8069...

事情是这样的,在使用docker部署Hadoop集群的时候,完成之后将一些文件名含中文字样的文件上传到集群发现没有上传成功,这些文件是在容器与宿主机挂载的文件夹中的,进入容器查看文件的时候发现下面这样的东西:datasetdataset??????2.jpgdataset??????2.jpg?????????.jpg显然是是docker中中文显示除了问题,上网查才知道docke...

上次了解了yarn的REST的API之后，进一步一想，yarn有相应的REST接口，那Hadoop呢？是不是也应该又相应的REST接口进行查看文件系统以及对文件系统一些操作呢？一查，果然是有的。官方文档地址：WebHDFS REST API操作目录：HTTP GETOPEN (see FileSystem.open)GETFILESTATUS (see FileSystem....