
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
大数据实训(hive+spark)
爬虫爬取的网站拉勾网和前程无忧用scrapy框架前程无忧代码如下spider.pyitems.pysetting.pypipelines.py拉勾网spider.pyitmes.pysetting.pypipelines.py爬取的数据将爬取的文件传到linux系统的data目录下jdk环境hadoop(完全分布式)环境hive环境启动Hadoop集群flume的agent文件配置在flume安装
到底了