logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python爬取XLWB(含标题、日期、正文、点赞、评论、转发、图片等)

利用python xpath爬取XLWB内容,包括作者、标题、正文、分页抓取、图片下载等

#python#新浪微博#爬虫
VMware虚拟机三种网络配置模式

VMware虚拟机三种网络配置模式   &nbsp

SparkSQL以yarn-cluster读取hive数据运行的错误排查记录

我事先在IDEA里通过Maven将程序及所依赖的jar打成一个jar包,在三台虚拟机(master、slave1、slave2)里启动了hadoop、mysql、yarn。master和slave节点的$SPARK_HOME\conf已经有hive-site.xml,并且已把mysql连接驱动包放到每个节点的SPARK_CLASSPATH下,然后执行:[root@master bin]# ./s.

Centos7安装Anaconda3

[root@master boya]# bash Anaconda3-4.4.0-Linux-x86_64.shWelcome to Anaconda3 4.4.0 (by Continuum Analytics, Inc.)In order to continue the installation process, please review the licenseagreement...

Kafka高可用性实现原理

1 概述Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展;它同时为发布和订阅提供高吞吐量;它支持多订阅者,当失败时能自动平衡消费者;它将消息持久化到磁盘,因此可用于批量消费,例如ETL以及实时应用程序。Kafka凭借着自身的优势,越来越受到互联网企业的青睐,。Kafka作为一个商业级消息中间件,消息可靠性的重要性可想而知。如何确保消息的精确传输?如何...

kafka实操(创建主题,生产者,消费者组,查看消费偏移,删除主题)

启动zookeeper,在master、salve1和slave2上分别启动[root@master bin]# ./zkServer.sh start三个节点启动后,别忘了查看一下启动状态:[root@master bin]# ./zkServer.sh statusJMX enabled by defaultUsing config: /usr/local/src/zookeep...

到底了