写文章
- @Aster404
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
轻量级大数据架构——个人开发者最推荐的一种架构
Kappa架构就是纯流式架构或者批流一体架构，它把所有的内容都放在了流式计算的过程中，数据的来源通常是Binlog（二进制日志文件），展现还是通过APP，存储仍然通过MySQL，hive和elasticsearch等数据库或数据仓库完成，批处理则通过flink的重放来实现。爬虫的框架也就是Requests，BS4，Selenium，Scrapy，lxml，在爬的过程中可通过BS4和lxml进行ET
轻量级大数据架构——个人开发者最推荐的一种架构
Kappa架构就是纯流式架构或者批流一体架构，它把所有的内容都放在了流式计算的过程中，数据的来源通常是Binlog（二进制日志文件），展现还是通过APP，存储仍然通过MySQL，hive和elasticsearch等数据库或数据仓库完成，批处理则通过flink的重放来实现。爬虫的框架也就是Requests，BS4，Selenium，Scrapy，lxml，在爬的过程中可通过BS4和lxml进行ET
到底了