写文章
- @manshiai
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
电商离线数仓从0到1系列之一 hadoop环境搭建
1.安装虚拟机2.安装hadoop
电商离线数仓从0到1系列之二 hive，flume环境搭建
hive安装hive内置元数据库Derby，但一般采用自有的元数据库，这里用mysqlhive集群分配：软件warehouse101warehouse102warehouse103hadoop√√√hive√√√mysql√元数据（metastore）采用远程模式配置，配置规划：服务warehouse101warehouse102warehouse103metastore√√HiveServer2
电商离线数仓从0到1系列之一 hadoop环境搭建
1.安装虚拟机2.安装hadoop
大数据存储基石——HDFS
随着数据量越来越大，在一个本地文件系统里边已经存不下所有的数据，需要将数据分配到更多的操作系统和文件管理系统，但是不方便管理和维护，所以需要一个系统来统一管理这些存储了所有数据的机器，这个系统也就是分布式文件管理系统，HDFS只是分布式文件管理系统的一种。!HDFS（全称HadoopDistributeFileSystem，Hadoop分布式文件系统），用于文件存储和管理，通过目录树来定位文件，是
到底了