logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

sqoop 从mysql导出数据到hive datetime类型后多了个'.0' 的问题解决

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \--connect jdbc:mysql://www.baidu.com/shagou \--username root\--password 1234556 \--hive-database stg\--hive-import\--wareh...

#sqoop
大数据框架Hadoop主要模块介绍

本文涉及到的所有模块,都是属于Apache组织,不包括其他第三方的模块。核心模块:Hadoop Common: 包括Hadoop常用的工具类,由原来的Hadoop core部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务,并为运行在该平台上的软件开发提供了所需

#大数据#spark#hive
大数据工程师面试

技术成熟大数据实践不够大数据大于数据分析大数据人才企业培养的核心技能大数据团队构成   基础平台、应用平台、数据应用(用户画像、BI、用户行为分析)大数据开发工程师 精通各个组件的原理。理解业务的需求,java,scala,hive数据仓库工程师  数据建模,java,hive,python算法工程师  机器学习算法,用户画像,推荐,  100PB  数十万几千个节点...

#大数据
到底了