logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据之Sqoop(二):Sqoop使用案例

记录sqoop的一些使用,复习下,此前项目中有用到,复习下安装与部署请参考文章目录使用案例导入数据RDBMS到HDFSRDBMS到HiveRDBMS到Hbase导出数据HIVE/HDFS到RDBMS脚本打包Sqoop一些常用命令及参数使用案例导入数据在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用...

#hadoop#hive#sqoop +2
大数据之Presto:安装部署

记录过程概述这里就不复制粘贴了,描述自己理解的。具体详细的使用和介绍需要去官网学习更好2014年由FaceBook开源,为了解决自身规模的商业数据仓库的交互式分析和处理速度的问题OLAP大数据查询引擎,适用于交互式分析查询,数据量支持GB到PB字节设计为秒至分钟级别的响应master-slave架构(Coordinator-Worker)不是数据库只是个查询引擎(计算引擎),不...

#大数据#hadoop
大数据之Sqoop(三):java.io.IOException Could not start Java compiler

这两天做个项目使用到sqoop,这东西以前用过,现在有点忘了,出了点差错,记录下来文章目录环境报错问题原因解决环境hadoop 2.4.1jdk8sqoop 1.4.6centos7mysql 5.7.x报错[root@mym sqoop]# bin/sqoop import --connect jdbc:mysql://192.168.31.201:3306/compa...

#sqoop#java
Mybatis错误:Result Maps collection already contains value for ***

使用mybatis时,服务器启动时出错错误重现严重: Exception sending context initialized event to listener instance of class org.springframework.web.context.ContextLoaderListenerorg.springframework.beans.factory.Uns

#mybatis
JupyterNotebook代码提示与自动补齐

文章目录Jupyter Notebook代码提示及补齐Jupyter Notebook代码提示及补齐Tab键可补齐代码代码提示功能需要装插件1.打开 Anaconda Navigator,点击 Environments -> base (root) -> Open Terminal2.在命令终端里依次执行如下命令pip install jupyter_contrib_nbextensi

#python#AI
大数据之ClickHouse:安装部署与性能测试

记录过程文章目录概述环境安装常用配置启动/检查服务命令行客户端卸载性能测试概述个人总结式理解,详细的去官网看吧俄罗斯搜索引擎公司Yandex研发,2016年开源的列式存储数据库主要用于在线OLAP不支持事务所以不支持OLTPClickHouse中文社区ClickHouse中文官网优势在于大宽表查询,join多个大表查询性能比不上一般的OLAP工具极致性能在于极致的压榨服务器...

#大数据#clickhouse
大数据之Sqoop(四):java.io.IOException:No columns to generate for ClassWriter

这两天做个项目使用到sqoop,这东西以前用过,现在有点忘了,出了点差错,记录下来文章目录环境报错问题原因解决环境hadoop 2.4.1jdk8sqoop 1.4.6centos7mysql 5.7.x报错[root@mym sqoop]# bin/sqoop import \> --connect jdbc:mysql://192.168.31.201:330...

JVM内存设置详解

作为个人学习,感谢博主分享转自:JVM(java 虚拟机)内存设置正文:一、设置JVM内存设置1. 设置JVM内存的参数有四个:-Xmx   Java Heap最大值,默认值为物理内存的1/4,最佳设值应该视物理内存大小及计算机内其他内存开销而定;-Xms   Java Heap初始值,Server端JVM最好将-Xms和-Xmx设为

#jvm#虚拟机
Linux:虚拟机配置免密登录和文件同步分发

Linux,集群免密登录,文件同步分发,rsync和xsync,scp、ssh免密登录

如何在Linux安装gcc

一般初始的linux可能没有安装gcc编译器。那么对于需要安装GCC的软件发烧友们,就需要自己安装gcc编译器。这里以redhat5虚拟机linux来叙述如何安装gcc编译器有网的状态下安装gcc(linux系统可以连接网络)可以通过命令:yum install gcc-c++无网络状态下安装gcc这里详说不能连接网络的状态是,linux虚拟机该

#linux#redis
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择