logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

nginx 分发 ssh

打开nginx的ssl_preread on,使nginx预处理ssl握手client hello字段,通过读取alpn字段为identifyssh(可自定义)字符串 判断出是ssh连接,否则(兼容非ssl连接)都是http连接,分别指向不同的upstream。ssh 连接命令ssh deploy@120.221.95.76 -o "ProxyCommand openssl s_client -a

#ssh#nginx#服务器
hive中null和'','NULL'

说下hive中的null。employee表hive>desc employee;empid   stringdeptid   stringsalary   string查询employeehive>select * from employee1 NULL NULLhive 中null实际在HDFS中默认存储为'\N'即employee中的数据在HDFS中为

#hive
hive中的增删改如何实现

由于 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive 中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO ...  VALUES 添加数据,使用 UPDATE ... SET 修改数据

#hive#云计算
hive 多列转单行

原表数据如下,业务场景是取用户的top5站点访问情况,行号是根据访问次数降序生成。用户ID  | 站点名   |  流量   |访问次数  |行号user_id |site_name |all_flow |net_times |rn1          a           10         5       11          b           23        

#hive
maven-assembly-plugin插件打可运行jar包配置

Maven 打包可运行jar包https://www.cnblogs.com/h--d/p/13060299.html目前它只有一个有意义的goal<plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId&gt

#java#maven
hive文件存储格式

Hive数据压缩本文介绍Hadoop系统中Hive数据压缩方案的比较结果及具体压缩方法。一、压缩方案比较关于Hadoop HDFS文件的压缩格式选择,我们通过多个真实的Track数据做测试,得出结论如下:1.  系统的默认压缩编码方式 DefaultCodec 无论在压缩性能上还是压缩比上,都优于GZIP 压缩编码。这一点与网上的一些观点不大一致,网上不少人认为GZIP

#hive
内网ntp时间同步

注:如果防火墙开启,请开辟123端口firewall-cmd --permanent --add-port=123/udpfirewall-cmd --reload当前有10.0.0.149 和10.0.0.151两台(全内网)1,.选择10.0.0.151主机设为主时间.10.0.0.149主机以此主机为准安装ntp服务ntp相关rpm包获取地址:https://pan.baidu.com/s/

#linux#centos
数据库流查询

需要注意的是,在使用流式查询模式时,ResultSet 对象的一些方法可能会失效,比如 absolute()、last()、previous()、beforeFirst() 等方法。此外,流式查询模式只适用于查询,不适用于更新、插入、删除等操作。2、打断点 query:65, PreparedStatementHandler (org.apache.ibatis.executor.statemen

#数据库
hadoop常见错误及处理方法

如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。1、hadoop-root-datanode-master.log 中有如下错误:

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.3.1

跑hive脚本也就是mr程序时遇到以下错误:Ended Job = job_1406698610363_0394 with errorsError during job, obtaining debugging information...Examining task ID: task_1406698610363_0394_m_000014 (and more) from job jo

#hive
    共 20 条
  • 1
  • 2
  • 请选择