logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

visualbox搭建linux环境双网卡配置

双网卡网络模式简介(1)NAT模式可以使虚拟机和外部网络进行通信,但是光设置这个,外部主机还无法访问虚拟主机。(2)此时增加host-only网络模式,可以解决主机和虚拟机的通信。双网卡网络模式有以下优点:(1)虚拟主机既可以访问外部网络,也可以让外部客户端通过ssh访问虚拟主机,(2)换到新的网络时,客户端SSH访问的IP地址不需要改变。

文章图片
#linux#php#运维
hadoop日常运维问题汇总

当系统有区块丢失的时候,我们在9870端口这个web页面已经可以看到哪些丢失的区块了。当然用下面命令也可以查看。

文章图片
#hdfs#hadoop#大数据
shell中执行hive命令错误:delimited by end-of-file (wanted `EOF')

错误信息:warning: here-document at line 58 delimited by end-of-file (wanted `EOF')业务场景,使用hive对数据进行批量清洗,hive语句放到shell脚本中方便执行。#定义hqlsql=$(cat <<!EOFhive的hql语句块!EOF)#执行hql$HIVE_HOME/bin/hive...

#hive#big data#hadoop +2
git推送到gitee远程仓库步骤

这里没有设置分值,只有一个主分支。1. 初始化git init2. 远程gitee创建项目gitee创建项目操作3. 远程绑定项目git remote add origin https://gitee.com/pangzi/test.git4. 拉取远程项目和本地合并git pull origin master --allow-unrelated-histories5...

#git#github
Retrying task after failure: Waiting for lock. org.apache.iceberg.hive.HiveTableOperations$WaitingFo...

执行spark任务居然碰到了hive中表的被锁了,导致写数据时失败,这个还真是头一次碰到过这回事。错误信息如下:22/09/04 21:02:28 WARN Tasks: Retrying task after failure: Waiting for lock.org.apache.iceberg.hive.HiveTableOperations$WaitingForLockExcept...

#hive#apache#spark +2
hive和trino中的爆炸函数lateral view explode与cross join unnest用法

遇到一个不规则的json如下:trace是数组,外面2个time,hash都是单个字段。所以通过hive建表如下,trace使用了array包裹了struct结构:create external table xy_ods.ods_address_trace(trace array<struct<action:string,blockHash:string,blockNumbe...

#hive#hadoop#数据仓库 +1
hive中使用with as查询作为临时中间表

oracle、hive都存在with as的用法。用于将重复的查询结果复用。今天做统计分析时用到,使用例子如下:1. 直接查询with tmp_a as (select f1,f2,f3 from test1)select f1,f2,f3 from tmp_a;2. 多表计算结果joinwith tmp_a as (select f1,f2,f3 from test1...

#hive#数据库#hadoop +2
使用anaconda3安装pyspark

1. 下载安装:下载地址:wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.0.1-Linux-x86_64.sh --no-check-certificate(最新版本:wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anacon...

文章图片
#python#hadoop#开发语言 +2
将hive的hql执行结果保存到变量中

这里分别针对shell脚本和python脚本举例:shell脚本如下:注意:在hive语句左右两边使用的是ESC键下面的点号,不是单引号。#!/usr/bin/env bashtest1=`hive -S -e "select max(period_value) from dw_dm.dm_guba_loginlog_activity_stat where dim = 'all' a...

#hive#hadoop#数据仓库 +2
flink1.14.0中集成hive3.1.2

不想看太多的话,直接拉到第二部分操作步骤:1. 是解决过程:在flink1.14.0中已经移除sql-client-defaults.yml配置文件了。参考地址:https://issues.apache.org/jira/browse/FLINK-21454于是我顺着这个issue找到了FLIP-163这个链接。https://cwiki.apache.org/confluen......

#hive#big data#大数据 +2
    共 30 条
  • 1
  • 2
  • 3
  • 请选择