logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive json数据生成和处理

场景:查询结果封装成json格式实现:封装记录为json格式可以编写自定义函数,也可以直接使用concat函数直接拼接,下面直接使用concat函数拼接实现将数据行转化为json数据select concat('{\"id\":\"',              t.id,              '\",\"index_date\":\"',              NV

#hive#json
hive数据去重,并取指定的一条数据

hive数据去重,并根据需求取其中一条数据案例:name  adx       tran_id                 cost        ts       ck        5        125.168.10.0          33.00   1407234660ck        5        187.18.99.00          33.32

#hadoop#hive
oracle 问题-ORA-14400: 插入的分区关键字未映射到任何分区

在执行一次SQL数据导入时报:ORA-14400: 插入的分区关键字未映射到任何分区具体内容如下:SQL> @"C:\Documents and Settings\Administrator\桌面\0109新版V8BS部署\to苏宏单独表sql\TBL_SERVICE_INFO.sql"PL/SQL Developer import fileinsert into TBL_S

#oracle#less#sql
hadoop2企业级集群部署(DNS域名解析+NFS密钥共享+AWK批量复制)

注意:apache提供的hadoop-2.6.0的安装包是在32位操作系统编译的,如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译。本地已经编译好,可以直接使用 F:\BaiduYunDownload\hadoop-2.6.0-x64 ;或者直接将32位安装包的lib包替换为F:\BaiduYunDownload\hadoop-2.6.0-x64\hado

虚拟机安装linux操作系统,桥接模式配置网络

工作笔记:选择虚拟机,右击鼠标,选择设置,然后选择“网络适配器”,在右边网络连接窗口中选中“桥接模式(B)”,并且勾中下面的“复制物理网络连接状态”;在上面的设备状态中,将“已连接”和“启动时连接”也勾选中。一般情况下设置都能成功。然后启动虚拟机,主机在可上网的情况下,虚拟机也能正常上网,并且虚拟机和主机时可以互相ping通的,查看虚拟机的IP地址,我们发现他是和主机的IP地址是同一网

#虚拟机#linux#桥接模式
VMware虚拟机上安装linux和克隆

虚拟机上安装好一台linux 系统后,为了快速搭建hadoop集群,需要再安装几个linux系统,比较笨的办法可以重新用ios 镜像文件进行安装,但是重新安装需要重新配置一些信息而且安装时间比较长(一般在半个小时左右)。所以建议使用VMWare 特用的克隆功能快速的安装linux系统(克隆时间在5分钟左右)。 具体步骤如下:第一步:选择我们需要克隆的操作系统,右击鼠标,然后选择“管

#虚拟机#hadoop
VirtualBox 提示虚拟硬盘空间不足( Host system reported disk full.)

在 VirtualBox 虚拟机上跑Linux 时出现如上图出错,根据错误的提示可以判断出问题的所在是硬盘空间不足的原因。再查看D:\MyVirtualBox\.VirtualBox\Machines\F14i386\Logs 里的日志,有个错误提示如下:Console: VM runtime error: fatal=false, errorID=FatPartitionDetected

#虚拟机#linux
本机能ping通虚拟机,但无法通过SSH登录到虚拟机上的linux系统

工作笔记:问题描述:桥接模式下,主机(WIN7)不能正常通过SSH登录到虚拟机上的linux1、首先检查主机与虚拟机上的linux是否互相PING通;2、能ping通时,在主机上打开cmd命令窗口通过telnet 虚拟机IP 22,方式看是否能telnet登录;3、如果不能telnet则要检查下虚拟机上的linux系统是否安装好了ssh服务,不然肯定不能ssh登录的

#虚拟机#linux#ssh
到底了