logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

postgresql性能参数配置

查询Linux服务器配置在进行性能调优之前,需要清楚知道服务器的配置信息,比如说 CPU,内存,服务器版本等信息。查询系统版本信息root@ubuntu160:~# lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription:Ubuntu 14.04.3 LTSRelease...

#postgresql#linux
【sqoop隐藏bug】sqoop从mysql导到hive时tinyint(1)格式自动变成Boolean解决方案

官网原文:27.2.5. MySQL: Import of TINYINT(1) from MySQL behaves strangelyProblem: Sqoop is treating TINYINT(1) columns as booleans, which is for example causing issues with HIVE import. This is because...

#sqoop#hadoop
mysql、flume、zookeeper、kafka快速搭建

准备做实时数据计算。数据源为mysql的20张表吧。通过flume解析binlog日志,然后sink到kafka,由sparkstreaming消费,实时处理业务数据生成目标数据写到我们的mysql中。 一.mysql搭建0. 检查是否已安装并删除已安装的包yum list installed mysql* yum remove mysql-community-clien...

#mysql#zookeeper#kafka +2
Springboot数据库连接池报错SocketTimeoutException:

Springboot数据库连接池报错SocketTimeoutException:java.net.SocketException: Broken pipe 移除点击此处添加图片说明文字​发现服务一般过一段时间会报错。​ 移除点击此处添加图片说明文字​注意这个报错: 移除点击此处添加图片说明文字可以看到​Read timed out 这个异常通常在L

#java#mysql#数据库
spark与hadoop维护job、application

1.首先来看spark如何查看或者停止任务。yarnapplication-list查询所有的任务;然后使用yarnapplication-kill<appId>2.hadoop列出Jobtracer上所有的作业hadoop job -list使用hadoop job -kill杀掉指定的jobidhado...

#大数据#hadoop#spark
hive 数据安全

hive 数据安全​角色管理--创建和删除角色 create role role_name; drop role role_name; --展示所有roles show roles --赋予角色权限 grant select on database db_name to role role_name;   

#hive#sql#大数据
数据仓库Hive表

数据仓库Hive表,并且导入数据,整理文档接下来跑服务器环境,环境和本地有所区别了。​首先我们拿到几个目录,可以开干了。源数据目录,hdfs放置目录,集群地址即可。tar zxvf SafeData-2017-06-26.har.tar.gz -C /data/data/

#hive#数据仓库#大数据 +1
大数据角度给大家解释一下为什么大数据AI分析足彩是扯淡

从大数据角度给大家解释一下为什么大数据AI分析足彩是扯淡的:如果相同的维度,维度包括球员、场内、场外、教练组、基本面、伤病、阵容等不变,你让两个队踢100万场,那么我们确实可以回归出来一个胜平负的率,请注意我指的是这些维度都不变,狂踢100万场。实际情况呢?即使现在通过数据训练出来了模型,告知你,世界杯小组赛最后一轮,德国踢韩国,德国队必赢(或者韩国队必赢),你敢买?你敢买吗?球队几个月几年碰一次

#大数据
【HBase数据开发】最新centos安装python3X做数据分析

Linux下安装Python3在Linux系统中,一般都自带Python,不过Linux下自带Python大都是 2.x版本,如果我们想要使用python3的话,最好是再重新装一个Python3的环境,让python2和python3共存。注意:最好不要删除自带的python2,因为可能有其他地方依赖python2,直接删掉的可能会导致其他的问题。下载python3安装包本次我们要安装的是 Pyt

#大数据#python
wxpy itchat 扫码登录微信报错 KeyError: 'pass_ticket' 后台报错码1203 为了你的账号安全,此微信号不能登陆网页微信

使用itchat、wxpy模块对接微信登陆,在扫描程序弹出二维码后,使用手机微信扫描登陆之后报KeyError: 'pass_ticket'。原因就是微信禁止该账号登陆微信网页版,如下图:首先搞懂原因pyhton的itchat、wxpy都可以结合机器学习自动化聊天的,可惜的是,微信从19年7月份已经逐渐关闭微信网页版了,同时将于20年1月1日彻底关闭网页版(...

#大数据
    共 12 条
  • 1
  • 2
  • 请选择