logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

redis快照文件dump.rdb解析工具--redis-rdb-tools

redis-rdb-tools 是一个开源的解析redis快照文件dump.rdb的工具,解析出dump.rdb文件后可以用来做数据分析,redis数据恢复或者写入到其他key-value缓存系统中。1.下载&安装git clone https://github.com/sripathikrishnan/redis-rdb-toolscd redis-rdb-toolssu

hive中Sort By,Order By,Cluster By,Distribute By,Group By的区别

order by:hive中的order by 和传统sql中的order by 一样,对数据做全局排序,加上排序,会新启动一个job进行排序,会把所有数据放到同一个reduce中进行处理,不管数据多少,不管文件多少,都启用一个reduce进行处理。如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数,原因是:所有的数据都会

#hive#大数据#mapreduce +1
Aerospike数据库实战(四) -- Aerospike 安装部署

1 Aerospike Databases部署前准备工作尽量不要对ssd做RAID,RAID控制器会带来不必要的延迟如果必须做RAID,建议每块盘单独做RAID0。如果做了RAID,需要利用 LSI Mega CL 进行一些优化设置。参考:LSI Mega CLI: [[http://www.aerospike.com/docs/operations/plan/ssd/lsi_megacl

#大数据#数据库
Aerospike数据库实战(五) -- Aerospike C Client 开发

1. C Client 安装sudo yum install openssl-develsudo yum install gcc gcc-c++wget -S "http://www.aerospike.com/artifacts/aerospike-client-c/3.1.18/aerospike-client-c-3.1.18.el6.x86_64.tgz"tar -zxvf a

#大数据#数据库
http响应状态码测试脚本(python版)

本人原创,转载请注明出处,合法转载!#!/bin/evn python#Basic Test Case For Http Server#RangeYanimport requestsimport tracebackimport timeTestCaseIndex_Host_Mapping = {}TestCaseIndex_Url_Mapping = {}TestCa

#python#测试
python发送邮件脚本(支持多个附件,中文)

本人原创文章,转载请注明来源,合法转载!#!/usr/bin/env python# -*- coding: utf-8 -*-import smtplibimport sysfrom email.mime.text import MIMETextimport linecacheimport emailimport os###################### se

python 并发编程(多进程、多线程、gevent)

本人原创,转载请注明出处,合法转载1.python 多进程+gevent实现并发#!/bin/env python#-*- coding: UTF-8 -*-from __future__ import print_functionfrom multiprocessing import Poolimport threadingimport osimport sysimpor

Kafka踩坑 - Couldn't find leaders for Set

SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常:org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是Spark找不到partition的Leader。查看监控后发现,在异常发生的时间点

到底了