logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hbase从入门到入坑

目录一 什么是HBASE二 安装HBASE三 hbase初体验四 HBASE客户端API操作五 HBASE运行原理5.1 master职责5.2 Region Server 职责5.3 zookeeper集群所起作用5.4 HBASE读写数据流程5.5 hbase:meta表5.6 Region Server内部机制一 什么是HBASEH...

文章图片
#hbase#数据库#大数据
TypeError: Object of type ‘Decimal‘ is not JSON serializable

Traceback (most recent call last):File "pg2drg2pg.py", line 259, in post2DrgAndGetSqldata = json.dumps(i_params)File "/usr/local/python3/lib/python3.6/json/__init__.py", line 231, in dumps...

SparkStreaming消费Kafka的offset的管理方式

目录pom.xml1.自动提交偏移量(默认)2.手动提交偏移量3.Mysql管理偏移量3.1 建表语句3.2 配置文件​3.3代码4.Redis管理偏移量pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/P...

Flink Kafka读取数据并写入Redis实现Exactly-Once

pom.xml<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements.See the NOTICE filedistributed with this work for additional informationregarding copyrig

Filebeat的入门安装使用

日志采集的工具有很多种,如logagent, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢?因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存,而filebeat只需要10来M内存资源。常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat送到kafka消息队列,然后使用l

文章图片
#elasticsearch#java#大数据
logstash采集数据到es

日志格式:{"Q1":62442457475833333,"Q2":2016811232228686,"date":1556186700487}logstash配置文件:input {kafka {zk_connect => "localhost:2181"group_id => "test"topic_id => "test"...

文章图片
#elasticsearch#大数据#搜索引擎
hbase整合pheonix

Phoenix,由saleforce.com 开源的一个项目,后又捐给了Apache。它相当于一个Java 中间件,帮助开发者,像使用jdbc 访问关系型数据库一样,访问NoSql 数据库HBase。Apache Phoenix 与其他Hadoop 产品完全集成,如Spark,Hive,Pig,Flume 和MapReduce。一.安装pheonix1.1 下载pheonixhtt...

文章图片
#hbase#数据库#大数据
Superset从入门到真香

​一 superset概述1.1官网https://superset.apache.org/1.2简介Superset快速,轻巧,直观,并带有各种选项,使各种技能的用户都可以轻松浏览和可视化其数据,从简单的折线图到高度详细的地理空间图。Apache Superset(Incubating)是一种现代的,可用于企业的商业智能Web应用程序。它快速,轻巧,直观,并带有各种选项,使所有技能的用户都可以轻

文章图片
#数据仓库
sklearn降维

1.sklearn降维APIsklearn. decomposition2.PCA本质:PCA是一种分析、简化数据集的技术目的:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息。作用:可以削减回归分析或者聚类分析中特征的数量3.通过公式计算4.PCA语法# coding=utf-8_author_ = 'liuzc'from sklear...

到底了