logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

TypeError: Object of type ‘Decimal‘ is not JSON serializable

Traceback (most recent call last):File "pg2drg2pg.py", line 259, in post2DrgAndGetSqldata = json.dumps(i_params)File "/usr/local/python3/lib/python3.6/json/__init__.py", line 231, in dumps...

一文带你全方位(架构,原理及代码实现)了解Flink(3.2W字建议收藏)

注:最底部有PDF目录​一 flink简介1.1 什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。1.2 flink特点批流统一支持高吞吐、低延迟

文章图片
#flink#big data#scala
一文带你全方位(架构,原理及代码实现)了解Flink(3.2W字建议收藏)

注:最底部有PDF目录一 flink简介1.1 什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。​1.2 flink特点批流统一支持高吞吐、低延迟

datax同步oracle数据到pg

{"job": {"setting": {"speed": {"channel": 1},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "oraclereader","pa...

shell编程基础

目录1 shell介绍1.1 什么是shell1.2 shell脚本的执行方式2 shell中的变量2.1 系统变量2.2定义变量2.3 将命令的返回值赋给变量2.4 特殊变量3 运算符4 流程控制4.1 for循环4.2 while循环4.3 case4.4 if判断4.5 常用判断条件5 read命令6 shell自定...

文章图片
#bash#linux#开发语言
Scala编程基础

目录一 Scala概述1.1 什么是scala1.2 为什么要学scala1.3 Spark函数式编程初体验二 Scala开发环境2.1 安装JDK2.2 安装Scala2.2.1 Windows安装Scala编译器2.2.2 Linux中安装Scala编译器2.3 IDEA安装2.4 Scala插件离线安装2.5 IDEA创建Scala工程...

文章图片
#scala#开发语言#后端
Filebeat的入门安装使用

日志采集的工具有很多种,如logagent, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢?因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存,而filebeat只需要10来M内存资源。常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat送到kafka消息队列,然后使用l

文章图片
#elasticsearch#java#大数据
Hbase从入门到入坑

目录一 什么是HBASE二 安装HBASE三 hbase初体验四 HBASE客户端API操作五 HBASE运行原理5.1 master职责5.2 Region Server 职责5.3 zookeeper集群所起作用5.4 HBASE读写数据流程5.5 hbase:meta表5.6 Region Server内部机制一 什么是HBASEH...

文章图片
#hbase#数据库#大数据
TypeError: Object of type ‘Decimal‘ is not JSON serializable

Traceback (most recent call last):File "pg2drg2pg.py", line 259, in post2DrgAndGetSqldata = json.dumps(i_params)File "/usr/local/python3/lib/python3.6/json/__init__.py", line 231, in dumps...

SparkStreaming消费Kafka的offset的管理方式

目录pom.xml1.自动提交偏移量(默认)2.手动提交偏移量3.Mysql管理偏移量3.1 建表语句3.2 配置文件​3.3代码4.Redis管理偏移量pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/P...

    共 15 条
  • 1
  • 2
  • 请选择