logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Linux自动化互信配置脚本

我们在安装部署hadoop、kafka等集群环境时,往往需要在每个节点去配置ssh免秘钥登录的互信操作。如果集群节点非常多的情况,将会带来很大的工作量,因此开发一个自动化互信配置脚本就显得很有必要。自动化互信配置脚本: 根据设置好的HOSTS,自动化的配置与所有的主机的互信。#!/bin/bash# auto_mutual_trust.shset -eWORKDIR=`cd $(dirname $

#ssh#hadoop#linux
自动化生成标准ETL脚本

在做ETL开发的时候,如果针对每一个字段的处理逻辑基本相同,需要处理的字段和模型又特别多。在这种情况下我们可以通过此ETL生成器,批量生成标准的ETL。

#自动化#etl#运维
flink部署模式总结

基于flink-1.15.0此部署模式主要用于测试此部署模式,由flink自己负责资源管理分配此部署模式,main函数在jobmanager运行并生成job graph,减轻客户端压力部署方式:flink部署模式(一)- standalone和application此部署模式,共享jobmanager和taskmanager,所有的job都在一个runtime中运行。优点:启动集群只有jobman

#flink#java#big data
linux内核bug修复方案:网络设备引用计数泄漏

服务器安装Docker后,在进行服务重新部署后,出现 kernel:unregister_netdevice: waiting for veth2e632a2 to become free. Usage count = 1错误频繁输出,影响操作。适用内核版本:3.10.* 关键词:kernel:unregister_netdevice: waiting for … to become free.

文章图片
#linux#bug#运维
kafka 监控相关指标API

基于kafka 2.0 版本开发,需要以下依赖<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>2.0.0</version></dependency>基础类

#kafka#大数据
kafka事务的应用场景实例分析

文章目录kafka事务的应用场景示例demokafka事务的应用场景在Kafka事务中,一个原子性操作,根据操作类型可以分为3种情况。情况如下:只有Producer生产消息,这种场景需要事务的介入;消费消息和生产消息并存,比如Consumer&Producer模式,这种场景是一般Kafka项目中比较常见的模式,需要事务介入。Kafka的事务主要用来处理consume-process-pro

#kafka#大数据
jenkins升级

在原来的jenkins基础之上,已打补丁的方式进行升级,升级有可能涉及jdk版本的变更。升级以后的jenkins,所有配置与原来一样,只是在版本上做了更新。

文章图片
#jenkins#运维#java
配置nginx支持ssl

1.通过这个命令在当前目录西下生成了server.key和server.crt文件,在nginx配置中要用,-days表示证书有效期,其他都不用改openssl req -x509 -nodes -days 36500 -newkey rsa:2048 -keyout server.key -out server.crt执行过程中需输入的地方2.然后修改nginx配置就行,如要在server部分增

文章图片
#websocket#https#ssl
nginx跨域配置

可能是test01.domain.com或者公司外层网关负载有类似防盗链配置,因为本地其他域名跨域没有类似问题。这个配置导致跨域失败,配置的作用是把原http请求的header中的host字段(即域名)放到转发请求里面。test02.domain.com与test01.domain.com 为不同域名,互访需要跨域。或者不配置默认:test01.domain.com。

文章图片
#服务器#网络#linux
nginx upstream健康检测

nginx本身提供有健康检测module,利用自身的module可以实现简单的健康检测。

文章图片
#nginx#junit#运维
    共 30 条
  • 1
  • 2
  • 3
  • 请选择