logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据调度平台Airflow(五):Airflow使用

以上python文件就是Airflowpython脚本,使用代码方式指定DAG的结构。

#大数据#python
linux 服务器常规巡检并生成报表(一)

背景最近接到一个需求要求每天巡检各台业务设备,并导出报表,但一想到设备有N台,一台台每天巡检这样的重复劳作实在是太伤神了,因此决定写一个脚本来搞定这件事。首先,第一个要解决的问题是批量服务器执行命令的问题。之前尝试用过pssh来进行批量服务器上执行脚本,限制较少,效果不错,各位有兴趣的可以试一下,本次为了跟上互联公司的脚步,打算用ansible对服务器进行批量操控。至于ansible的手册介绍可以

#linux
js实现https与http之间的转换

js实现https与http之间的转换<%String context_1 = request.getContextPath();int port = request.getServerPort();String context = "";String httpsPath = "";if(port==80 || port==443){conte

PowerJob 新一代分布式任务调度框架(与xxl-job对比)

PowerJob 是新一代分布式任务调度与计算框架,支持 CRON、API、固定频率、固定延迟等调度策略,提供工作流来编排任务解决依赖关系,能让您轻松完成作业的调度与繁杂任务的分布式计算。

#分布式
大数据调度平台Airflow(一):什么是Airflow

ApacheAirflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项目。Airflow采用Python语言编写,提供可编程方式定义DAG工作流,可以定义一组有依赖的任务,按照依赖依次执行,实现任务管理、调度、

#大数据
架构:短址(short URL)原理及其实现(短地址|短url)

前言:最近看了一些关于短址(short URL)方面的一些博客,有些博客说到一些好的东西,但是,也不是很全,所以,这篇博客算是对其它博客的一个总结吧。介绍:短址,顾名思义,就是把长的 URL 转成短的 URL, 现在提供这种服务的有很多公司,我们以google家的 URL shortener 服务: http://goo.gl/ 为例。首先我们到 http://goo.gl/,然后把本文博客的地址

#架构
google kaptcha 验证码组件使用简介

kaptcha 是一个非常实用的验证码生成工具。有了它,你可以生成各种样式的验证码,因为它是可配置的。kaptcha工作的原理是调用 com.google.code.kaptcha.servlet.KaptchaServlet,生成一个图片。同时将生成的验证码字符串放到 HttpSession中。使用kaptcha可以方便的配置:验证码的字体验证码字体的大小验证码字体的字体颜色验证码内容的范围(数

四张图带你了解Tomcat系统架构

俗话说,站在巨人的肩膀上看世界,一般学习的时候也是先总览一下整体,然后逐个部分个个击破,最后形成思路,了解具体细节,Tomcat的结构很复杂,但是 Tomcat 非常的模块化,找到了 Tomcat最核心的模块,问题才可以游刃而解,了解了Tomcat的整体架构对以后深入了解Tomcat来说至关重要!一、Tomcat顶层架构先上一张Tomcat的顶层结构图(图A),如下:Tomcat中最顶层的容器是S

#tomcat#架构#容器
极简设计模式 - UML类图几种线条

设计模式系列目录中间先夹一篇类图的基本点吧,与人方便自己方便。用CSDN的markdown画了下类图,发现预览和实际不一样。于是放弃它,准备借UML工具画几个比现在更能传神的图,用什么画图不重要,领悟到设计图意思,设计出符合自己需求的实体才是最重要的。后边会花时间把之前的markdown类图改为第三方工具画图再以图片形式粘到对应文章内。下边结合UML图示例,介绍几个线条表示的关系:组合、聚合、关联

#设计模式#uml
java使用第三方字体库的方法,使用第三方ttf/ttc等字体库的方法

java 使用外部字体(.ttf) 完整类有时候我们在程序中,会使用到Java字体,但不是所有的字体系统中都会有,我们就可能会使用外部自定义字体,这样在程序迁移部署中就会少些工作,最近在一个项目中使用到了自定义字体文件,理顺了,记之。import java.awt.Font;import java.io.File;import java.io.FileInputStream;public clas

#java
    共 98 条
  • 1
  • 2
  • 3
  • 10
  • 请选择