logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ETL学习总结(2)——ETL数据集成工具之kettle、sqoop、datax、streamSets 比较

前言对于数据集成类应用,通常会采用ETL工具辅助完成。ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多,以下对开源的 Kettle、Sqoop、Datax、Streams..

Postman使用总结(1)——Postman 自动化测试小结

一、接口结果判断首先,既然是自动化测试,那么我们肯定需要通过工具 Postman 或者代码,帮我们直接判断结果是否符合预期。那么在接口测试上,大体就两个思路:1. 判断请求返回的 code 是否符合预期;2. 判断请求返回的内容中是否包含预期的内容(关键字)。接下来我们看看如何利用 Postman 来解决上述的问题:1.1、功能区在 Postman 中相关的功能在非常显眼的地方,T...

饿了么分布式服务治理及优化经验

导读:高可用架构 7 月 30 日在上海举办了『互联网架构的基石』专题沙龙,进行了闭门私董会研讨及对外开放的四个专题的演讲,期望能促进业界对互联网基础架构的建设及发展,本文是兰建刚分享饿了么服务治理经验。兰建刚,饿了么框架部门技术总监,前爱立信首席软件工程师,10 年以上高可用性,高并发系统架构设计经验。现饿了么框架工具部负责人,负责饿了么中间件的设计及实施,通过中间件以及研发工具的辅助提

算法学习总结(2)——温故十大经典排序算法

一、什么是排序算法1.1、排序定义对一序列对象根据某个关键字进行排序。1.2、排序术语稳定:如果a原本在b前面,而a=b,排序之后a仍然在b的前面;不稳定:如果a原本在b的前面,而a=b,排序之后a可能会出现在b的后面;内排序:所有排序操作都在内存中完成;外排序:由于数据太大,因此把数据放在磁盘中,而排序通过磁盘和内存的数据传输才能进行;时间复杂度:一个算法执行所耗费的时间。空间...

PostgreSQL学习总结(8)—— PostgreSQL 基于数据库和基于模式(schema)的多租户分析

基于 DATABASE 的多租户1.、优点数据库的方式隔离比较彻底,共用的资源较少。可以实现存储的隔离;可以实现 connection 的隔离;可以实现auth的隔离;可以实现权限的隔离。从认证层面就开始隔离了,数据库与数据库之间也无法直接访问,必须要登陆到对方的数据库中才能访问对方的数据(即使使用 fdw,,dblink 也是有登陆的过程的)。陆时可以通过 pg_hba.conf 控制来源 IP

#sql#postgresql#数据库
PostgreSQL学习总结(10)—— PostgreSQL 数据库体系架构

PG 架构图进程说明进程说明Postmaster主进程是整个数据库实例的总控进程,负责启动和关闭该数据库实例Potgres(常驻进程)管理后端的常驻进程,也称为“postmaster”。其默认监测UNIXDomain Socket和TCP/IP(Windows等,一部分的平台只监测TCP/IP)的5432端口,等待来自前端的的连接处理。监测的端口号可以.

文章图片
#数据库#postgresql
2018年人工智能之自动驾驶研究报告

摘要当今,自动驾驶技术已经成为整个汽车产业的最新发展方向。应用自动驾驶技术可以全面提升汽车驾驶的安全性、舒适性,满足更高层次的市场需求等。自动驾驶技术得益于人工 智能技术的应用及推广,在环境感知、精准定位、决策与规划、控制与执行、高精地图与车联网 V2X 等方面实现了全面提升。科研院校、汽车制造厂商、科技公司、自动驾驶汽车创业公司以及汽车零部件供应商在自动驾驶技术领域进行不断地探索,寻求...

Terraform 学习总结(10)—— 阿里云平台 Terraform 代码开发技巧总结

Terraform 是一个开源的自动化资源编排工具。资源编排服务 ROS(Resource Orchestration Service)为 Terraform 提供了托管的能力。当您了解了 Terraform 和 Terraform 托管方式,需要开发 Terraform 代码并在 ROS 中使用时,可以采用本文介绍的开发方式和开发建议。

#terraform
Terraform 学习总结(9)—— 如何解决存量云资源的管理难题

场景一的解决方案:通过 terraform import 命令来完成对存量资源的导入,进而使用 Terraform 统一管理。场景二的解决方案:在确定清楚参数属性具体值之后,如果以模板参数值为准,那么只需运行 apply 命令再变更回来即可;如果以控制台的值为准,那么只需补充或修改模板参数值即可。场景三的解决方案:可以先通过terraform state rm命令将所有需要重组的资源移出State

#terraform
Kubernetes 学习总结(41)—— 云原生容器网络详解

随着网络技术的发展,网络的虚拟化程度越来越高,特别是,叠加了物理网络、虚机网络和容器网络,数据包在网络 OSI 七层网络模型、TCP/IP 五层网络模型的不同网络层进行封包、转发和解包。网络数据包跨主机网络、容器网络、虚机网络和物理网络到达对端,期间必然带来网络性能损耗。

文章图片
#云原生#kubernetes
    共 69 条
  • 1
  • 2
  • 3
  • 7
  • 请选择