logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

概念 : ODS 、数据仓库

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全...

【华为云技术分享】快速理解spark-on-k8s中的external-shuffle-service

【摘要】 external-shuffle-service是Spark里面一个重要的特性,有了它后,executor可以在不同的stage阶段动态改变数量,大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看,在k8s上要实现这个external-shuffle-service特性的最新进展吧。如果你想在kubernetes集群中运行Spark任务,那么你可能会对:如何

学习笔记 --- JVM 堆外内存(off-heap)、堆内内存(on-heap)

堆内内存(on-heap)Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的,也称为堆内内存(on-heap memory)。虚拟机会定期对垃圾内存进行回收,在某些特定的时间点,它会进行一次彻底的回收(full gc)。彻底回收时,垃圾收集器会对所有分配的堆内内存进行完整的扫描,这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响,跟堆的大小是成正比的。过大的堆会影响..

Mark - 云存储性能测试工具--COSBench

转 : https://ceph.com/planet/cosbench%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95/一、COSBench安装COSBench是Intel团队基于java开发,对云存储的测试工具,全称是Cloud object Storage Bench吐槽下,貌似这套工具是intel上海团队开发的,竟然没有中文的相关资料。同所有的性能测...

JVM-JVM性能调优之生成堆的dump文件

最近因项目存在内存泄漏,故进行大规模的JVM性能调优,现把经验做一记录。JVM内存模型及垃圾收集算法1.根据Java虚拟机规范JVM将内存划分为:New(年轻代)Tenured(年老代)永久代(Perm)其中New和Tenured属于堆内存,堆内存会从JVM启动参数(-Xmx:3G)指定的内存中分配,Perm不属于堆内存,有虚拟机直接分配,但可以通过-XX:Pe...

OpenStack 与 OpenShift

这两者其实没什么可比性,因为OpenStack和OpenShift是两个在概念上完全不同的云计算架构,要理解两者不同,首先需要了解一下两者都是做什么用的。OpenStack是IaaS(Infrastructureas a Service),云计算的基础是虚拟化,IaaS的目标就是解决计算机资源问题,通过它来启动,分配和管理虚拟机资源,例如大名鼎鼎的亚马逊EC2所提供的就是IaaS(EC2用的是z.

linux下写穿/直写(Write-Through)与写回(Write-Back)

CPU使用高速缓存(DCache)时,它对内存的的写操作有两种模式:写穿(write-throuht)、写回(write-back)。写穿(write-throuht)模式该模式下,CPU对主存写数据时,不经过DCdcache直接写到内存,此时对于写的实现比较简单,如果系统只用写穿模式的话,DCache则变成了读缓存了。写回(write-back)模式:CPU写入数据时,不...

Netflix Conductor - 一个微服务编排工具

Netflix内容平台工程团队运行许多业务流程,这些业务流程是通过在微服务上执行异步编排任务来驱动的。其中一些流程运行时长多达数天。这些流程在让一切准备好,以呈现给全球用户的过程中,起到了至关重要的作用。这些流程的几个例子:整合工作室合作伙伴的内容摄取从我们的合作伙伴摄入基于IMF的内容在Netflix中设置新的标题的过程+ 内容摄取,编码和部署到CDN按照传统做法,这其...

rancher跟k8s有那些不同

rancher:1、采用图形化方式:易用的Web管理界面,在Docker易用性的基础上,再一次降低了使用容器技术部署容器应用的难度。2、支持多种调度器:通过环境模板,很容易地创建和部署Cattle、Swarm、K8S、Mesos容器集群管理调度平台。3、管理主机集群:管理对象是多台主机的集群,而不仅仅是单台容器主机,创建和管理几台、几十台应用服务器集群,只需要Ctrl+C、Ctrl+V...

k8s-存储篇

本章目录存储分类emptydirhostpathpvc,pv,nfs一 k8s存储分类  我一直相信画出图来再去了解比较直观,下面是我总结的k8s存储的分类,供参考  k8s的存储常用的就是上面几种模式,分为临时存储,半持久化存储,与持久化存储这三类,本章我们着重讲解emptydir与hostpath与pvc跟pv等二 emptydir  1 emptydi...

    共 28 条
  • 1
  • 2
  • 3
  • 请选择