
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全...
【摘要】 external-shuffle-service是Spark里面一个重要的特性,有了它后,executor可以在不同的stage阶段动态改变数量,大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看,在k8s上要实现这个external-shuffle-service特性的最新进展吧。如果你想在kubernetes集群中运行Spark任务,那么你可能会对:如何
堆内内存(on-heap)Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的,也称为堆内内存(on-heap memory)。虚拟机会定期对垃圾内存进行回收,在某些特定的时间点,它会进行一次彻底的回收(full gc)。彻底回收时,垃圾收集器会对所有分配的堆内内存进行完整的扫描,这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响,跟堆的大小是成正比的。过大的堆会影响..
转 : https://ceph.com/planet/cosbench%E4%BD%BF%E7%94%A8%E6%96%B9%E6%B3%95/一、COSBench安装COSBench是Intel团队基于java开发,对云存储的测试工具,全称是Cloud object Storage Bench吐槽下,貌似这套工具是intel上海团队开发的,竟然没有中文的相关资料。同所有的性能测...
最近因项目存在内存泄漏,故进行大规模的JVM性能调优,现把经验做一记录。JVM内存模型及垃圾收集算法1.根据Java虚拟机规范JVM将内存划分为:New(年轻代)Tenured(年老代)永久代(Perm)其中New和Tenured属于堆内存,堆内存会从JVM启动参数(-Xmx:3G)指定的内存中分配,Perm不属于堆内存,有虚拟机直接分配,但可以通过-XX:Pe...
这两者其实没什么可比性,因为OpenStack和OpenShift是两个在概念上完全不同的云计算架构,要理解两者不同,首先需要了解一下两者都是做什么用的。OpenStack是IaaS(Infrastructureas a Service),云计算的基础是虚拟化,IaaS的目标就是解决计算机资源问题,通过它来启动,分配和管理虚拟机资源,例如大名鼎鼎的亚马逊EC2所提供的就是IaaS(EC2用的是z.
CPU使用高速缓存(DCache)时,它对内存的的写操作有两种模式:写穿(write-throuht)、写回(write-back)。写穿(write-throuht)模式该模式下,CPU对主存写数据时,不经过DCdcache直接写到内存,此时对于写的实现比较简单,如果系统只用写穿模式的话,DCache则变成了读缓存了。写回(write-back)模式:CPU写入数据时,不...
Netflix内容平台工程团队运行许多业务流程,这些业务流程是通过在微服务上执行异步编排任务来驱动的。其中一些流程运行时长多达数天。这些流程在让一切准备好,以呈现给全球用户的过程中,起到了至关重要的作用。这些流程的几个例子:整合工作室合作伙伴的内容摄取从我们的合作伙伴摄入基于IMF的内容在Netflix中设置新的标题的过程+ 内容摄取,编码和部署到CDN按照传统做法,这其...
rancher:1、采用图形化方式:易用的Web管理界面,在Docker易用性的基础上,再一次降低了使用容器技术部署容器应用的难度。2、支持多种调度器:通过环境模板,很容易地创建和部署Cattle、Swarm、K8S、Mesos容器集群管理调度平台。3、管理主机集群:管理对象是多台主机的集群,而不仅仅是单台容器主机,创建和管理几台、几十台应用服务器集群,只需要Ctrl+C、Ctrl+V...
本章目录存储分类emptydirhostpathpvc,pv,nfs一 k8s存储分类 我一直相信画出图来再去了解比较直观,下面是我总结的k8s存储的分类,供参考 k8s的存储常用的就是上面几种模式,分为临时存储,半持久化存储,与持久化存储这三类,本章我们着重讲解emptydir与hostpath与pvc跟pv等二 emptydir 1 emptydi...