logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在公有云实现分布式系统上千节点功能测试?Alluxio团队基于Docker的模拟方案和经验总结

01 摘要对分布式系统进行大规模测试通常是一个昂贵但又必要的流程。由于世界上很多公司和机构都依赖Alluxio技术,我们非常重视Alluxio的测试。因此,我们需要解决的一个问题是如何在不耗尽资源的情况下进行大规模测试。在本博客中,我们将展示Alluxio开源项目的开发维护者如何利用公有云基础设施以经济高效的方式构建和测试我们的系统。我们将Alluxio与流行的计算框架(如Spark和Hive).

jvm疯狂吞占内存,罪魁祸首是谁

分享一篇公司小伙伴的关于jvm占用内存的技术文章导读:JVM是Java Virtual Machine的缩写,中文名为Java虚拟机。它是一种用于计算设备的规范,是一个虚构出来的计算机,主要通过在实际的计算机上仿真模拟各种计算机功能来实现的。在实际运用过程中,易观技术人员注意到一台开发机上各个微服务进程占用内存很高,随即便展开了调查......现象:前段时间发现某台开发机上各个微服务进程占...

该虚拟机的某个磁盘已经由虚拟机或者快照使用 问题解决

解决方式如下:1)删除虚拟机配置文件下面的.lck文件2)删除类型为快照的.vmsn/.vmsd文件然后重启虚拟机即可

linux系统关闭IPv6的方式

云服务器 ECS > Linux操作运维问题 > 应用配置 > linux系统关闭IPv6的方式linux系统关闭IPv6的方式IPv6被认为是IPv4的替代产品,它用来解决现有IPv4地址空间即将耗尽的问题。但目前,开启IPv6可能会导致一些问题。因此有时我们需要关闭IPv6。下面是IPv6的关闭方法应该适用于所有主流的Linux发行版包括Ubuntu、D

让keras训练深度网络时使用多个显卡

1、使用nvidia-smi pmon 查看linux系统的gpu情况,如下:显然是2张显卡,如何让它们都工作呢2、keras提供了keras.utils import multi_gpu_model使用多个显卡的功能:在原来的model基础上使用multi_gpu_model函数指定一下gpu个数即可:model =  multi_gpu_model(model, 2)完整列子如下(如粗黑色字体

linux内存条排查

已发现2个内存错误,应用名称(kernel:),日志内容(hangzhou-jishuan-DDS0248 kernel: sbridge: HANDLING MCE MEMORY ERROR hangzhou-jishuan-DDS0248 kernel: EDAC MC0: CE row 5, channel 0, label CPU_SrcID#0_Channel#3_DIMM#1:1 Un

ZooKeeper Watcher注意事项

zookeeper watch的定义如下:watch事件是一次性触发器,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher。需要注意三点:1.一次性触发器client在一个节点上设置watch,随后节点内容改变,client将获取事件。当节点内容再次改变,client不会获取这个事件,除非它又执行了一次读操作并设置watch2.发送至c

ZooKeeper管理员指南——部署与管理ZooKeeper

1.部署本章节主要讲述如何部署ZooKeeper,包括以下三部分的内容:系统环境集群模式的配置单机模式的配置系统环境和集群模式配置这两节内容大体讲述了如何部署一个能够用于生产环境的ZK集群。如果仅仅是想在单机上将ZK运行起来,进行一些开发与测试,那么第三部分或许是你的菜。1.1系统环境1.1.1平台支持平 台

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时在hbase中经常会遇到regionserver挂掉的情况,查看日志会看到这样的错误信息2016-02-16 11:51:24,882 WARN  [master/hadoop02/192.168.100.5:6000] zookeeper.ZKUtil: master:6000-0x352..

ClusterId read in ZooKeeper is null 处理

ClusterId read in ZooKeeper is null.Re-running the program after fixing issue 1 will result in the following error in the log file (Oddly logged at INFO level)13/12/11 09:45:33 INFO zookeeper.

    共 29 条
  • 1
  • 2
  • 3
  • 请选择