决定做一个非常无聊的实验，众所周知现在使用spark进行数据分析一般采用rdd分布式编程、dataframe接口和使用spark sql执行的方式，那么在忽略数据加载速度的情况下，究竟哪种方式的运行速度最快呢？至于rdd和dataframe数据集的原理和区别，我就不在这里介绍了，可以看RDD DataFrame Dataset 三者的优缺点 , 三者之间的创建 , 以及相互转换这篇文章。数据集..

最近我们的elasticsearch6.6.1集群出现了停止服务的故障，客户端提示多个节点连接无响应。检查服务器上的日志，发现如下错误日志：从错误日志可以看到，jvm首先进行了Full GC。一般老年代空间只有在新生代对象转入及创建为大对象、大数组时才会出现不足的现象。所谓大对象，是指需要大量连续内存空间的java对象，例如很长的数组，此种对象会直接进入老年代，而老年代虽然有很大的剩余空间，但..

本文记录了一个使用rpc进行简单文件共享的程序，仅用于p2p原理学习，关于这段代码中的异常处理等部分还有很多值得学习的地方。server.py# -*- coding=utf-8 -*-from xmlrpclib import ServerProxy, Faultfrom SimpleXMLRPCServer import SimpleXMLRPCServerfrom SocketServ

spring整合spark依赖冲突在配置spring和spark的整合开发环境时，出现了很多编译错误，将其整理如下首先在选择开发环境版本时，我们考虑了集群的编译版本：[root@manager01 ~]# spark-shellSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(ne...

本文介绍了在centos7系统中如何通过源码下载和安装workflow，以及利用cmake配置项目环境，跑通demo的过程。

Unity 机器学习代理工具包 (ML-Agents) 是一个开源项目，它使游戏和模拟能够作为训练智能代理的环境。 unity官方提供基于PyTorch的强化学习算法的实现，使游戏开发人员和爱好者能够轻松地为 2D、3D 和 VR/AR 游戏训练智能代理。 研究人员还可以使用提供的简单易用的 Python API 来训练使用强化学习、模仿学习、神经进化或任何其他方法的代理。本文主要围绕官方提供的

1. boltdb数据库db.Opne()代码流程分析根据bolt db 的官方文档，我们可以看到初始化数据库只需要一行代码。The top-level object in Bolt is a DB. It is represented as a single file on your disk and represents a consistent snapshot of your dat...

本文的前提是我们已经在linux系统上基于cdh实现了Sparkon Yarn集群的搭建。python的版本选择上，我们选择python2.7版本，安装方式选择anconda安装，这里就不详细赘述了。一、pyspark的导入找到“/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark/python/pyspark”即spar...

1. Ch1-1 计算机网络体系结构搞清楚网络的基本概念 ：要会计算几个重要的性能参数。1.1. 什么是计算机网络？计算机网络是互联的通用计算机的集合。1.2. 构成网络 = {节点，链路} = {V，L}节点（Node）:端节点：自身拥有计算机资源的源宿用户设备转接节点：支持网络连通并在网络中对数据起交换和转接的节点，如 交换机/路由器/集线器链路(Link)：物理链路：在物...

1. 拥塞（congestion）当过多的包在网络缓冲区中竞争某个相同链路时，队列会溢出丢包，当这种丢包成为普通事件时，则称网络发生拥塞。简单概述就是对聚合带宽的需求超过了链路的可用容量。1.1. 产生原因宏观原因：网络资源分布不均匀，流量分布不均匀，微观原因：报文聚合到达率大于路由器输出链路的带宽1.2. 后果多个包丢失，链路利用率低下全网同步振荡，吞吐量下降高排队延迟，拥塞...