logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于jupyter搭建pyspark编程环境

本文的前提是我们已经在linux系统上基于cdh实现了Sparkon Yarn集群的搭建。python的版本选择上,我们选择python2.7版本,安装方式选择anconda安装,这里就不详细赘述了。一、pyspark的导入找到“/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/spark/python/pyspark”即spar...

#spark#ipython#jupyter
计算机网络——从直连网络到以太网

1. Ch1-1 计算机网络体系结构搞清楚网络的基本概念 :要会计算几个重要的性能参数。1.1. 什么是计算机网络?计算机网络是互联的通用计算机的集合。1.2. 构成网络 = {节点,链路} = {V,L}节点(Node):端节点:自身拥有计算机资源的源宿用户设备转接节点:支持网络连通并在网络中对数据起交换和转接的节点,如 交换机/路由器/集线器链路(Link):物理链路:在物...

#网络
计算机网络——拥塞控制(1)

1. 拥塞(congestion)当过多的包在网络缓冲区中竞争某个相同链路时,队列会溢出丢包,当这种丢包成为普通事件时,则称网络发生拥塞。简单概述就是对聚合带宽的需求超过了链路的可用容量。1.1. 产生原因宏观原因:网络资源分布不均匀,流量分布不均匀,微观原因:报文聚合到达率大于路由器输出链路的带宽1.2. 后果多个包丢失,链路利用率低下全网同步振荡,吞吐量下降高排队延迟,拥塞...

#网络
Spring Boot2配置Sqlite数据库JPA

什么是JPA?JPA是Java Persistence API的简称,中文名Java持久层API,是JDK 5.0注解或XML描述对象-关系表的映射关系,并将运行期的实体对象持久化到数据库中。The Java Persistence API provides a POJO persistence model for object-relational mapping. The Java Pe...

#spring#sqlite
在云服务器上从零搭建nginx+uwsgi+django服务器

笔者使用腾讯云服务器,centos7 64位镜像,自带 python 2.7.5 无需安装现在安装 pipwget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gztar zvxf 1.5.5.tar.gzcd pip-1.5.5/python setup.py insta

#django#nginx#python +2
AS build安卓项目出现“Read timed out”错误

错误日志org.gradle.internal.exceptions.LocationAwareException: A problem occurred configuring root project 'TextureMusic'.Caused by: org.gradle.api.ProjectConfigurationException: A problem occurred conf..

#android#gradle#android studio
到底了