logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python - sql + pandas 与 sqlite 结合

SQLite关联式资料库-SQLiteFirefox的附加组件中搜索安装即可python 自带sqlite3 模块# coding: utf-8# In[2]:import sqlite3 as dbcon = db.connect('test.sqlite')cur = con.cursor()sql = 'SELECT SQLITE_VERSION

python - 1024 Spider

python3 urlretrieve import urllib.requesturl = 'http://i3.hunantv.com/p1/20150906/1637244570C.jpg'file_name = 'F:\\img\\ym.jpg'...# Download the file from `url` and save it locally under `fi

#python
hadoop distcp 报错: Could not find any valid local directory for s3ablock-xxxx

fs.s3a.buffer.dirdefualt:${hadoop.tmp.dir}/s3adesc:Comma separated list of directories that will be used to buffer file uploads to.此参数在用到org.apache.hadoop.fs.s3a.S3AFileSystem 时使用,在写 s3a 时先在本地的local 存

Java - 简单可达性分析

可以作为GC Root 的对象1. 方法区中常量引用的对象2. 方法区中静态属性引用的对象3. 虚拟机栈中引用的对象4. 本地方法栈中引用的对象可达性分析通过GC Root 作为起始点(根节点),向下搜索,走过的路径称为引用链。当一个对象到GC Root 无任何引用链时,此对象不可活。当对象不可活时,仍然可以通过finalize 方法进行自救。

Linux — Ubuntu(主机) ssh 免密码登录到 centos(虚拟机)

1、建立主机虚拟网络2、创建一个虚拟网卡(链接方式也可以选择桥接连接)3、登录到centos 设置ip# 修改主机名:vim /etc/sysconfig/network#设置ip# 修改主机名和IP的映射关系      vim /etc/hosts# 关闭防火墙 4

#centos#虚拟机#ssh
Hadoop - 更换节点ip 地址之后(虚拟机中的伪分布模式,学习format)

1、更改网卡的 ip 地址2、更改 /etc/hosts 中的 master 对应的 ip (这个一定要写对啊)3、hadoop namenode -format之前的准备阶段(删除一些文件)还要删除这个文件夹 hadoop-2.4.1/logs4、hadoop namenode -format

Zookeeper - ZAB 集群数据同步的过程

Zookeeper 事务ID每个zookeeper 事务都有一个全局唯一的事务ID,ZXID。ZXID 高32 位是leader 周期epoch,低32 位是递增计数器。第一阶段(准leader 生成初始化事务集合)所有follower 向准leader 发送自己最后接收的事务的epoch;准leader 选取最大的epoch,加1得到e1,将e1 发送给follower;fo

#zookeeper
《利用Python 进行数据分析》 - 笔记(2)

问题导读:1.NumPy 的 ndarray:一种多维数数组对象解决方案:NumPy 的 ndarray:(1)简介:ndarray是numpy 的一个N维数组对象,该对象是一个快速而灵活的大数据集容器。我们可以利用这个数据结构对整块数据执行一些数学运算,In [13]: data = np.random.rand(2,3)In [14]: da

#python#numpy
Spark - Hadoop-Spark-Hive-Kafka-Flume 分布式集群搭建 与 spark rdd常用api操作

Hadoop + Spark + Hive + Kafka + Flume 分布式集群搭建 链接: https://pan.baidu.com/s/1nvDPaGD 密码: yu6xSpark RDD 常用API解析

    共 18 条
  • 1
  • 2
  • 请选择