fatal: unable to access 'https://github.com/xxx/project.git': Failed to connect to 127.0.0.1 port 54427: Connection refused

添加国内镜像以解决报错：Could not find a version that satisfies the requirement numpy (from versions: )No matching distribution found for numpy

本文是对 《利用Python进行数据分析》中关于数据读取的回顾性总计笔记，包含代码注释等。

在jupyternote book中，当dataframe数据的列数或行数很多时，默认为了减少显示的面积会只能显示其中部分列或行的数据。本文记录如何将数据显示完全和如何复原默认操作。问题： 列或行显示不全如：列显示不全解决方式：pd.set_option('display.max_columns', None)#显示所有列pd.set_option('display.max_columns', N

pandas函数中pandas.DataFrame.from_dict 直接从字典构建DataFrame 。参数解析DataFrame from_dict（）方法用于将Dict转换为DataFrame对象。 此方法接受以下参数。data: dict or array like object to create DataFrame.data：字典或类似数组的对象来创建DataFrame。orient

pyspark 从已有数据表读取数据写入目标hive表的代码模板

工作中看代码时遇到lateral view explode(split(sni_type,',')) snTable as sni_info ，初看挺一脸懵逼的，细查之后才明白是对字段sni_type进行分割之后，将分割后中的元素值转换为了多行。具体：split()函数split()函数用于分割数据。语法格式为split(str,sep) ,参数str为字符串类型的字段，sep为分割符（支持正则）

工作中常会需要去对比两个表中某些数据的不同。以及关于join的操作。这里将遇到的记录一下。比较两个表的不同left Join 保证了左表的数据一定会存在，对于这类查Diff的场景很合适下面这个语句可以查出来T2中比T1新增的列与数据key表示连接的关键值，唯一信息的那一列，例如用户ID之类SELECT * FOROM T1LEFT JOINSELECT * FROM T2ON T1.key = T

读取一个文件：直接用文件路径。如果是读取某个文件夹下的所有文件，注意用os.path,逐个读取文件，把新读取到的Dataframe进行concate操作到总的Dataframe中去。详细请见代码。character_list =['1010011_i_u_prov','9010081_i_b_location']#这是读取一个文件的，# data=pd.read_csv('../data/10li

python的环境其实很简单，看喜好。可以conda命令去建虚拟环境，用conda命名将环境配置好，然后在pycharm中选择"preference --> Project:项目名字 -->Project Interpreter ,右侧 ”+“ 点击 add ---> Conda Environment,右侧Existing environment 下方的 interpr...