logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

手把手教你修改 C 盘用户目录用户名:从中文到英文的避坑指南(亲测有效)

修改用户目录名是系统优化的基础操作,虽然涉及注册表,但按步骤执行风险可控。完成后你的开发环境、软件兼容性都会更稳定,再也不用担心中文路径引发的玄学问题了!

文章图片
#windows#microsoft#系统安全
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器

在 SparkSQL 出现之前,大家用 Spark Core 处理数据得写一堆代码,比如统计个单词出现次数,得写循环、调用各种算子... 想想就头大😫但咱们平时处理的数据大多是 “结构化” 的:比如 Excel 表格、数据库里的表、CSV 文件(用逗号分隔的文件)、JSON 文件这些。这类数据最适合用 SQL 来查询!毕竟写一句SELECT ... GROUP BY可比写几十行代码简单多了~

文章图片
#大数据#spark#python +1
大数据里的拉链表:数据版本管理的时间胶囊

拉链表:维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。在企业中,由于有些流水表每日有几千万条记录,数据仓库保存5年数据的话很容易不堪重负,因此可以使用拉链表的算法来节省存储空间。

#大数据#sql#hive +1
hive插入数据报错IOException(Unable toclosefile becausethe last blockdoes nothave enough number of replicas

Job Submission failed with exception 'java.io.IOException(Unable to close file because the last block BP-1696380843-192.168.139.128-1747021700060:blk_1073742200_1376 does not have enough number of rep

#hadoop#hdfs#hive
Hive SQL插入数据报错 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask一次由"分区太多"引发的翻车现场全记录

#hadoop#hive#sql
【Python 数据分析入门】NumPy 库超详细指南:安装、基础用法与经典案例

NumPy(Numerical Python)是 Python 科学计算的核心库,是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。主要用于处理多维数组对象和一系列数学函数。它就像是数据分析的 "地基",后续要学的 Pandas、Matplotlib 等神器都是基于它搭建的哦

#python#数据分析#numpy
python爬虫保姆级教程:从小白到大神的进阶之路

作为一名混迹互联网多年的老鸟,今天我要给各位想学爬虫的萌新们带来一份超详细的Python爬虫成长指南。看完这篇,保证你能从"Hello World"水平直接晋级到能写分布式爬虫的大佬级别!

#python#爬虫#开发语言
手把手教你用Ollama“白嫖”本地Deepseek!零基础也能玩转大模型!

Deepseek是深度求索公司开源的强大语言模型,能力接近GPT-3.5,关键是完全免费!写代码、写文案、陪你聊天,样样精通!

文章图片
手把手教你用Ollama“白嫖”本地Deepseek!零基础也能玩转大模型!

Deepseek是深度求索公司开源的强大语言模型,能力接近GPT-3.5,关键是完全免费!写代码、写文案、陪你聊天,样样精通!

文章图片
数据搬家界的 “六边形战士“✨:教你玩转 DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。可以理解为国内版的Sqoop。但是比Sqoop要快,Sqoop底层是MR(Map任务),基于磁盘的,DataX基于内存的,所以速度比较快。

文章图片
#大数据#数据库#hive +1
    共 12 条
  • 1
  • 2
  • 请选择