logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解决:Sqoop导入数据到Hive连接hiveserver2卡住

问题执行sqoop job要将mysql中数据导入hive表,执行到连接hiveserver2时就卡住不动单独执行连接hiveserver2可以正常连接Import options:sqoop import --connect jdbc:mysql://xxx:3306/test --username xxxxx --password xxxxxx--table t_user--fields-te

文章图片
#hive#sqoop#mysql
Spark核心之04:spark程序运行架构流程、共享变量(广播变量和累加器)、程序序列化问题

在对RDD数据进行分区时,默认使用的是该函数对key进行哈希,然后对分区总数取模,取模结果相同的就会被分到同一个partition中HashPartitioner分区逻辑:key.hashcode % 分区总数 = 分区号如果嫌HashPartitioner功能单一,可以自定义partitioner实现自定义partitioner大致分为3个步骤1、继承2、重写方法3、重写方法1、spark任务的

文章图片
#spark#架构
Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2

dbeaver是一个图形化的界面工具,专门用于与各种数据库的集成,通过dbeaver我们可以与各种数据库进行集成通过图形化界面的方式来操作我们的数据库与数据库表,类似于我们的sqlyog或者navicate如果用IDEA开发,可以考虑使用Big Data Tools插件,方便管理各类分布式文件系统,以及数据存储组件。参考《IDEA 中使用 Big Data Tools 连接大数据组件》

文章图片
#hive#hadoop#数据仓库
Windows 上安装 MySQL,并解决Authentication plugin 'caching_sha2_password' cannot be loaded错误

一、下载最新版本可以在 ????这里 下载,下载中选择 Microsoft Windows。下载zip点击 Download按钮进入下载页面,点击下图中的 No thanks, just start my download.就可立即下载:二、安装将 zip 包解压到你喜欢的的目录, 这里我将解压后的文件夹放在 D:\Dev\mysql-8.0.17-winx64 下。在D:\Dev...

#mysql
【01】Apache Flink 2025年技术现状与发展趋势

Apache Flink在2025年已演进为统一的Data+AI平台,核心升级包括:分离式状态存储架构提升扩缩容能力;DataStream API V2优化编程模型;实时AI能力支持在线机器学习;物化表实现流批一体数据管理;Kubernetes深度集成强化云原生部署。最新2.2版本提供更优性能、连接器框架和SQL优化器,同时支持企业级高可用和可观测性。未来将深化AI集成、Serverless支持和

文章图片
#apache#flink#大数据
【02】Apache Flink 物化表与流批一体处理

摘要:Apache Flink物化表技术解析 Apache Flink的物化表(Materialized Tables)实现了流批一体处理,通过物理存储查询结果并自动更新。核心特性包括自动刷新机制、流批统一视图和存储优化。Flink 2.2新增了可选FRESHNESS子句、MaterializedTableEnricher接口和增强的Delta Join支持。典型应用场景包括实时聚合、历史数据回填

文章图片
#apache#flink#大数据
Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce

选择特定列查询1.2 列起别名重命名一个列案例实操1.3 常用函数1.求总行数(count)2、求工资的最大值(max)3、求工资的最小值(min)4、求工资的总和(sum)5、求工资的平均值(avg)1.4 limit 语句典型的查询会返回多行数据。limit子句用于限制返回的行数。1.5 where 语句1、使用 where 子句,将不满足条件的行过滤掉2、where 子句紧随from子句3、

文章图片
#hive#hadoop#数据仓库
Java8与jdk21内存模型的对比

内存管理‌:最新版本优化了元空间自动扩容和堆分区灵活性,更适合云原生环境‌。垃圾回收‌:从 Parallel 到 ZGC/Shenandoah 的演进,显著降低停顿时间并支持超大堆‌。优化趋势‌:简化配置、增强诊断工具、适配多样化场景(如实时系统和大数据应用)‌。

文章图片
#java#开发语言#jvm +1
详解大语言模型生态系统概念:lama,llama.cpp,HuggingFace 模型 ,GGUF,MLX,lm-studio,ollama这都是什么?

llama,llama.cpp,HuggingFace 模型 ,GGUF,MLX,lm-studio,ollama这些名词的概念给个详细的解释,彼此什么关系?是不是头很晕?

文章图片
#语言模型#人工智能
LLaMA-Factory:准备模型和数据集

话接上回,由于咱用的是 RTX 4090 笔记本的 16GB VRAM 限制,建议选择较小的模型(如 LLaMA 3.1 8B、DeepSeek-R1-Distill-Qwen-7B)并使用量化。⚠️。

文章图片
#人工智能#机器学习
    共 37 条
  • 1
  • 2
  • 3
  • 4
  • 请选择