logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MinerU Docker自定义版本部署

MinerU是一款高效PDF解析工具,可将文档转换为Markdown、JSON等机器可读格式。它能智能清除页眉页脚,保留文档结构,支持多栏排版解析,并能提取图像、表格、公式(转为LaTeX)等内容。具备84种语言的OCR能力,可自动处理扫描版PDF。支持CPU/GPU加速,跨平台运行,提供可视化结果确认功能。安装方法包括Docker容器部署和源码安装,支持国内modelscope模型源。提供gra

#docker#容器#运维
大数据分析组件Hive-集合数据结构

Hive是一个基于Hadoop的数据仓库基础设施,用于处理大规模分布式数据集。它提供了一个类似于SQL的查询语言(称为HiveQL),允许用户以类似于关系型数据库的方式查询和分析存储在Hadoop集群中的数据。Hive常作为离线数仓的分析工具,当面临Json数据时,Hive需要用到其数据结构构建出一张Json表才得以操作Json数据;(Hive4.0推出了Json解析)

#数据分析#hive#数据结构
⾃动化运维利器 Ansible-Jinja2

目前Nginx的配置⽂件在所有的服务器上都是相同的,但我希望能根据每⼀台服务器的性能去定制服务的启动进程。同时定制每⼀台Nginx服务的响应头,以便于当某台服务出现问题时能快速定位到具体的服务器。要做这样的定制势必会导致⼀个问题,Nginx 在每台物理服务器上的配置⽂件都不⼀样,这样的配置⽂件如何管理呢?再使⽤copy 模块去做管理显然已经不合适。此时使⽤Ansible 提供的另⼀个模板(temp

#运维#ansible
⾃动化运维利器 Ansible-Playbook

Playbook 也通常被⼤家翻译成剧本。可以认为它是Ansible ⾃定义的⼀⻔语⾔(可以将 Playbook ⽐作Linux 中的 shell,而 Ansible 中的 Module 可以⽐作为 Linux 中的各种命令。PlayBook遵循YAML 的语法格式。因此在学习PlayBook之前,必须要先弄明⽩YAML 相关知识点。

#运维#ansible
大数据分析组件Hive-集合数据结构

Hive是一个基于Hadoop的数据仓库基础设施,用于处理大规模分布式数据集。它提供了一个类似于SQL的查询语言(称为HiveQL),允许用户以类似于关系型数据库的方式查询和分析存储在Hadoop集群中的数据。Hive常作为离线数仓的分析工具,当面临Json数据时,Hive需要用到其数据结构构建出一张Json表才得以操作Json数据;(Hive4.0推出了Json解析)

#数据分析#hive#数据结构
企业级大数据安全架构

Knox Ranger LDAP Kerberos

数仓主题域和数据域、雪花模型,星型模型和星座模型

数据域,主题域,星型模型,雪花模型,星座模型

#spark#大数据#分布式
数据库规范化

数据库范式,ER模型的相关概念

文章图片
#数据库
数据仓库建模和分层

数据仓库的分层,建模理论的选择,事实表的分类,维度表的分类,数据仓库的构建

#数据仓库#数据库#大数据
数据仓库建模和分层

数据仓库的分层,建模理论的选择,事实表的分类,维度表的分类,数据仓库的构建

#数据仓库#数据库#大数据
到底了