logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据开发运维都重要的知识点

维度模型主要分星型和雪花,星型是单张事实表直接关联多张维度表,维度表不做拆分,优点是模型简单、查询速度快,是生产最常用的;雪花模型是在星型基础上,对维度表做范式化拆分形成子维度表,虽降低了数据冗余,但增加了联表层级,查询性能差,生产中一般很少纯用,仅局部场景适配。数据建模中ER模型和维度模型是两大核心,ER模型是范式化建模,适配OLTP业务系统,追求数据一致性、低冗余;维度模型是反范式化建模,专为

#数据仓库
Flink算子

作用:自定义聚合逻辑(比 sum/avg 更灵活),支持增量聚合。场景:复杂统计(如累计金额 + 订单数)。java运行// 示例:统计每个用户的累计金额和订单数(Tuple3:用户ID, 累计金额, 订单数)// t1:历史聚合结果;t2:新到来的元素// 累计金额0 : t1.f2);// 订单数// 初始值// 输出:(user_01,100.0,1) → (user_01,250.0,2)

#flink#python#大数据
大数据运维(1)

Ambari Server/Agent存活状态、心跳延迟;集群节点时间同步偏差(≤5s)、核心端口监听状态、组件日志磁盘占用率、Kerberos认证状态。

#大数据#运维
Docker和K8S

Docker主要适用于服务器不多,但是需要用到组件比较多的场景。1、yum命令安装部署docker,安装docker镜像加速器。将程序以及环境打包成容器。

#docker#kubernetes#容器
生产环境离线部署大模型

d '{ "model": "qwen3-235b", "messages": [ {"role": "user", "content": "你好,我是一名AI工程师,正在测试Qwen3-235B模型"} ], "temperature": 0.7, "max_tokens": 1024 }'但是注意该服务器一定得解决一下问题:一般服务器只有2个左右插槽,以及散热问题,以及大功率电源。1、服务器插

#服务器#运维
k8s(实战)

pod:k8s调度资源的最小容器。

#大数据
AI集群搭建k8s实战(docker)

k8s集群初始化命令:kubeadm init --config=kubeadm-config.yaml --upload-certs --v=9。cri服务:k8s通过cri-dockerd来连接docker,本来1.24版本以前可以直接使用,1.24版本以后需要该工具来连接docker。防止自动更新:sudo apt-mark hold kubelet-kubeadm kubectl。然后sy

#k8s
AI集群搭建k8s实战(docker)

k8s集群初始化命令:kubeadm init --config=kubeadm-config.yaml --upload-certs --v=9。cri服务:k8s通过cri-dockerd来连接docker,本来1.24版本以前可以直接使用,1.24版本以后需要该工具来连接docker。防止自动更新:sudo apt-mark hold kubelet-kubeadm kubectl。然后sy

#k8s
生产环境离线部署大模型

d '{ "model": "qwen3-235b", "messages": [ {"role": "user", "content": "你好,我是一名AI工程师,正在测试Qwen3-235B模型"} ], "temperature": 0.7, "max_tokens": 1024 }'但是注意该服务器一定得解决一下问题:一般服务器只有2个左右插槽,以及散热问题,以及大功率电源。1、服务器插

#服务器#运维
数仓开发flink相关概念

【代码】数仓开发(1)-flink。

#数据仓库
    共 13 条
  • 1
  • 2
  • 请选择