logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

使用 Iceberg on Kubernetes 打造新一代云原生数据湖

文章目录使用 Iceberg on Kubernetes 打造新一代云原生数据湖背景何为 IcebergIceberg on Kubernetes如何构建云原生实时数据湖架构图创建 Kubernetes 集群部署 Hadoop 集群注意集成 Iceberg创建和使用 Iceberg 表总结参考材料使用 Iceberg on Kubernetes 打造新一代云原生数据湖背景大数据发展至今,按照 Go

文章图片
#big data#spark#hadoop +1
数据湖搭建指南——几个核心问题

目录1、什么是数据湖?2、为什么要使用数据湖?数据湖与数据仓库3、如何构建数据湖?4、数据湖技术路线5、应用6、数据湖的挑战7、如何避免数据沼泽1、什么是数据湖?数据湖是一种技术系统,可以大批量并且廉价的分析结构化和非结构化数据资产。其实很简单,数据湖的最大魅力在于可以分析一切类型的数据。自 2010 年首次提出“数据湖”一词以来,采用数据湖架构的组织数量呈指数级增长。 它们支持多种分析功能,从数

文章图片
#big data
Pyhon基础:Monkey Patch(猴子补丁)

属性在运行时的动态替换,叫做猴子补丁(Monkey Patch)。属性的运行时替换和猴子也没什么关系,关于猴子补丁的由来网上查到两种说法:1,这个词原来为Guerrilla Patch,杂牌军、游击队,说明这部分不是原装的,在英文里guerilla发音和gorllia(猩猩)相似,再后来就写了monkey(猴子)。2,还有一种解释是说由于这种方式

申请阿里云免费证书

阿里云免费SSL证书是赛门铁克(Symantec)品牌的,免费证书只能保护一个域名(带www和不带www可以通用)。阿里云个人账号和企业账号均可申请,多个域名可以申请多个免费证书,阿里云免费证书一个账户限制20个。

文章图片
#阿里云#ssl#https
6-机器学习场景下Volcano集成调度能力实践

6-机器学习场景下Volcano集成调度能力实践今天主要给大家分享如何使用Volcano调度器运行一个TF Job。今天的分享主要包括3个部分的内容:Kubeflow简介Kubeflow on Volcano演示(运行一个简单的机器学习作业)01Kubeflow简介• Kubeflow是Kubernetes的机器学习工具包,是运行在K8s之上的一套技术栈,包括很多个组件,这些组件可以单独使用,也可

文章图片
#kubernetes
如何快速下载huggingface大模型

Stackoverflow 上有个AI开发入门的最常见问题,回答五花八门,可见下载 huggingface 模型的方法是十分多样的。其实网络快、稳的话,随便哪种方法都挺好,然而结合国内的网络环境,断点续传、多线程下载等特性还是非常有必要的,否则动辄断掉重来很浪费时间。方法类别推荐程度优点缺点基于URL浏览器网页下载⭐⭐⭐通用性好手动麻烦/无多线程多线程下载器⭐⭐⭐⭐通用性好手动麻烦CLI工具git

文章图片
Bug的严重程度(Blocker, Critical, Major, Minor/Trivial)和Bug修复优先级如何定义

Priority[praɪˈɔrəti](优先级)和Severity[sɪ'verətɪ](严重程度)是Bug的两个重要属性。很多新人经常混淆这两个概念。通常,人员在提交Bug时,只定义Bug的Severity, 即该Bug的严重程度,而将Priority交给Project Leader 或Team Leader来定义,由他们来决定该Bug被修复的优先等级。某种意义上来说,Priori...

try-with-resource:自动地关闭资源

一、资源关闭背景我们知道,在Java编程过程中,如果打开了外部资源(文件、数据库连接、网络连接等),我们必须在这些外部资源使用完毕后,手动关闭它们。因为外部资源不由JVM管理,无法享用JVM的垃圾回收机制,如果我们不在编程时确保在正确的时机关闭外部资源,就会导致外部资源泄露,紧接着就会出现文件被异常占用,数据库连接过多导致连接池溢出等诸多很严重的问题。二、JDK7之前的资源关闭方...

Grafana:灵活的配置

Grafana常见配置问题1. 免密登录编辑conf目录下的default.ini文件就可以做到。开启免密登入,enabled改成true[auth.anonymous]# enable anonymous accessenabled = true#默认false# specify role for unauthenticated usersorg_role = Viewer#默认Viewer2.

K8S原理剖析:Pod、工作负载与服务

大 纲Kubernetes Pod详解Kubernetes工作负载与服务介绍Kubernetes Pod详解Kubernets概览Kubernets概览Kubernetes关键概念-PodKubernetes关键概念-Pod在Kubernetes中, pods是能够创建、调度、和管理的最小部署单元,是一组容器的集合,而不是单独的应用容器同一个Pod里的...

#kubernetes
    共 291 条
  • 1
  • 2
  • 3
  • 30
  • 请选择