logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Azure Databricks 实践:数据分析、机器学习、ETL 与 Delta Lake

通过上述各章节的指南,我们完整演示了在 Azure Databricks 上的动手实践过程。从环境搭建、数据分析处理,到机器学习模型的构建调优、部署,以及 Delta Lake 在数据湖上的高级特性运用。体会到 Azure Databricks 提供的一站式数据分析与机器学习平台的强大之处:环境整合:开发者可以在 Notebook 中无缝完成数据工程和机器学习的所有步骤,利用云上弹性 Spark

#azure#数据分析#机器学习
部署私有代码仓库gitlab(docker-compose方式)

为了实现GitOps完全的私有化部署,完成最后一块拼图,将代码仓库gitlab也安装到本地环境。

#gitlab#docker#容器
Azure Databricks + MLflow 机器学习生命周期完整流程实践

我们完成了在 Azure Databricks 上使用 MLflow 的机器学习全流程实战:环境搭建: 从创建Databricks集群和Notebook开始,为项目提供计算资源和开发环境。数据加载与预处理: 获取公开数据集并进行清洗和特征工程,保证数据质量,为模型训练做好准备。模型训练与追踪: 使用 MLflow Tracking 记录实验过程,包括模型的代码、超参数、性能指标,以及输出的arti

#azure#机器学习#flask
Kubernetes使用NFS作为StorageClass(记录)

由于我Kubernetes试验环境中使用local-path本地盘作为StorageClass不能解决多个节点共享使用的问题,因此准备使用nfs共享盘作为默认SC,在我的一台k8s机群节点上挂一块盘并做成nfs,然后作为k8s机群的存储使用,记录一下操作步骤。

#kubernetes#容器#云原生
安装Jenkins(docker方式)

本可以直接使用Docker Hub存储库中推荐的官方jenkins/jenkins映像,此镜像包含Jenkins的当前长期支持(LTS)版本,但是,此镜像不包含Docker CLI,也没有与常用的Blue Ocean插件及其功能捆绑在一起。前期使用GitHub/GitLab+Tekton+ArgoCD实现了GitOps的动手实验,现在计划换做Jenkins实现pinpeline的功能实现GitOp

#jenkins#docker#java
到底了