logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在 Amazon Glue Job 中使用 Python 私有仓库的技术实践

本文介绍了在Amazon Glue中使用私有Python包仓库的解决方案。由于网络限制或公共镜像源不稳定,提出了通过创建私有仓库的方法:使用Docker容器构建与Glue版本匹配的wheel包,上传至S3并生成索引文件,配置桶策略限制VPC访问。在Glue Job中通过--additional-python-modules和--python-modules-installer-option参数指定

#aws#big data
到底了