docker(19):压缩docker python 镜像大小,减少依赖
1,关于python镜像使用python开发的时候遇到问题。发现构建之后 镜像还是比较大的。想办法减少点文件啥的。能让镜像小点,这样发布部署啥的都方便。2,构建dockerfilepython3 在构建pandas 遇到点问题。还是使用python2 进行构建的:FROM python:2-slim-jessie#设置 apt sources pip t...
·
1,关于python镜像
使用python开发的时候遇到问题。
发现构建之后 镜像还是比较大的。想办法减少点文件啥的。
能让镜像小点,这样发布部署啥的都方便。
2,构建dockerfile
python3 在构建pandas 遇到点问题。
还是使用python2 进行构建的:
FROM python:2-slim-jessie
#设置 apt sources pip timezone 参数
RUN echo "deb http://mirrors.aliyun.com/debian/ jessie main non-free contrib" > /etc/apt/sources.list && \
echo "deb http://mirrors.aliyun.com/debian/ jessie-proposed-updates main non-free contrib" >> /etc/apt/sources.list && \
echo "deb-src http://mirrors.aliyun.com/debian/ jessie main non-free contrib" >> /etc/apt/sources.list && \
echo "deb-src http://mirrors.aliyun.com/debian/ jessie-proposed-updates main non-free contrib" >> /etc/apt/sources.list && \
echo "[global]" > /etc/pip.conf && \
echo "trusted-host=mirrors.aliyun.com" >> /etc/pip.conf && \
echo "index-url=http://mirrors.aliyun.com/pypi/simple" >> /etc/pip.conf && \
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
echo "Asia/Shanghai" > /etc/timezone
#install other lib
#名字变了 libmariadbclient-dev-compat - MariaDB database development files (libmysqlclient compatibility)
# libmysqld-dev
# 安装完成就不需要 dev库了删除节省空间。
# pip install pyspark 好像有问题
# https://blog.csdn.net/i2cbus/article/details/41625337 参数优化。
RUN apt-get update && apt-get install -y python-dev libmysqlclient-dev gcc cron vim supervisor git && \
echo "#define WITH_DOC_STRINGS 1" >> /usr/include/python2.7/pyconfig.h && \
pip install --upgrade pip && \
pip install mysqlclient && \
pip install sqlalchemy && \
pip install requests && \
pip install numpy pandas jupyter && \
apt-get install -y libmysqlclient18 && \
rm -rf /root/.cache && apt-get autoclean && \
apt-get --purge autoremove -y python-dev libmysqlclient-dev gcc && \
find /usr/lib/python2.7 -name '*.pyc' -delete && \
find /usr/local/lib/python2.7 -name '*.pyc' -delete && \
rm -rf /tmp/* /var/lib/apt/* /var/cache/* /var/log/*
#1.解决 pandas 数据插入问题。直接修改数据库驱动 sqlalchemy 修改:statement.replace("INSERT INTO","INSERT IGNORE INTO")
# debian /usr/local/lib/python2.7/site-packages/sqlalchemy
# ubuntu /usr/local/lib/python2.7/dist-packages/sqlalchemy/dialects/mysql/mysqldb.py
# 增加了一个 IGNORE 参数。
#2.解决torndb在python2下面的问题:
#http://blog.csdn.net/littlethunder/article/details/8917378
RUN sed -i -e 's/executemany(statement/executemany(statement.replace\("INSERT INTO","INSERT IGNORE INTO")/g' \
/usr/local/lib/python2.7/site-packages/sqlalchemy/dialects/mysql/mysqldb.py
#增加语言utf-8
ENV LANG=en_US.UTF-8
ENV LC_CTYPE=en_US.UTF-8
ENV LC_ALL=C
修改了debian mirror 使用aliyun 的地址,pip 安装也修改成 aliyun地址。
这样安装速度超级快。
在安装的时候用 python-dev libmysqlclient-dev gcc 安装完成之后把
python-dev libmysqlclient-dev gcc 这些再删除,这样小很多。
find /usr/lib/python2.7 -name '*.pyc' -delete && \
find /usr/local/lib/python2.7 -name '*.pyc' -delete && \
删除了pyc的 python文件能大概小 80 mb。
rm -rf /root/.cache && apt-get autoclean
rm -rf /tmp/* /var/lib/apt/* /var/cache/* /var/log/*
删除临时文件。
经过一系列删除之后镜像大小到了 484MB ,我已经很努力了。
3,总结
精简了之后其他人在使用的时候就方便多了。在下载的速度也快了。
压缩之后会更小点。把股票系统的镜像再重新修改下。
就专注股票数据抓取,数据分析就行。展示使用golang再写一个。
本文的原文连接是:
https://blog.csdn.net/freewebsys/article/details/79961371
更多推荐
已为社区贡献28条内容
所有评论(0)