在利用Docker运行Tensorflow Jupyter时遇到了端口号无法开放到外网的情况，错误如下：[andy@master andy]# nvidia-docker run -it -p 8888:8888 -v /andy/andy/:/notebooks/andy tensorflow:1.8.0-gpuWARNING: IPv4 forwarding is disabled....

简述：openpai在基于YARN的任务调度工具FrameworkLaucher之后又添加了基于K8S的任务调度工具FrameworkController，感觉和kubeflow的TFJob类似，我们先来试试FrameworkController这工具如何单独使用，环境：k8s: 1.15.1docker: 18.09.5...

最近的docker容器经常被kill掉，k8s中该节点的pod也被驱赶，因而使用以下命令查看被kill的所有进程dmesg | grep -i -B100 'killed process'查看到pod被驱赶的原因：[3899860.525793] Out of memory: Kill process 64058 (nvidia-device-p) score 999 or sac...

之前写了scrapy-cluster的集群配置，没有写它的基础环境搭建，现在补上zookeeper和kafka的安装配置；先讲讲zookeeper的搭建安装环境：[root@shulaibao4 ~]# more /etc/issueCentOS release 6.2 (Final)Kernel \r on an \m* 安装java*我用的是：jdk-8u121-linux-x64

环境同上次zookeeper的安装环境一致就不累赘了。我们来下载kafka，这里我下载的是Scala 2.10- kafka_2.10-0.10.2.0.tgz (asc, md5)版本的wget https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz完成后解压： [root@shula

服务器启动服务时总是报端口被占用，实际查看并没有被占用，通过查看连接数量发现大量的 ESTABLISHED 连接[kafkauser@master1 ~]$ netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'CLOSE_WAIT 327ESTABLISHED 63444TIME_WAIT 45通过netstat

文件结构大致如下：-- kafka|____init__.py|__ .idea/|__ docstest/||__ asdfk.py||__ kafkaProducer.py||__ kazooo.py

scrapy-cluster集群的架构：python 2.7scrapy 1.0.5kafka 2.10-0.10.1.1redis 3.0.6scrapy集群的目的：他们允许任何web页面的任意集合提交给scrapy集群，包括动态需求。大量的Scrapy实例在单个机器或多个机器上进行爬取。协调和优化他们的抓取工作所需的网站。存储抓取的数据。并行执行多个抓取作业。

问题：docke启动时总是遇见标题中的警告，-p 8889:8888的设置也不起任何作用。原因：docker启动时指定--network=host或-net=host，如果还指定了-p或-P，那这个时候就会有此警告，并且通过-p或-P设置的参数将不会起到任何作用，端口号会以主机端口号为主，重复时则递增。解决:解决的办法就是使用docker的其他网络模式...

我的python环境是D:\workspace\scrapy-cluster-master>pythonPython 2.7.13 |Anaconda 4.3.1 (64-bit)| (default, Dec 19 2016, 13:29:36) [MSC v.1500 64 bit (AMD64)] on win32Type "help", "copyright", "credits" o