logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

高可用redis集群,redis-sentinel哨兵模式的启动

    redis一旦断电数据会清除,Redis哨兵是一个分布式系统。哨兵进程间互相监控、通知、自动故障迁移和选举产生新的master。启动集群分三步:启动zookeeper,启动redis,启动redis-sentinel,注意启动顺序可不能乱。1.后台启动zookeeper启动集群内各节点的zookeepernohup /application/zookeeper3_1/bin/...

#系统架构#集群
解决jekins发布权限不足的问题 ERROR: Exception when publishing, exception message [Permission denied]

        用jenkins打包往各节点自动发布代码时,遇到如下问题:eie_info\\middlewares\\redirect_middleware.py', 'Aeie_info\\middlewares\\user_agents.py', 'Aeie_info\\scrapy.cfg', '已导出版本 37042。']export successin mo...

启动Zookeeper + Hadoop + Hbase + Kafka大数据服务

        Hadoop是非常流行的大数据框架,Zookeeper提供了高效的协调服务,Hbase高度依赖zk,是基于HDFS系统,具有可伸缩性,非常适合存储复杂的数据结构,这三者作为一个系统整体,Kafka是作为缓存队列弥补Hbase写入性能较差的不足,让我们去走进它。1、Zookeeper + Hadoop + Hbase大数据服务的架构图          如上图...

简易灵活的Ipproxypool检测机制

    致敬经典:https://github.com/qiyeboy/IPProxyPool  。这里提供了经典的IP代理使用方案,需要的小伙伴可蹲点到此项目,但使用过程中发现对python3版本支持的并不友好,问题较多。于是,这里提供了简易灵活的Ipproxypool检测机制。源码我发布到了github:https://github.com/SimonWang00/ez_IPProxyPool

#爬虫
TensorFlow应用:训练一个简单的游戏AI(Deep Q Network)

 Deep Q Network是DeepMind最早(2013年)提出来的,是深度强化学习方法。最开始AI什么也不会,通过给它提供游戏界面像素和分数,慢慢把它训练成游戏高手。Github上有不少DQN实现,在本帖中,我使用TensorFlow训练一个简单的游戏AI。使用pygame写一个简单的小游戏使用强化学习训练游戏AIpygame小游戏import pygamef...

使用setuptools打包及发布

    公司的插件还不成熟,最近需要不断丰富完善、频繁改造,所以需要用到打包,这里记录一下。与Java的JAR文件类似,具体操作如下:1、打包制作egg,zip,.exe文件1.1 setup.py脚本如下:#!/usr/bin/env python# -*- coding: utf-8 -*-import iofrom pkgutil import walk_packages...

TensorFlow应用:训练一个简单的游戏AI(Deep Q Network)

 Deep Q Network是DeepMind最早(2013年)提出来的,是深度强化学习方法。最开始AI什么也不会,通过给它提供游戏界面像素和分数,慢慢把它训练成游戏高手。Github上有不少DQN实现,在本帖中,我使用TensorFlow训练一个简单的游戏AI。使用pygame写一个简单的小游戏使用强化学习训练游戏AIpygame小游戏import pygamef...

Github解除账号被封的方法

1.事由    9月8日下午,往GitHub发布了个项目。也不知道为啥,GitHub账号突然登陆不上,社区登录界面提示:2.处理过程    真是莫名其妙啊!没办法,按照上面说的给社区管理员发了一封邮件,请求帮忙恢复账户。于是等啊等啊等................... 3.结果    等到第三天,GitHub有位叫劳里的哥们给我发邮件,道歉称系统判断失误。简直是...

到底了