logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【python爬虫】第17章——基于scrapy-redis两种形式的分布式爬虫

redis分布式部署1.scrapy框架是否可以自己实现分布式?不可以。原因有二。其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器)其二:多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。(多台机器无法共享同一个管道)2.基于scrapy-redis组件的...

JAVA商城项目(微服务框架)——第7天nginx+cors解决跨域+品牌+分类查询

0.学习目标使用资料搭建后台系统会使用nginx进行反向代理实现商品分类查询功能掌握cors解决跨域实现品牌查询功能1.搭建后台管理前端1.1.导入已有资源后台项目相对复杂,我们不再从0搭建项目,而是直接使用准备好的源码:我们解压缩,放到工作目录中:然后在Intellij idea中导入新的工程:选中我们的工程:这正是一个用vue-cli构建的webpack工程,是...

【搞定K8S】第2天5:kubernetes 核心技术-Controller 控制器

1、Replication ControllerReplication Controller(RC)是 Kubernetes 系统中核心概念之一,当我们定义了一个 RC 并提交到 Kubernetes 集群中以后,Master 节点上的 Controller Manager 组件就得到通知, 定期检查系统中存活的 Pod,并确保目标 Pod 实例的数量刚好等于 RC 的预期值,如果有过多或过少的

【搞定K8S】第2天1:kubernetes 集群 YAML 文件详解

1、YAML 文件概述k8s 集群中对资源管理和资源对象编排部署都可以通过声明样式(YAML)文件来解决,也就是可以把需要对资源对象操作编辑到 YAML 格式文件中,我们把这种文件叫做资源清单文件,通过 kubectl 命令直接使用资源清单文件就可以实现对大量的资源对象进行编排部署了。2、YAML 文件书写格式(1)YAML 介绍YAML :仍是一种标记语言。为了强调这种语言以数据做为中心,而不是

【Linux云计算架构:第四阶段-Linux虚拟化-私有云-docker】第11章—— 使用 kubectl 管理 Kubernetes 容器平台

本节所讲内容:12.1 kubectl 概述12.2 kubectl 创建和删除一个 pod 相关操作12.3 yaml 诧法规则12.4 kubectl create 加载 yaml 文件生成 deployment 设备资源12.5 kubectl 其他常用命令和参数说明12.6 使用 kubectl 管理集群中 deployment 资源和 service 服务12.1 kube...

【Linux云计算架构:第四阶段-Linux虚拟化-私有云-docker】第10章—— 搭建 Kubernetes 容器集群管理系统

本节所讱内容:11.1 Kubernetes 和相关组件的介绍11.2 配置 yum 源安装 kubernetes 及组件11.3 配置 etcd 和 master 节点11.4 配置 minion1 节点11.5 配置 minion2 结点并总结 Kubernetes 所有服务和端口号实验环境: 需要三台全新的 CENTOS7.5 系统11.1.1 Kubernetes 概述K...

【搞定Go语言】第3天14:使用Air实现Go程序实时热重载

今天我们要介绍一个神器——Air能够实时监听项目的代码文件,在代码发生变更之后自动重新编译并执行,大大提高gin框架项目的开发效率。为什么需要实时加载?之前使用Python编写Web项目的时候,常见的Flask或Django框架都是支持实时加载的,你修改了项目代码之后,程序能够自动重新加载并执行(live-reload),这在日常的开发阶段是十分方便的。在使用Go语言的gin框架在本地做开发调试的

【Linux中高级运维:云计算】第3章:一步一步部署一个openstack集群

7.1 openstack基础架构7.1:准备环境注意:主机之间相互host解析7.1.1时间同步#服务端,controller节点vim /etc/chrony.conf allow 10.0.0.0/24systemctl restart chronyd#客户端,compute1节点vim/etc/chrony.confserver 10.0.0.11 ibu...

CMDB资产管理系统

一、远程服务器资产信息采集方案实现方案一:agent——server服务端模式应用场景:多应用于服务器数量多情况下,效率比ssh方式高客户端:################### 方式一:Agent,每一台服务器一份 ####################import subprocessv1 = subprocess.getoutput('ipco...

    共 77 条
  • 1
  • 2
  • 3
  • 8
  • 请选择