logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop HA 配置文件以及自动化Shell脚本开关HA集群

目录配置文件workerscore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml自动化Shell脚本format-hahadoop-hajpsallxcallxsynczk测试自动化脚本HA集群初始化启动HA集群关闭HA集群配置文件workershadoop102hadoop103hadoop104core-site.xml<config

#hadoop#zookeeper
Python tushare接口数据存入服务器上的MySQL

关于 Python 连接 MySQL 可参考如下链接Python操作Mysql - xinhua - 博客园 (cnblogs.com)由于这里create_engine指定了utf-8字符集,所以对应的bigdata数据库的字符集也需要是utf8,否则在传入中文数据的时候会报错alter database bigdata default character set utf8import tush

#mysql#python#数据库
PyTorch 多个网络反向传播时出现梯度计算错误

经过调试之后发现,我在计算出critic loss之后并没有进行critic网络的反向传播,而是开始计算actor loss。两个网络的loss都计算完毕后才开始进行反向传播就会出现上述报错。我现在正在做的算法是关于强化学习MADDPG,需要用到两个网络actor和critic。解决方法就是将两个网络的loss和backward都单独封装计算即可。torch具体报错内容如下。

#深度学习#人工智能#pytorch
Python-docx 深入word源码 自定义页码页脚以动态显示总页数和当前页数

代码和效果图先上能够正常显示页码页脚的Python代码和效果图,之后再解释原理和思路from docx import Documentfrom docx.shared import Ptfrom docx.oxml import OxmlElementfrom docx.enum.text import WD_PARAGRAPH_ALIGNMENTfrom docx.oxml.ns import

#python
Hadoop 集群时间同步

在生产环境中,如果服务器集群不能连接外网进行时钟校正,可能会导致日志聚集、集群任务调度等出现异常,此时就需要进行集群的时间同步,但如果集群能连接外网则不需要配置。首先需要确定一台时间校正服务器,让其他服务器都与之进行时间对比校正。这里我准备了三台虚拟机,主机名分别为 hadoop102 hadoop103 hadoop104,其中 hadoop102 为时间服务器第一步:修改 hadoop102

#hadoop
VM16 CentOS 快照恢复以及Linux自动修复指令

目录快照恢复自动修复磁盘快照恢复点击上图的拍摄快照 即可进行CentOS 6的虚拟机系统备份需要恢复系统 就点击之前备份过的快照记录,即可恢复系统自动修复磁盘当Linux启动时出现UNEXPECTED INCONSISTENCY: RUN fsck MANUALLY意味着磁盘某处文件有损坏,需要进行修复才能正常开机。输入以下指令即可进行系统自动修复:fsck -y dest_file# Linux

#linux#服务器
nginx 反向代理 负载均衡 动静分离 keepalived高可用性运维环境搭建

本次nginx环境是在 VM16 下的 Ubuntu 20.04 和 CentOS 7.9 两台虚拟机下搭建完成的以下是我用Xmind画的nginx工作示意图高可用性nginx的高可用性是在使用keepalived的基础上体现的,keepalived会为nginx服务器提供一个虚拟IP,客户端只需要输入该虚拟IP地址,即可访问到nginx服务器进而进行负载均衡和反向代理转发请求。我这里就简单的搭建

#nginx#运维
CentOS 6 搭建nginx环境

目录准备工作下载Linux nginx压缩包下载pcre压缩包安装nginx以下操作都是在虚拟机中完成的,系统之前也没装过其他依赖,可放心食用。准备工作下载Linux nginx压缩包这个压缩包就直接去官网下载就可了。nginx: download下载pcre压缩包目前官网和github都是提供pcre2压缩包,但nginx需要pcre...

#centos#nginx
Hadoop 两台物理机内部虚拟机组建集群(使用手机热点)

如果想同时启动多台虚拟机来搭建Hadoop集群,但发现一台物理机无法承受这么大的内存、硬盘、CPU消耗,则可以再拿一台物理机进行实验。第一步:开启手机热点,让两台物理机都通过WIFI连接到该热点,目的是构建局域网第二步:两个物理机下的所有虚拟机的网络模式要从NAT改为桥接,并且要勾上“复制物理网络连接状态”第三步:配置虚拟机子网。如果虚拟机想访问外网就要跟手机热点处于同一个子网,并且服务器的网关和

#hadoop#计算机网络
CentOS7.9 虚拟机挂载exFAT格式U盘

此时便可以顺利挂载U盘了,将其挂载至自己创建的/upan空目录下。将USB兼容性改为3.1,否则虚拟机无法识别我的U盘。首先在导航条中找到“虚拟机”->“设置”通过yum指令启动EPEL软件源。安装fuse-exfat工具。

#linux#运维#服务器
    共 14 条
  • 1
  • 2
  • 请选择