logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据【十三】Hadoop多个虚拟机运行start-dfs.sh和start-yan.sh出现问题 / no nodemanager to stop的问题

一。问题当时启动了XShell的功能,然后我一共有三个虚拟机: bigdata111和bigdata112和bigdata113. 是完全分布式构造。其中NameNode在bigdata111上,ResrouceManager在bigdata112上。开启虚拟机后,我在三台虚拟机上都输入了命令:【# start-dfs.sh】,然后查看jps,如下图所示,没有什么问题。然后我继...

【NLP】torch hub工具的使用:torch.hub.load、pytorch预训练模型加载

2.4 加载和使用预训练模型学习目标:了解加载和使用预训练模型的工具.掌握加载和使用预训练模型的过程.加载和使用预训练模型的工具:在这里我们使用torch.hub工具进行模型的加载和使用.这些预训练模型由世界先进的NLP研发团队huggingface提供.加载和使用预训练模型的步骤:第一步: 确定需要加载的预训练模型并安装依赖包.第二步: 加载预训练模型的映射器tokenizer.第三步: 加载带

在用阿里云安装Label Studio的坑

安装参考:https://labelstud.io/https://cloud.tencent.com/developer/article/1600562如果安装Label Studio的时候没有踩坑,可以不用看下面的了我的安装过程参考https://labelstud.io/,用的是Git安装pip install -e这里一定要注意,用的python3.5极以上的版本安装,不要用2.7.5的l

#git#vue.js#node.js
pytorch-transformers:AttributeError: ‘str‘ object has no attribute ‘shape‘

错误:AttributeError: 'str' object has no attribute 'shape'"""使用bert-chinese预训练模型对中文文本进行编码"""# 引入torch模型import torch# 引入torch模型中的神经网络模型import torch.nn as nn# 1. 通过torch.hub(pytorch中专注于迁移学的工具)获得谷歌已经训练好的和中

大数据【八十九】Azkaban【二】-- Azkaban安装部署

一。 Azkaban下载地址下载地址:http://azkaban.github.io/downloads.html二。 安装前准备1. 将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下azkaban-web-server-2.5.0.tar.gz...

如何在IDEA里正确导入从Github上下载的Maven项目(含相关源码)(博主推荐)(图文详解)

如何在IDEA里正确导入从Github上下载的Maven项目(含相关源码)(博主推荐)(图文详解)转载:https://www.cnblogs.com/zlslch/p/8564879.html    不多说,直接上干货!  本文以2.6.36为例  https://github.com/knightliao/disconf  假设,我这放在D:\Code\IntelliJIDEAUltimate

Maven【五】错误Non-parseable settings ;(position: TEXT seen ... across the set of mirrors)

一。问题:在进行Maven的clean和package指定的时候,出现了以下错误:[FATAL] Non-parseable settings D:\linux\maven\apache-maven-3.3.9\conf\settings.xml:expected START_TAG or END_TAG not TEXT (position: TEXT seen ... across...

#maven
java的char类型

一、Char介绍字符型数据类型。用于存放单个字符。用单引号【' '】括住2字节,16位。char在java中是16位,因为java用的是Unicode。一个16位的编码所能产生的字符只有65536个。Unicode码包括ASCII码。大多数计算机采用ASCII(美国标准信息交换码),它是表示所有大小写字母、数字、标点符号和控制字符的8位编码表。从'\u0000'到'\u007F'对应128个ASC

#java#开发语言
GitHub【一】如何在github中找想要的开源项目、如何看开源项目

1. 认识项目其中【Spring-Boot-In-Action】是开源项目名About里面是项目的简要描述中间的项目的源码。文件夹后的日期是项目的更新日期README.md是MARKDOWN形式的项目的详细情况watch:会持续收到该项目的动态fork,复制某个项目到自己的Github仓库中star,可以理解为点赞clone,将项目下载至本地follow,关注你感兴趣的作者,会收到他们的动态2.

数据清洗【一】中文文本预处理

一、文本数据准备使用已经有的语料库,按照Python读取文本内容的方法读取文本文件内容。此处为了一步步演示过程,所以先使用句子,最后再整合。二、去除指定无用的符号 我们爬取到的文本有时候会有很多空格或者是其他一些无用的符号,如果保留这些符号,在分词的时候这些符号也会被分出来,就会导致分词的结果不是很好。这个时候我们就可以用replace()这个方法去掉所有你不想要的符号:1. 去除空格conten

到底了