logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

python str和json互转以及注意事项

str转jsonstr转换为json格式,前提一定需要保证这个str的格式和json是一致的,即左边最外层是大括号,右边的最外层是大括号。如果不一致,推荐用正则进行拆分至和json格式一致1. 通过json.loads进行转换import jsonstr = '{"key": "wwww", "word": "qqqq"}'j = json.loads(str)print(j)print(type

#json
Golang: go list -m -json all : 运行失败

打开go项目工程的时候,自动run了一个脚本,报:go list -m -json all : 运行失败整个项目一片飘红,快捷键什么的都不可使用了golang 环境配置,依赖没有下载好自此,我的问题解决了。参考:Golang依赖下载安装失败解决方法_MrKorbin的博客-CSDN博客_go依赖安装失败...

#golang#开发语言#后端
【大数据】计算引擎之三:Hadoop处理框架

1.什么是hadoop处理框架?Apache Hadoop是一种专用于批处理的处理框架。Hadoop是首个在开源社区获得极大关注的大数据框架。基于谷歌有关海量数据处理所发表的多篇论文与经验的Hadoop重新实现了相关算法和组件堆栈,让大规模批处理技术变得更易用。2.hadoop框架包含哪些组件及其功能新版Hadoop包含多个组件,即多个层,通过配合使用可处理批数据:HDFS:主...

#hadoop
python3 goto跳转到指定代码行,执行代码

1.需求背景:当执行到某一步骤后,发现结果不是想要的那种形式,希望这一次循环重新执行,需要跳转到固定位置。2.使用goto:(1)安装gotopip install goto-statement(2)使用goto完成一个小例子官方文档见:https://pypi.org/project/goto-statement/注意:如果你在ide山运行label 和 goto 下有红色波浪线提示错误。不用理

#python
增加attention的seq2seq和transformer有什么区别

seq2seq 是一个Encoder–Decoder 结构的网络,它的输入是一个序列,输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达,Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。很多自然语言处理任务,比如聊天机器人,机器翻译,自动文摘,智能问答等,传统的解决方案都是检索式(从候选集中选出答案),这对素材的完善程度要求很高。seq2seq模型

文章图片
#transformer#深度学习#人工智能
transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()

tokenizer.tokenize() :使用 tokenize() 函数对文本进行 tokenization(分词)之后,返回的分词的 token 词。tokenizer.encoder():encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。

#nlp
【大数据】计算引擎之二:数据处理三种类型

在深入介绍不同实现的指标和结论之前,首先需要对不同处理类型的概念进行一个简单的介绍。1.批处理系统  批处理在大数据世界有着悠久的历史。批处理主要操作大容量静态数据集,并在计算过程完成后返回结果。  批处理模式中使用的数据集通常符合下列特征...有界:批处理数据集代表数据的有限集合持久:数据通常始终存储在某种类型的持久存储位置中大量:批处理操作通常是处理...

【大数据】计算引擎之一:什么是数据处理框架

学习笔记~~大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据...

#大数据
解决asked to gather along dimension 0, but all input tensors were scalars; will instead unsqueeze an

报错详情:使用bert训练二分类模型UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars; will instead unsqueeze and return a vector.....runtimeErrror: expected long but get float解决:这是

#深度学习
pytorch(3)Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)以及数据在cpu和gpu之间的流转

Pytorch的数据读取主要包含三个类:DatasetDataLoaderDataLoaderIter这三者大致是一个依次封装的关系: 1.被装进2., 2.被装进3.参考:1.概念:https://zhuanlan.zhihu.com/p/309342362.dataloader类型从cpu到gpu:https://github.com/NVIDIA/sentiment-discovery/is

#pytorch
    共 107 条
  • 1
  • 2
  • 3
  • 11
  • 请选择