logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

生成对抗网络(GAN)

对抗”的含义就是生成器通过不断的训练尽可能的生成以假乱真的图像,判别器通过不断的识别尽可能的区分图像的真假。第一张图是训练集选取的部分图片,第二张图片是由生成器产生的图片,可以看出,通过多次训练,生成可以生成比较接近训练集图片的图片。生成器的训练过程,简单来说就是,给定网络,给定标签,然后更新输入(这里是随机数据,可以符合一定的分布),使输出图像对应的标签逐渐靠近给定的标签;也是生成对抗网络中的一

#python
html页面引入vue组件

html页面引入vue组件html页面引入vue组件需要在页面引入http-vue-loader.js注意:要查看页面引入vue组件的效果不能直接在本地打开index.html,会有跨域问题,可以在本地配置一个nginx转发,再用浏览器访问http://localhost:port/index.html1.创建my-component.vue<template><div clas

transformers DefaultDataCollator类

默认的数据收集器,只是将transformers中的Dataset数据对象转换成tensorflow或pytorch可以处理的Dataset数据对象。没有像DataCollatorWithPadding那样,在转换数据类型的同时,也进行数据的填充。参数return_tensors表示返回数据的类型。有三个可选项,分别是"tf"、“pt”、“np”,分别表示tensorflow可以处理的数据类型,p

#python#开发语言
transformers DataCollatorForWholeWordMask类

在构建MLM时,15%的Word piece会被mask,这15%中,80%会直接替换为[Mask],10%将其替换为其他任意单词,10%保留原始token。而WWM(Whole Word Masking)将整词mask,改变了原来预训练阶段的训练样本生成策略。原有的基于wordPiece的分词方式将一个完整的词切分为若干子词,预训练阶段字词被分开随机mask。而www采取的措施是,一个完整的词被

#python#开发语言
transformers DataCollatorForTokenClassification类

在进行NER(实体命名识别)任务时使用的数据收集器,该数据收集器不仅会动态的处理输入的数据,而且会处理数据的标签。参数tokenizer表示用于编码数据的分词器。参数padding表示填充方式,可以为布尔类型、字符串类型或者一个PaddingStrategy对象。当值为布尔类型时,True表示填充至最大序列长度,False表示不填充。当为字符串类型时,"longest"表示填充值最大序列长度,"m

#python#numpy#开发语言
transformers DataCollatorWithPadding类

在transfomers中,定义了一个DataCollator类,该类用于将数据集的单个元素打包成一批数据。DataCollatorWithPadding类是DataCollator类的一个实现类,该类在打包时将动态填充输入的数据。参数tokenizer表示输入的分词器。参数padding可以为bool类型,True表示填充,False表示不填充;也可以为字符串,表示填充策略,"longest"表

#python#tensorflow#机器学习
transformers DataCollatorForLanguageModeling类

在构建语言模型或者说是进行MLM任务时需要使用的数据收集器,该数据收集器会以一定概率(由参数mlm_probability控制)将序列中的Token替换成Mask标签。不同于DataCollatorWithPadding、DataCollatorForTokenClassification和DataCollatorForTokenClassification,该数据收集器只会将序列填充到最长序列长

#python#开发语言
transformers DataCollatorForSeq2Seq类

在进行序列生成任务时(QA、文本概括等)使用的数据收集器,需要模型的输出是一个序列。该数据收集器不仅会动态的填充数据的数据,而且也会填充数据对应的标签。参数tokenizer表示用于编码数据的分词器。参数model表示训练的模型,通过设置的模型,从而产生一项数据decoder_input_ids,该数据用于模型decoder层数据的输入。参数padding表示填充方式,可以为布尔类型、字符串类型或

#python#numpy#开发语言
datasets load_dataset函数

函数说明load_dataset函数从Hugging Face Hub或者本地数据集文件中加载一个数据集。可以通过 https://huggingface.co/datasets 或者datasets.list_datasets()函数来获取所有可用的数据集。参数path表示数据集的名字或者路径。可以是一个数据集的名字,比如"imdb"、“glue”;也可以是通用的产生数据集文件的脚本,比如"js

#python#开发语言
    共 18 条
  • 1
  • 2
  • 请选择