logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于预训练模型 ERNIE-Gram 实现语义匹配-训练全过程

本章介绍训练过程中的损失函数、梯度下降、模型评估(1)损失函数# 采用交叉熵 损失函数criterion = paddle.nn.loss.CrossEntropyLoss()loss = criterion(probs, labels)交叉熵交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度,在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小,模型预测效果就越好。交

#paddlepaddle#深度学习#python
基于预训练模型 ERNIE-Gram 实现语义匹配-模型搭建

本章继续分析该案例的模型搭建部分自从 2018 年 10 月以来,NLP 个领域的任务都通过 Pretrain + Finetune 的模式相比传统 DNN 方法在效果上取得了显著的提升,本节我们以百度开源的预训练模型 ERNIE-Gram 为基础模型,在此之上构建 Point-wise 语义匹配网络。前言:首先,先了解一下Pretrain+Finetune是什么预训练(Pretrain):当我们

#paddlepaddle#深度学习#神经网络
到底了