logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

神经网络模型底层原理与实现10-softmax的实现

def train_ch3(net, train_iter, test_iter, loss, num_epochs,batch_size,params=None, lr=None, optimizer=None):#num_epochs训练次数,lr学习率。acc_sum += (net(X).argmax(dim=1) == y).float().sum().item()#item将tenso

文章图片
#神经网络#人工智能#深度学习
神经网络模型底层原理与实现8-BERT

bert中如何创造x':以文字处理为例,把字随机遮住或者随机替换一些,把新的字符串组输入bert后经过linear和softmax层得到的结果和实际字符(比如这里是湾)做交叉熵,从而训练bert的参数。普通的有监督学习是每个x对应有个y',x训练得到y,将y与y'作比较,而自监督是没有对应y',直接把一部分样本x作为训练目标x'',训练得x'后和x''对比。方法:在输入的字符串前面加cls字符,通

文章图片
#人工智能#深度学习#神经网络 +1
机器学习实战笔记34-38:gridsearchcv的进阶使用,无监督学习:kmeans、DBSCAN

对于best_score_属性查看的是在roc-auc评估指标下,默认五折交叉验证时验证集上的结果,但如果对评估器用.score方法,查看的是pipe评估器默认的结果评估方式,也就是准确率。原理:设置eps和min_samples,在eps内能有min_samples个点的称为核心点,范围内的为临界点,其余为噪声点.把以核心点范围内的簇连成一片,其余噪声点舍弃。后者是解决:kmeans是解决圆形、

文章图片
#机器学习#学习#人工智能 +2
大模型应用实战3——开源大模型(以Qwen为例)实现多论对话功能

Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='你好!\\n', role='assistant', function_call=None, tool_calls=None))在代码环境中,ollama则提供了openai API风格的大模型调用方法。{'role

#机器学习#人工智能#自然语言处理 +1
kaggle竞赛实战10——特征优化

首先,我们注意到,每一笔信用卡的交易记录都有交易时间,而对于时间字段和文本字段,普通的批量创建特征的方法都是无法较好的挖掘其全部信息的,因此我们需要围绕交易字段中的交易时间进行额外的特征衍生。并且,需要注意的是,在实际二阶段建模过程时,我们需要在每个建模阶段都进行交叉验证与模型融合,才能最大化提升模型效果。,在此前的特征衍生过程中,我们曾进行了交叉特征衍生,但只是进行了一阶交叉衍生,例如交易额在不

文章图片
#人工智能#算法#机器学习 +1
大模型应用实战5——大模型基础知识总结

大模型开发思路注意明确输出格式,如以{"from":"","to":""}这种 JSON 格式输出。2.多轮互动产生原因:大模型会自己发散(幻觉)产生原因:用户可以提问不同类型的事情,比如天气和季节解决方法:不要去给大模型设定好要做什么这里面,框架就要承担很重要的职责:1. 根据用户注册的函数,在首次 Prompt 中生成所有 Tool 的完整接口定义。2. 解析 LLM 的返回值,根据内容执行路

#数据挖掘#python#机器学习 +2
机器学习实战笔记30-31:逻辑回归及对应调参实验代码

Class_weight:输入{0:1,1:3}则代表1类样本的每条数据在计算损失函数时都会*3,当输入balanced,则调整为真实样本比例的反比,以达到平衡,但实际情况中不常用。#UI多迭代10的6次方次,tol是优化算法的收敛容忍度,c是正则化项参数。pl1.fit(x_train,y_train)#直接fit会报错,要改变求解器为saga。score_l1#打印发现degree=3是最优解

文章图片
#机器学习#逻辑回归#人工智能 +1
KAGGLE竞赛实战2-捷信金融违约预测竞赛-part1-数据探索及baseline建立

kaggle竞赛之捷信金融违约预测竞赛-part1-数据探索及baseline建立

文章图片
#金融#python#决策树 +4
大模型应用实战3——开源大模型(以Qwen为例)实现多论对话功能

Choice(finish_reason='stop', index=0, logprobs=None, message=ChatCompletionMessage(content='你好!\\n', role='assistant', function_call=None, tool_calls=None))在代码环境中,ollama则提供了openai API风格的大模型调用方法。{'role

#机器学习#人工智能#自然语言处理 +1
大模型应用实战4——开源大模型微调(基于LLaMA-Factory)

而大模型微调又分为全量微调和高效微调两种,所谓全量微调,指的是调整大模型的全部参数,而高效微调,则指的是调整大模型的部分参数,目前常用的高效微调方法包括LoRA、QLoRA、p-Tunning、Prefix-tunning等。这是模型保存和检查点创建的频率,允许你在训练过程中定期保存模型的状态,--model_name_or_path /mnt/workspace/.cache/modelscop

#自然语言处理#人工智能#机器学习 +1
    共 22 条
  • 1
  • 2
  • 3
  • 请选择