logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【hive】HiveSQL中两个json解析函数的使用&json路径定位小工具

虽然逻辑上理解并不矛盾,尽管该UDTF返回的是个表,但一行输入只会对应一行输出,只是输出的字段可能是多个,并不像explode那样返回的是多行。和get_json_object不同的是,get_json_object是一个普通的UDF函数,返回的是一个值。,该函数适用于对传入的json对象一次性解析多个key的场景,如果用get_json_object需要解析多次,该函数只需要解析一次。(通配符个

#hive#json
【数据结构】——二叉树详解

二叉树(Binary Tree)是由n个结点构成的有限集(n≥0),n=0时为空树,n>0时为非空树。对于非空树TTT有且仅有一个根结点;除根结点外的其余结点又可分为两个不相交的子集TLT_LTL​和TRT_RTR​,分别称为TTT的左子树和右子树,且TLT_LTL​和TRT_RTR​本身又都是二叉树。很明显该定义属于递归定义,所以有关二叉树的操作使用递归往往更容易理解和实现。从定义也可以看出二叉

#数据结构#算法
MacOS安装linux虚拟机

在学习docker时用的云环境本身就是一个容器,启动docker总是各种问题,所以直接在本机上装一个虚拟机。

#运维
基于Qwen2.5-7B-Instruct进行LoRA微调推理全流程探索

ms-swift是一个针对大模型微调的高层封装框架,旨在简化训练流程、统一接口并集成多种微调技术,如 LoRA、QLoRA、Prefix Tuning等。通过ms-swift实现LoRA微调,仅需配置参数,无需关心底层实现。使用ms-swift,通过lora方式微调下载的基座模型,产出微调的权重文件。使用下载的基座模型,先测试一下推理效果作为合并LoRA后推理效果的对照,参考。本次测试目的为跑通模

#LoRA
基于阿里云调用deepseek大模型

每个模型的详细信息中会有API示例(),需要做的就是申请自己的API key就行了,过程中可能需要。。

#阿里云
基于embedding进行语义相似度检索全流程实践

本次测试目标为跑通基于embedding的文本语义匹配的基本流程,测试流程主要分为:=> 1)通过预训练模型生成embedding=> 2)保存embedding到文件=> 3)基于embedding文件构建faiss索引并持久化保存=> 4)加载faiss索引进行语义化检索匹配。

基于Qwen2.5-7B-Instruct进行LoRA微调推理全流程探索

ms-swift是一个针对大模型微调的高层封装框架,旨在简化训练流程、统一接口并集成多种微调技术,如 LoRA、QLoRA、Prefix Tuning等。通过ms-swift实现LoRA微调,仅需配置参数,无需关心底层实现。使用ms-swift,通过lora方式微调下载的基座模型,产出微调的权重文件。使用下载的基座模型,先测试一下推理效果作为合并LoRA后推理效果的对照,参考。本次测试目的为跑通模

#LoRA
【hive】数据采样

参考,可以直接查看原文,下面只是对原文进行概括和实际性能测试。

#hive#hadoop#数据仓库
分类模型评估:混淆矩阵与ROC曲线

理解混淆矩阵和ROC曲线之前,先明确几个概念。对于分类问题,不论是多分类还是二分类,对于某个关注类来说,都可以看成是二分类问题,当前的这个关注类为正类,所有其他非关注类为负类。从上面几个定义可以知道:1)样本总数 = TP+FP+TN+FN2)所有真实值为正类的样本总数 = TP+FN3)所有真实值为负类的样本总数 = TN+FP。

#机器学习
基于阿里云调用deepseek大模型

每个模型的详细信息中会有API示例(),需要做的就是申请自己的API key就行了,过程中可能需要。。

#阿里云
    共 13 条
  • 1
  • 2
  • 请选择