logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

解决An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : java.lang.Illeg

解决```javapy4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.: java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in u

文章图片
#java#spark#大数据
【Pyspark教程】SQL、MLlib、Core等模块基础使用

pyspark.SparkContext: Spark 库的主要入口点,它表示与Spark集群的一个连接,其他重要的对象都要依赖它.SparkContext存在于Driver中,是Spark功能的主要入口。代表着与Spark集群的连接,可以在集群上创建RDD,accumulators和广播变量- pyspark.RDD: 是Spark的主要数据抽象概念,是Spark库中定义的一个抽象类。- pys

文章图片
#数据分析
【LLM】大模型幻觉问题的原因和缓解方法

一、幻觉定义备注(下面提及的两个名词):Faithfulness:是否遵循input content;Factualness:是否符合世界知识;传统nlp任务重,幻觉大多数是faithfulness,比如Intrinsic Hallucination(冲突),摘要内容和document内容有冲突;再比如Extrinsic Hallucination(无中生有),生成内容中包含input要求的其他杂

文章图片
#自然语言处理
【LLM】self-instruct 构建指令微调数据集

四部曲:指令生成;分类任务识别;实例生成;过滤和后处理。为了实证评估SELF-INSTRUCT,在GPT3(Brown等人,2020)上运行该框架,在这个模型上的SELF-INSTRUCT迭代过程产出了大约52K条指令,以及大约82K个实例输入和目标输出对。结果数据提供了多种多样的创造性任务,其中50%以上的任务与种子指令的重合度低于0.3 ROUGE-L(§4.2)。可以利用生成的指令数据微调其

文章图片
【LLM评估篇】Ceval | rouge | MMLU benchmarks

- 一些大模型的评估模型:- 多轮:MTBench- 关注评估:agent bench- 长文本评估:longbench,longeval- 工具调用评估:toolbench- 安全评估:cvalue,safetyprompt等本文还介绍了其他主流的大模型评估指标等及其使用

文章图片
#nlp
【LLM-RAG】知识库问答 | 检索 | embedding

RAG流程(写作论文中的background:公式设定、emb、召回内容、召回基准)(工作中的思路《A Survey on Retrieval-Augmented Text Generation》该工作旨在对检索增强文本生成进行研究。主要核心的点如下:1、Retrieval Source知识来源源训练语料:有标注的训练数据直接作为外部知识;外部数据:支持提供训练数据之外的外部知识作为检索来源,比如

文章图片
【LLM-agent】function call功能、AgentTuning微调

function call本质:准确识别用户的语义,将其转为结构化的指令,其中通过LLM理解指令和上下文判断需要调用哪个函数、抽取出input中函数所需的参数。是用户和界面交互方式产生质变的一个trick。所以为了提高模型准确识别和调用函数的能力,如agenttuning就是利用多个agent任务交互轨迹,对LLM进行sft微调.gpt中的function call可以让开发者在调用 GPT-4

文章图片
模型训练时loss震荡严重的几个解决方案

深度学习模型训练时loss值震荡剧烈的几个解决方案,找到原因,如输入的数据有误、batch_size过小、loss函数或者激活函数设置不合理、正则化处理不当、网络结构有问题等。

文章图片
#深度学习
【LLM】2023年十大高影响力AI论文

Pythia — 大模型该如何训练?《Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling》Llama 2 — 开源模型之王《Llama 2: Open Foundation and Fine-Tuned Chat Models》QLoRA — 高效微调《QLoRA: Efficient Fi

文章图片
【转】阿里中间件大佬经验分享

我是2017年加入到阿里巴巴中间件技术部 我本科其实是合肥一个不入流的三本,后来考研到西安邮电,2016年的这个时候我也和你们一样到处面试,投简历。幸运的是我收获了网易的实习Offer、腾讯的是实习Offer还有阿里巴巴的实习Offer。通过实习我顺利进入了阿里巴巴,在阿里巴巴这个舞台下我收获了很多。去年的时候我在gitchat上分享了一篇文章,大致就是讲了一下我的求职和学习的经历。帮助了不少人树

#中间件
    共 87 条
  • 1
  • 2
  • 3
  • 9
  • 请选择