logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLaMA也有感情:通过 探针 揭示LLaMA模型中的情感和情绪表征

作者将SENTRILLAMA与在所有数据集上做了微调的DeBERTaV3-large和RoBERTa-large进行比较,得到了如下结论:SENTRILLAMA在GPU内存使用和推理速度方面更具优势,在所有维度上持续超越Instruct-Llama模型。作者在Llama大模型的基础上提出了一种新的模型,利用到L≤i层进行情感任务,其中i表示该任务最具代表性的层,用轻量级的分类头替代了原Llama的

#语言模型#人工智能#自然语言处理
通过LLM中的因果干预实现可控和可解释的文本生成

二进制掩码,是实现干预的参数。作者提出了一种结构因果模型,在以往的大模型结构中,大模型的输入输出往往体现出一定的相关性,而非因果逻辑性。这篇论文只是提出了一种因果机制在大模型具体位置干预大模型输出的理论方法,但是在具体的实现中,人工干预的方法效率不高。新的内生变量: C = {c₁, c₂, ..., cₖ}, 其中每个 cₖ 代表一个要控制的属性(如 c₁=风格, c₂=情感)。属性投影函数,这

#人工智能#算法#机器学习 +2
用大型语言模型评估零样本多语言方面级情感分析——论文阅读报告

用大型语言模型评估零样本多语言方面级情感分析论文链接:[2412.12564] Evaluating Zero-Shot Multilingual Aspect-Based Sentiment Analysis with Large Language Models没有提供实验代码链接发表于17 Dec 2024 (v1), 修改于 9 Jun 2025international Journal o

#语言模型#论文阅读#人工智能 +1
大型语言模型中情感推断的机制可解释性研究

为了验证实验结果的争取性,实验者采用了activation patching 方法,即把“来源句子”的中层激活贴到“目标句子”里,看能不能把目标的情绪预测强行改成来源的情绪。为了进一步的研究,我们分析了MHSA和FNN单元的补丁效应,FNN单元的效果最好的激活层出现的比MHSA出现的要晚。实验发现,准确率在中间层后就没有太大的变化,这说明,模型的输出情感主要由中间层决定,后续层级的处理贡献微乎其微

#语言模型#人工智能#自然语言处理 +1
到底了