logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

kimi-k2论文阅读笔记

kimi-k2是一个结构类似deepseekv3的大模型,特点在于极强的工具调用能力,适合做agent。下面从技术的角度提取其中的关键方法。

#论文阅读
大模型的超大激活值研究

大规模激活”是模型为实现“隐藏状态零更新”这一高效策略,被迫在数值上制造极端异常值的结果。这种策略虽然有效,却牺牲了数值稳定性,暴露了Transformer架构在优化目标与数值实现之间的深层矛盾。

#人工智能
大模型的领域知识注入的四种路径

在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。实际上日常使用还是优先提示词,然后RAG。

#人工智能
Agent的评估(《Demystifying evals for AI agents》中文解读)

评估智能体并非易事,但这是从“玩具 Demo”走向“生产级应用”的必经之路。核心建议总结尽早开始,不要追求完美。将失败案例转化为测试用例。混合使用代码评分和 LLM 评分。一定要阅读评估的详细日志。

#人工智能
利用百度情感分析进行微博评论数据分析及可视化(万字长文)

总览:*输入:*关键词*输出:*分日期情感均值折线图,主题词云,分省市情感均值折线图一、微博数据爬取1.爬取指定关键词相关的微博2.根据爬取到的微博信息爬取到相关的评论数据这里主要借鉴了https://github.com/dataabc/weibo-crawler3.将零散的单个微博下的所有评论整合在一个excel文件中,这里利用我的上一篇博客中的方法进行合并,得到总体的数据。二、百度情感分析我

#python#visual studio code#数据分析
LLM:一个小型搜索agent的实现

agent就是给大模型加上外部系统,能跟环境交互。所以叫智能体,能够根据外部系统的输入修改自身状态。3.大模型参考提示词给出符合模版的回复,比如action是什么,目标函数所需的参数等。本文实现了基于deepspeek大模型的谷歌搜索agent。5.上述结果就是观察到的结果,作为助手消息添加到消息记录中。4.从回复中解析出这些,定位到特定工具函数,执行得到结果。1.前置准备:谷歌搜索工具函数,系统

文章图片
#人工智能
政务微博的网友评论正负向语料,情感分析模型训练不求人

在做网络舆情方向的科研,发现很少有政务微博下的正向或负向评论的语料,这对情感分析模型的训练造成了很大困扰,于是我挑选了此次西安疫情的部分舆情,人工识别分类出正负向评论语料用作模型训练。链接:https://github.com/stay-leave/weibo-public-opinion-analysis/tree/main/emotional%20analysis正向语料:负向语料:...

#深度学习#机器学习
利用百度情感分析进行微博评论数据分析及可视化(万字长文)

总览:*输入:*关键词*输出:*分日期情感均值折线图,主题词云,分省市情感均值折线图一、微博数据爬取1.爬取指定关键词相关的微博2.根据爬取到的微博信息爬取到相关的评论数据这里主要借鉴了https://github.com/dataabc/weibo-crawler3.将零散的单个微博下的所有评论整合在一个excel文件中,这里利用我的上一篇博客中的方法进行合并,得到总体的数据。二、百度情感分析我

#python#visual studio code#数据分析
InternVL3.5论文解读

为了结合二者的优势,首先使用一个离线RL算法MPO对模型进行微调,作为一个高效的热身阶段以达到满意的结果,这可以为后续阶段保证高质量的回滚。当r_i ≥ τ(压缩影响显著)时为 1,对应压缩率1/4。多模态数据:基于InternVL3的训练语料,类型包括图像字幕、一般问答、数学、科学学科、图表、OCR、知识链接、文档理解、多轮对话和医疗数据等多个领域。路由目标构建:先计算模型在未压缩视觉标记(每块

#人工智能
大模型的领域知识注入的四种路径

在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。实际上日常使用还是优先提示词,然后RAG。

#人工智能
    共 24 条
  • 1
  • 2
  • 3
  • 请选择