
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
kimi-k2是一个结构类似deepseekv3的大模型,特点在于极强的工具调用能力,适合做agent。下面从技术的角度提取其中的关键方法。
大规模激活”是模型为实现“隐藏状态零更新”这一高效策略,被迫在数值上制造极端异常值的结果。这种策略虽然有效,却牺牲了数值稳定性,暴露了Transformer架构在优化目标与数值实现之间的深层矛盾。
在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。实际上日常使用还是优先提示词,然后RAG。
评估智能体并非易事,但这是从“玩具 Demo”走向“生产级应用”的必经之路。核心建议总结尽早开始,不要追求完美。将失败案例转化为测试用例。混合使用代码评分和 LLM 评分。一定要阅读评估的详细日志。
总览:*输入:*关键词*输出:*分日期情感均值折线图,主题词云,分省市情感均值折线图一、微博数据爬取1.爬取指定关键词相关的微博2.根据爬取到的微博信息爬取到相关的评论数据这里主要借鉴了https://github.com/dataabc/weibo-crawler3.将零散的单个微博下的所有评论整合在一个excel文件中,这里利用我的上一篇博客中的方法进行合并,得到总体的数据。二、百度情感分析我
agent就是给大模型加上外部系统,能跟环境交互。所以叫智能体,能够根据外部系统的输入修改自身状态。3.大模型参考提示词给出符合模版的回复,比如action是什么,目标函数所需的参数等。本文实现了基于deepspeek大模型的谷歌搜索agent。5.上述结果就是观察到的结果,作为助手消息添加到消息记录中。4.从回复中解析出这些,定位到特定工具函数,执行得到结果。1.前置准备:谷歌搜索工具函数,系统

在做网络舆情方向的科研,发现很少有政务微博下的正向或负向评论的语料,这对情感分析模型的训练造成了很大困扰,于是我挑选了此次西安疫情的部分舆情,人工识别分类出正负向评论语料用作模型训练。链接:https://github.com/stay-leave/weibo-public-opinion-analysis/tree/main/emotional%20analysis正向语料:负向语料:...
总览:*输入:*关键词*输出:*分日期情感均值折线图,主题词云,分省市情感均值折线图一、微博数据爬取1.爬取指定关键词相关的微博2.根据爬取到的微博信息爬取到相关的评论数据这里主要借鉴了https://github.com/dataabc/weibo-crawler3.将零散的单个微博下的所有评论整合在一个excel文件中,这里利用我的上一篇博客中的方法进行合并,得到总体的数据。二、百度情感分析我
为了结合二者的优势,首先使用一个离线RL算法MPO对模型进行微调,作为一个高效的热身阶段以达到满意的结果,这可以为后续阶段保证高质量的回滚。当r_i ≥ τ(压缩影响显著)时为 1,对应压缩率1/4。多模态数据:基于InternVL3的训练语料,类型包括图像字幕、一般问答、数学、科学学科、图表、OCR、知识链接、文档理解、多轮对话和医疗数据等多个领域。路由目标构建:先计算模型在未压缩视觉标记(每块
在大模型的后训练中,存在如下挑战:如何有效地将领域知识注入到LLMs中,保持模型的灵活性、可扩展性和效率;如何在注入新知识时避免遗忘已有知识;如何在不同领域之间迁移知识。实际上日常使用还是优先提示词,然后RAG。







