logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

JavaPython技术架构大模型AIGC

可提供的服务

技术咨询

从Token推测LLM中文训练数据污染:技术深度解析与实践

通过Token分析推测LLM训练数据污染的技术,为我们打开了解析模型"黑盒"的新窗口。这项研究不仅揭示了当前主流LLM中普遍存在的数据污染问题,更重要的是提供了一套可操作、可验证的技术框架来量化评估这一问题。研究结果表明,GPT-4o等先进模型的中文训练数据中,特定类型的污染内容可能占到相当比例(如"波多野结衣"相关内容的0.5%),这一发现对LLM的安全部署和合规使用具有重要警示意义。

文章图片
ModelEngine产品介绍

ModelEngine提供从数据处理、知识生成,到模型微调和部署,以及RAG(Retrieval Augmented Generation)应用开发的AI训推全流程工具链,用于缩短从数据到模型、 数据到AI应用的落地周期。ModelEngine提供低代码编排、灵活的执行调度、高性能 数据总线等技术,结合内置的数据处理算子、RAG框架以及广泛的生态能力,为数据 开发工程师、模型开发工程师、应用开发工

文章图片
#语言模型#AIGC
模型微调(SFT)面试完全指南:从基础到前沿的深度解析

监督微调(SFT)面试指南精要 监督微调(SFT)是使通用大模型适应特定任务的关键技术,在面试中常被考察。本文概述了SFT的核心要点: 基础概念: SFT位于预训练与RLHF之间,使用标注数据调整模型 相比预训练,SFT数据量小、学习率低、目标特定 与提示学习相比,SFT更新模型参数而非仅调整提示 技术原理: 目标函数基于最大似然估计 需防止灾难性遗忘,采用小学习率、正则化等策略 学习率调度策略需

文章图片
#面试#职场和发展
大模型工具对比:SGLang, Ollama, VLLM, LLaMA.cpp

本文对比分析了四款主流大模型推理框架。SGLang v0.4通过零开销批处理等技术实现最高1.9倍性能提升,适合企业级高并发场景。Ollama基于llama.cpp开发,提供1700+模型支持,安装简单适合个人开发者。VLLM采用PagedAttention技术,多GPU性能优异但仅支持Linux。LLaMA.cpp支持多级量化,在边缘设备表现突出。各框架在性能、易用性、适用场景等方面各具优势,用

文章图片
Unsloth 微调训练

Unsloth 是一个高效的语言模型微调工具,支持全微调、预训练以及4-bit、8-bit和16-bit的训练。其内核采用OpenAI的Triton语言编写,并配备了手动反向传播引擎,确保精确度无损失。Unsloth兼容2018年及以后的NVIDIA GPU,最低要求CUDA能力7.0,支持Linux和Windows系统。通过Bitsandbytes,它还支持4位和16位的QLoRA/LoRA微调

文章图片
Kimi K2(月之暗面 Moonshot AI )强势来袭

Kimi K2 全面解析:开源大模型的突破与落地 Moonshot AI推出的 Kimi K2 采用 万亿MoE稀疏架构(推理仅激活32B参数),搭配自研 MuonClip优化器 实现稳定训练,支持128K长文本与工具调用。性能上,在编程(SWE-Bench 65.8%)、数学(Math-500 97.4%)和Agent任务(TAU2 70.6%)超越GPT-4.1等闭源模型。其 API成本仅为竞

文章图片
#人工智能
医疗大模型评估概念解释

医疗模型测评关键指标解析 在医疗AI模型中,**召回率(Recall)是核心指标,衡量模型识别真实患者的能力(召回率=TP/(TP+FN))。高召回率对避免漏诊至关重要,尤其在重症筛查中常需超过85%。与之平衡的精确率(Precision)**反映预测阳性的可靠性(TP/(TP+FP)),用于减少误诊。**准确率(Accuracy)**易受数据不平衡影响,需谨慎使用。 F1-score调和精确率与

文章图片
大模型高性能、高吞吐、生产级部署标准配置(DeepSeek-Qwen3 32B)

本文介绍了一套针对DeepSeek-Qwen3 32B大模型的高性能生产级部署配置方案。该方案基于vLLM推理引擎,通过环境变量和启动参数实现了多项优化:采用FlashInfer注意力后端和AWQ量化技术显著提升性能;配置4块GPU实现张量并行;启用前缀缓存优化重复提示场景;设置96%显存利用率最大化吞吐;支持32K长上下文。整个方案在Kubernetes生产环境中运行,集成监控代理,平衡了吞吐量

文章图片
#性能优化
关闭EventSource:手动停止大模型流式输出的有效方法

摘要: 手动停止大模型流式输出的有效方法是关闭EventSource连接。本文提供核心实现代码: 基础实现:通过eventSource.close()关闭连接,包含完整的StreamController类,处理消息接收、错误和自动清理 React示例:展示在组件中使用useRef管理EventSource,实现开始/停止流式请求功能,并自动清理资源 关键点:无论使用原生JS还是框架,核心都是及时关

文章图片
#javascript#前端#react.js
火山引擎 DataFinder简介

火山引擎DataFinder是一款企业级用户行为分析平台,提供全域数据采集、智能分析建模与场景化应用。其核心功能包括多端多源数据采集、10+分析模型及58套行业模板,支持秒级响应千亿级数据。技术架构创新体现在多ID映射、动态统计口径和集成生态,提升分析精准度40%。行业解决方案覆盖汽车、金融、零售等领域,如车机性能优化30%、金融转化率提升15%。作为数据飞轮核心引擎,DataFinder通过降本

文章图片
#火山引擎
    共 142 条
  • 1
  • 2
  • 3
  • 15
  • 请选择