logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPU计算效率提升:混合精度训练、并行优化、量化与VLLM实践

基于上述策略,丰语8B模型通过混合精度训练将显存占用从224GB降至80GB以内(A800单卡可承载),同时通过损失缩放和精度分层,保证预训练精度与FP32训练基本一致。并行优化通过“拆分模型或数据”,将大模型训练/推理任务分配到多GPU上执行,突破单卡显存与计算能力限制,核心分为四类并行方式。,在保证模型收敛精度的前提下,降低显存占用、提升计算吞吐量,解决大模型训练的硬件资源限制。将模型按层(或

#人工智能#算法#机器学习 +1
Spark、Flink 和 TensorFlow 三大分布式数据处理框架对比

优化性能,支持流处理(微批模式)、机器学习(MLlib)、图计算(GraphX)等多种场景。(Native Streaming),并通过流模型模拟批处理。如需进一步了解技术细节或代码示例,可参考各框架的官方文档及上述引用来源。,支持分布式训练与推理。TensorFlow 是。

文章图片
#分布式#spark#flink
端到端语音识别服务重构方案

本方案通过混合架构实现了精度与效率的平衡,经内部测试,中文场景下WER相对基线系统降低22%,推理耗时减少35%。建议根据实际业务需求调整模型权重分配策略,并持续优化领域自适应模块。

文章图片
#语音识别#重构#人工智能
常用中文开源embedding模型应用

以下为你介绍几种常用的中文开源 Embedding 模型,以及它们的输入输出调用方式和代码示例。

文章图片
#语言模型#人工智能
Milvus向量数据库操作的详细输入输出参数说明及示例

以下将详细介绍 Milvus 向量数据库中保存(插入)、删除、查询(query和search)操作的输入输出参数,并给出代码示例。

文章图片
#数据库#milvus#oracle
向量数据库选型调研详细报告

在人工智能和大模型蓬勃发展的今天,向量数据库凭借其高效的高维数据检索能力,成为语义搜索、RAG(检索增强生成)、推荐系统等场景的核心基础设施。向量数据库专门用于存储和查询向量,这些向量通常来自对文本、语音、图像、视频等非结构化数据的向量化处理。与传统数据库不同,向量数据库能够处理更多非结构化数据,并通过专门的索引(如k - nn索引)提供向量相似性搜索,还具备管理矢量数据及其他数据类型、工作负载管

文章图片
#数据库
开源系统之项目管理

ReferencesWizardWizard 开源文档管理系统JitaminJitamin禅道Zentao

#开源
常用中文开源embedding模型应用

以下为你介绍几种常用的中文开源 Embedding 模型,以及它们的输入输出调用方式和代码示例。

文章图片
#语言模型#人工智能
常用中文开源embedding模型应用

以下为你介绍几种常用的中文开源 Embedding 模型,以及它们的输入输出调用方式和代码示例。

文章图片
#语言模型#人工智能
Milvus 中常见相似度度量方法

在 Milvus 中,相似度度量方法用于衡量向量之间的相似程度,不同的度量方法有不同的特点、优缺点和适用场景。以下是对 Milvus 中常见相似度度量方法的详细介绍以及对应的search参数示例。

文章图片
#milvus#机器学习#算法
    共 12 条
  • 1
  • 2
  • 请选择