logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型工程框架生态全览

随着大语言模型(LLM)的快速发展,单纯依赖原始模型已经无法满足复杂的业务需求。如何高效管理模型、构建多轮对话、集成外部工具和知识库、同时保证高性能推理,成为大模型落地的核心挑战。为此,越来越多工程化框架应运而生,如 LangChain、vLLM、LlamaIndex、Haystack 等,它们为大模型应用提供了完整的生态和工具链。

文章图片
#语言模型#人工智能#AI
LongCat-Flash:美团出手,国产卡上跑出的「闪电级」大模型

最近,美团开源的 LongCat-Flash 彻底炸了 AI 圈。一方面,它用 国产算力 完成了一个 5600 亿参数的大模型训练;另一方面,它用一系列极具工程狠劲的设计,解决了很多 DeepSeek 一直头疼的系统级瓶颈。LongCat-Flash 可以说是一次真正懂大模型训练痛点的人干出来的技术工程奇迹。

文章图片
认识 Unsloth 框架:大模型高效微调的利器

在大语言模型(LLM)应用快速发展的背景下,如何高效地在消费级硬件上进行模型的微调与部署,成为了开发者们普遍关注的问题。Unsloth 框架正是在这样的需求下应运而生,它提供了一种轻量级、易用且高效的方式来进行 LLaMA、Mistral 等模型的微调,大幅度降低了资源门槛。 前面我们介绍了LangChain, Vllm,TRL, PEFT, LLaMA Factory,今天我们一起来看一下Uns

文章图片
#人工智能#AI#语言模型
大模型框架性能优化策略:延迟、吞吐量与成本权衡

在大模型应用和推理系统中,性能优化是关键环节。无论是 LangChain、vLLM 还是 RAG 系统,架构设计、推理策略和资源调度都会直接影响延迟、吞吐量和成本。

文章图片
#性能优化#人工智能#AI
深入 vLLM:高性能大模型推理框架解析

在大模型应用中,推理性能往往成为限制系统规模和用户体验的关键因素。为此,vLLM 应运而生,提供了高吞吐量、低延迟的推理引擎,并支持多模型协作和异构硬件调度。vLLM 不仅可以独立作为推理服务,还能与 LangChain 等工程框架无缝集成,实现完整的业务流程编排。

文章图片
#人工智能#AI#语言模型
一文搞懂CNN经典架构-EfficientNet!

随着深度学习的发展,CNN 的精度不断提升,但代价是网络越来越深、参数越来越多。例如 VGG-19 有 144M 参数,ResNet-152 计算量达到 11.3 GFLOPs。这在实际应用(如移动端推理)中非常昂贵。2019 年,谷歌团队提出 EfficientNet,其核心思想是通过一种系统化的复合缩放(Compound Scaling)方法,在计算量可控的前提下提升模型精度。Efficien

文章图片
#cnn#人工智能#神经网络
一文搞懂CNN经典架构-VGG!

AlexNet:深度学习革命的里程碑 2012年,AlexNet在ImageNet竞赛中以压倒性优势夺冠,错误率比第二名低10%,正式开启了深度学习时代。这个由Alex Krizhevsky等人设计的卷积神经网络具有突破性创新:采用8层网络结构(5卷积+3全连接)、首次大规模使用ReLU激活函数、引入Dropout正则化技术,并开创性地使用GPU并行训练。其关键贡献还包括数据增强方法和更深的网络架

文章图片
#cnn#人工智能#神经网络
一文搞懂深度学习中的池化!

在卷积神经网络(CNN)中,卷积层用于提取图像或特征图的局部模式,而池化(Pooling)是卷积之后常用的一种下采样操作。池化可以降低特征图尺寸、减少计算量,并增强模型对位置和噪声的鲁棒性。下面从几个关键方面来介绍池化。

文章图片
#深度学习#人工智能
一文搞懂卷积神经网络!

卷积神经网络(Convolutional Neural Network, CNN)是深度学习中最具代表性和影响力的模型之一。它通过局部感受野、权值共享和多层卷积的方式,高效地提取数据的层次化特征,特别适合处理图像、语音以及具有空间结构的数据。CNN 的提出与成功,使得计算机视觉领域从传统的手工特征提取,迈入了端到端的特征自动学习阶段。

文章图片
#cnn#人工智能#神经网络
面试官:正则化都有哪些经典的方法?

在训练神经网络的过程中,我们经常遇到一个让人头疼的问题:训练集上精度高得离谱,测试集却一塌糊涂。这就是过拟合(Overfitting)。模型在训练集上死记硬背了样本,却没有真正学到可泛化的规律。要解决这个问题,除了多加数据、做数据增强之外,另一个关键武器就是——正则化(Regularization)。

文章图片
#深度学习#人工智能#算法
    共 76 条
  • 1
  • 2
  • 3
  • 8
  • 请选择