logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大语言模型优化:微调、蒸馏与量化

微调、蒸馏与量化构成了大型语言模型优化落地的"三驾马车",理解它们的核心原理适用边界以及组合潜力,是AI从业者在实践中做出合理技术选型的基础。随着技术的不断发展,这三种方法将继续演化并产生更多创新的结合方式,为不同场景下的模型部署提供更加丰富和高效的解决方案。在实际应用中,没有"放之四海而皆准"的最佳选择,只有最适合特定需求和约束的技术组合。明智的工程师应当根据业务目标、资源限制和性能要求,灵活搭

#语言模型#人工智能#机器学习
计算机网络——Session、Cookie 和 Token

在 Web 开发中,和是实现用户会话管理和身份验证的核心技术。它们既有联系,也有明显区别。以下从定义、原理、联系、区别和应用场景等方面详细解析。

文章图片
#计算机网络
XJTUSE 数据结构与算法第四次作业——任务2

任务2题目为了确保每次迷宫的生成都是成功的,将不再采用任务 1 中的随机擦除边的生成方式,而是采用 Kruskal 最小支撑树的算法来实现迷宫生成。具体的执行步骤如下:1. 为任务 1 中用来表示迷宫的图中的每一条边都随机生成一个权值(此时的图是一个带权图,所以在表示时可能会和任务 1 的表示有出入,请注意这个细节);2. 利用 Kruskal 算法对步骤 1 中的图生成最小支撑树 T;3. 将

文章图片
#算法#数据结构
产品背景知识:大模型的参数

在人工智能的前沿领域,大模型正以其强大的能力重塑着我们对智能的认知。而大模型参数,作为模型的“内部零件”,则是理解这一强大技术的关键所在。这些参数各有独特用途,共同支撑起大模型的智能架构。

文章图片
#人工智能
AI芯片需要的特性(内附大量知识点)

AI芯片需具备对多样神经网络模型架构的灵活支持和高效执行特有计算逻辑的能力,以适应不同的应用需求。AI芯片应支持模型压缩算法,如量化和剪枝,以提高模型在终端部署时的推理性能,并实现软件算法与硬件执行的高效协同。AI芯片设计应考虑轻量化网络结构,支持更复杂的卷积运算和数据逻辑,以适应算力和带宽受限的场景。AI芯片需支持大模型的分布式并行策略,包括高效的片上网络接口和总线设计,以及大内存容量和高速互联

文章图片
#人工智能
网络存储S3 与 MinIO对比

例如 Amazon S3、MinIO,将数据作为“对象”(Object)存储,每个对象包含数据、元数据和唯一标识符(如 URI),适合海量非结构化数据(图片、视频、日志等)。Amazon S3(Simple Storage Service)是 AWS 在 2006 年推出的首个公有云对象存储服务,定义了行业标准的对象存储 API。MinIO 是 2014 年发布的开源对象存储系统,完全兼容 Ama

文章图片
#网络
GGUF、Safetensors、ONNX三种格式

参考:https://github.com/karminski/one-small-step/blob/main/20250122-how-to-run-gguf-LLM-model/how-to-run-gguf-LLM-model.md。总而言之,GGUF 是一种重要的 LLM 文件格式,它通过提高存储效率、加载速度和兼容性,简化了 LLM 的使用和部署,并有望成为未来大模型文件标准格式之一。

文章图片
#人工智能
计算机网络——Nginx负载均衡配置指南:四层与七层负载均衡实践

四层负载均衡:适合低延迟、高性能要求的TCP/UDP服务七层负载均衡:适合需要应用层智能路由的HTTP服务安全配置:必须重视隐私保护和访问控制性能优化:需要根据实际业务特点进行针对性调优实际部署时应结合业务需求、流量特点和系统资源情况,选择合适的负载均衡策略,并通过持续监控不断优化配置。

文章图片
#计算机网络#nginx#负载均衡
    共 21 条
  • 1
  • 2
  • 3
  • 请选择