logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型科普专栏·第二章:算力、数据、推理、加速——解密“大模型”的幕后故事

大模型训练是典型的资本密集型技术,以GPT-4为例需要2.5万张A100显卡连续运行百天,算力成本超6300万美元。核心成本构成包括:1)硬件投入(单张A100售价超10万元);2)海量数据清洗(GPT-3消耗45TB数据);3)惊人能耗(万卡集群功耗达4MW);4)复杂工程调试。推理阶段同样面临显存挑战,70B参数模型加载需140GB显存,长文本处理更需额外32GB。为降本增效,业界采用知识蒸馏

文章图片
#人工智能#深度学习#机器学习
YOLOv8 超详细小白教程(毕设必看)——Windows、PyCharm +conda+ LabelImg +GPU训练自己数据集训练

本文提供了一份完整的YOLOv8目标检测模型训练教程,涵盖从环境配置到模型训练的完整流程。教程详细介绍了PyCharm安装、conda环境搭建、GPU驱动配置(CUDA/cuDNN)、LabelImg数据标注工具使用,以及如何准备自定义数据集和训练YOLOv8模型。特别针对Windows系统用户,给出了详细的路径设置和常见问题解决方案。文章还包含了模型验证和推理方法,并提供了训练参数调整建议。本教

文章图片
#pycharm
一文搞懂 Docker 与 Kubernetes:从容器到集群的进化之路

Docker与Kubernetes核心解析 Docker通过镜像打包应用及环境,实现"一次构建,到处运行",解决开发与生产环境差异问题。其轻量化容器启动快、隔离性强,适合微服务架构。Kubernetes(K8s)作为容器编排系统,管理大规模容器集群,提供自动扩缩容、服务发现、滚动升级等能力。两者关系互补:Docker负责单容器运行,K8s调度集群资源。典型应用场景包括微服务部署

文章图片
#docker#kubernetes#容器
AI-Agent 深度科普:从概念到架构、应用与未来趋势

本文系统梳理了AIAgent(智能体)的核心概念与发展趋势。AIAgent是基于大语言模型(LLM)的智能决策单元,具备感知环境、规划任务、执行行动等能力,可调用工具、访问知识库完成复杂任务。其核心架构包括感知、推理、工具调用、记忆、执行和反馈等模块。主要类型有单智能体、多智能体协作和人机协作模式。关键能力包括检索增强、记忆机制、任务拆解等。文章分析了Auto-GPT等典型案例,提出角色定义、监测

文章图片
#人工智能#大数据
大模型科普专栏·第二章:算力、数据、推理、加速——解密“大模型”的幕后故事

大模型训练是典型的资本密集型技术,以GPT-4为例需要2.5万张A100显卡连续运行百天,算力成本超6300万美元。核心成本构成包括:1)硬件投入(单张A100售价超10万元);2)海量数据清洗(GPT-3消耗45TB数据);3)惊人能耗(万卡集群功耗达4MW);4)复杂工程调试。推理阶段同样面临显存挑战,70B参数模型加载需140GB显存,长文本处理更需额外32GB。为降本增效,业界采用知识蒸馏

文章图片
#人工智能#深度学习#机器学习
TensorRT 量化第二课:对称量化 vs 非对称量化(原理 + 公式 + 代码全解析)谁才是性能王者?

pass对称量化:零点为 0,计算快,适合权重。非对称量化:零点可调,适合非零中心分布(如 ReLU 激活)。TensorRT 提供 Calibrator,支持两种量化方式,可灵活选择。💡下一课预告:带大家搞懂直方图校准 + KL 散度—— 把极端值(outlier)踢出去,scale 选得更聪明。👉 如果文章帮到你,记得点个「赞」👍 支持一下,评论区欢迎贴代码/交流问题,我会在线答疑~#

文章图片
#人工智能#python#pytorch
AI-Agent 深度科普:从概念到架构、应用与未来趋势

本文系统梳理了AIAgent(智能体)的核心概念与发展趋势。AIAgent是基于大语言模型(LLM)的智能决策单元,具备感知环境、规划任务、执行行动等能力,可调用工具、访问知识库完成复杂任务。其核心架构包括感知、推理、工具调用、记忆、执行和反馈等模块。主要类型有单智能体、多智能体协作和人机协作模式。关键能力包括检索增强、记忆机制、任务拆解等。文章分析了Auto-GPT等典型案例,提出角色定义、监测

文章图片
#人工智能#大数据
FastAPI 入门科普:下一代高性能 Python Web 框架

FastAPI作为Python现代Web框架新秀,凭借高性能、自动文档生成、异步支持和强类型检查等优势迅速崛起。它基于Starlette和Pydantic,性能媲美Node.js/Go,特别适合AI应用、微服务和高并发API开发。相比Flask/Django,FastAPI在自动验证、文档生成和异步处理方面表现更优。通过简单示例展示了其路由定义、数据验证和异步处理能力,并推荐了Uvicorn+Gu

文章图片
#fastapi#python#前端
AI-Agent 深度科普:从概念到架构、应用与未来趋势

本文系统梳理了AIAgent(智能体)的核心概念与发展趋势。AIAgent是基于大语言模型(LLM)的智能决策单元,具备感知环境、规划任务、执行行动等能力,可调用工具、访问知识库完成复杂任务。其核心架构包括感知、推理、工具调用、记忆、执行和反馈等模块。主要类型有单智能体、多智能体协作和人机协作模式。关键能力包括检索增强、记忆机制、任务拆解等。文章分析了Auto-GPT等典型案例,提出角色定义、监测

文章图片
#人工智能#大数据
大模型科普专栏·第三章:大模型的应用场景——从智能交互到代码生成

大模型应用全面落地:从智能客服到多模态交互 大模型技术已深入生活与工业场景,展现多样化应用价值。智能客服实现多轮对话与专业知识响应,显著提升服务效率;AI编程助手如Copilot支持代码补全与错误修复,成为开发者得力工具;RAG技术结合检索与生成,解决大模型"幻觉"问题,确保专业领域答案准确性;多模态大模型实现图文/语音跨模态交互,应用于创意设计、教育科研等领域。当前大模型正加

文章图片
#人工智能#科技
    共 20 条
  • 1
  • 2
  • 请选择