logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从能跑到跑得快:一次大模型硬件加速的工程实践

本文探讨了大模型硬件加速的工程实践,指出硬件加速不仅是使用GPU,而是包含算力层、模型层和推理引擎层的系统优化。常见误区包括仅使用GPU而忽略推理引擎优化、接口与推理耦合、串行执行等问题。文章提出四条加速路径:上GPU、量化、更换推理引擎和独立推理服务,并通过案例说明将vLLM作为独立服务的优势——提升并发能力、降低延迟和明确职责划分。核心原则是:硬件加速是系统工程,需分类请求、重视并发、解耦服务

#GPU
从零开始:LLaMA-Factory 大模型微调完全指南 | 手把手教你打造专属AI助手

无需深度学习背景,跟着教程一步步操作,即可打造属于你的专属 AI 助手!

文章图片
#人工智能#语言模型
IDE/编码代理架构与 Cursor 相关研究(汇总)

本文探讨了AI驱动的IDE/编码代理(如Cursor)的架构设计与安全挑战。研究指出,当前缺乏官方公开的Cursor内部架构文档,但多篇论文涉及高权限IDE代理的安全风险(如提示注入攻击)、生产力影响评估和代理架构模式。关键建议包括:实施最小权限沙箱、命令白名单、高危操作人工确认等防护措施;采用MCP协议进行遥测和工具集成;建立"人在回路"机制确保关键节点可审。文章还推断Cur

#ide#架构#人工智能
超详细!不同操作系统安装 Node.js 全攻略

本文详细介绍了在Windows、MacOS和Linux三大操作系统中安装Node.js的完整步骤。Windows用户可通过官网下载.msi安装包,MacOS推荐使用Homebrew包管理器安装,Linux用户则需通过终端命令安装。安装完成后,可通过node -v和npm -v验证版本。文章还提供了配置npm镜像源、升级版本等进阶操作指南,帮助开发者快速搭建Node.js开发环境。不同系统下的安装过

#node.js#人工智能#语言模型
PyInstaller打包优化:pipenv减小exe文件大小

摘要 PyInstaller打包文件过大(80-150MB)的主要原因是导入过多模块和依赖包。通过使用pipenv虚拟环境并仅安装必要依赖,可将文件大小减少60-75%。关键步骤包括:安装pipenv、创建虚拟环境、在虚拟环境中重新安装pyinstaller和必要依赖,最后用优化参数打包。对比显示,物理环境打包80-150MB,虚拟环境仅20-40MB。注意必须在虚拟环境中安装pyinstalle

#conda#人工智能#docker
LLaMA Factory 安装指南

按照 GitHub 上介绍的过程安装即可,为了加快速度,增加了国内的 pip 源。

#人工智能
MCP 通信协议:stdio vs SSE

本文探讨了MCP通信协议的两种模式选择。stdio模式基于标准输入输出,适合本地开发、单机部署等简单场景,具有零配置、高性能和调试便利的优势。SSE模式则采用Server-Sent Events技术,适用于分布式系统、多客户端支持和服务器推送等复杂需求。作者根据实践经验提出了协议选择标准:stdio模式用于开发和简单应用,SSE模式用于生产环境和复杂系统。文章还分享了双协议实现的最佳实践,包括环境

文章图片
#人工智能#语言模型
Docker 和 Dify 安装指南

本文提供了Docker、Ollama和Dify的安装与配置指南。包括Docker版本检查、镜像源配置解决下载超时问题;Ollama的下载安装及DeepSeek模型运行方法;以及使用Docker部署Dify的完整流程,从代码下载到服务启动,最后通过浏览器访问安装页面。所有步骤均包含详细的命令行操作说明,帮助用户顺利完成安装配置。

#docker#eureka#容器 +2
cursor + miktex 无痛写论文

本文介绍了LaTeX工作环境的配置步骤:首先安装MiKTeX和Strawberry-Perl,然后在Cursor编辑器中进行设置。主要内容包括配置自动构建规则、PDF查看器选项、编译工具链(xelatex/pdflatex和bibtex的组合)、清理文件类型设置,以及预览、同步等辅助功能。配置还涉及编辑器主题、Git集成等开发环境设置,为LaTeX文档编写提供了完整的工具链支持。

    共 17 条
  • 1
  • 2
  • 请选择