logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

AI编程:乘法竖式计算演示web应用

✅乘法竖式动画演示:清晰展示乘法竖式的计算步骤✅自定义数字输入:支持输入任意数进行计算✅播放控制:提供播放、暂停、重置功能✅速度调节:支持0.5x到3x的速度调节✅随机数生成:一键生成随机的乘数和被乘数。

文章图片
AI编程:乘法竖式计算演示web应用

✅乘法竖式动画演示:清晰展示乘法竖式的计算步骤✅自定义数字输入:支持输入任意数进行计算✅播放控制:提供播放、暂停、重置功能✅速度调节:支持0.5x到3x的速度调节✅随机数生成:一键生成随机的乘数和被乘数。

文章图片
使用 Vanna + Ollama + ChromaDB,实现“自然语言查询“/ChatBI

Vanna AI 本质是一个通过向量检索 + LLM 推理构建的可训练、可执行、可可视化的自然语义 SQL 助手。基于用户数据自定义训练 RAG拥有自动反馈学习机制支持多模型、向量库、数据库向业务人员提供图形化呈现选项严控数据隐私,全部在用户端执行通过这段脚本,我们体验了 Vanna AI 从RAG 训练 → LLM 生成 SQL → 自动可视化的完整闭环。数据分析同学再也不用手敲长 SQL,业务

文章图片
Prefill Decode分离部署大模型(dynamo框架)

NVIDIA Dynamo 是一个高吞吐量、低延迟的推理框架,旨在为多节点分布式环境中的生成式 AI 和推理模型提供服务。Dynamo 设计为与推理引擎无关(支持 TRT-LLM、vLLM、SGLang)

文章图片
用DeepSeek自动求解-华容道

经过与 deepseek 多轮对话,还有自己查找问题,最后完成了这个作品。今天辅导孩子做华容道,孩子不会,我也试了好久没做出来。首轮给出的结果基本上就差不多是对的,还有一些小逻辑不太对。我决定使用 deepseek 开发一个自动解题的动画。用deepseek编程求解华容道。Worker执行IDA*算法。创建Web Worker。

文章图片
显存大解放:vLLM Sleep模式实战指南,90% GPU资源瞬间回收!

vLLM的Sleep模式允许你临时释放模型占用的GPU内存(包括模型权重和KV缓存),而无需停止服务器或卸载Docker容器。RLHF训练:在训练和推理间无缝切换成本优化:空闲时段释放GPU资源给其他任务多模型调度:动态切换不同模型而无需重启服务✅释放90%+ GPU显存:将权重卸载到CPU内存,丢弃KV缓存✅快速恢复:秒级唤醒,无需完整重新加载模型✅精细控制:支持分布式部署,可单独唤醒权重或KV

文章图片
探索HTTP流式返回:Python实战与Ollama本地模型测试

Ollama 将模型权重、配置和数据打包成一个单一的包(通过Modelfile管理)。它简化了模型的下载、部署和管理过程。

文章图片
#http#python#网络协议
使用 json_repair 修复大模型输出为 json 对象

当大模型生成json格式的输出时,有时候可能会出现缺少引号,单引号等问题,可以很好的解决这个问题参考了的官方文档以及其他相关资料,整理了这款JSON修复工具的主要用法。下面的表格和示例可以帮助你快速上手。loads()

#json
triton+tensorrt-llm后端部署LLM服务

参考TensorRT-LLM 是 NVIDIA 推出的一个开源库,旨在利用 TensorRT 深度学习编译器优化和加速大型语言模型(LLMs)的推理性能。它专为开发者设计,支持在多 GPU 环境中高效运行 LLMs。

文章图片
    共 126 条
  • 1
  • 2
  • 3
  • 13
  • 请选择