logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Triton Inference Server:NVIDIA 开源的 AI 模型推理服务框架

当然,前提是你用的硬件在 Triton 的支持列表里,大部分 NVIDIA GPU 和常见的 CPU 都没问题。Triton 支持的硬件范围很广,从云端的 NVIDIA GPU 到数据中心的 x86 服务器,再到边缘设备的 ARM CPU,甚至 AWS 的 Inferentia 专用芯片都能跑。这种跨平台的特性让它能适应不同的部署需求,无论是高并发的线上服务还是资源受限的边缘推理。如果你在搭建 A

#开源#人工智能#其他
Triton Inference Server:NVIDIA 开源的 AI 模型推理服务框架

当然,前提是你用的硬件在 Triton 的支持列表里,大部分 NVIDIA GPU 和常见的 CPU 都没问题。Triton 支持的硬件范围很广,从云端的 NVIDIA GPU 到数据中心的 x86 服务器,再到边缘设备的 ARM CPU,甚至 AWS 的 Inferentia 专用芯片都能跑。这种跨平台的特性让它能适应不同的部署需求,无论是高并发的线上服务还是资源受限的边缘推理。如果你在搭建 A

#开源#人工智能#其他
ekzhangbore:轻量高效的TCP端口转发工具

摘要:bore是一款轻量高效的TCP端口转发工具,用Rust编写,已在GitHub获得超1.1万星。它功能专一,可将本地端口暴露到远程服务器,支持绕过NAT防火墙。提供多种安装方式(Homebrew、AUR、源码编译等),使用简单:本地运行bore local命令即可映射服务,支持自定义端口和远程主机配置。服务端可自行托管,支持认证密钥和端口范围设置。该项目代码精简(约400行),采用异步Rust

#tcp/ip#网络协议#网络 +1
到底了