本文介绍了如何在阿里云上部署RustDesk自托管远程桌面服务器。通过自建中继服务器，用户可以实现安全、高效的跨网络远程控制，解决传统方案如Tailscale+VNC或FRP穿透的带宽和延迟问题。文章详细说明了部署步骤：包括安装服务端、配置安全组、设置被控设备端以及控制端连接等操作，并提供了常见问题解决方法。自托管方案具有数据隐私性好、性能可优化、不受商业限制等优势，适合需要远程访问内网设备的场景

TRELLIS是一个微软开源的多模态AI系统，能够从多张2D图片自动生成高质量的3D模型。它通过分析不同角度的图片，推测物体的3D结构，并同时输出高斯溅射、网格和辐射场等多种3D表示形式。用户只需准备物体不同角度的照片（要求光线均匀、背景简单），通过Docker环境运行TRELLIS，就能生成可编辑的3D模型文件（如.glb格式）和渲染视频。该项目支持开源免费使用，适用于游戏开发、VR/AR等多个

发现Nsight Compute中的Peak Work跟峰值算力对不上.这里进一步分析。

本文演示了Llama-2-13b-chat-hf模型如何下载、单卡推理、多卡推理的步骤及测试结果。

intel-xpu-backend-for-triton绕过pytorch直接调用Unified-Runtime

近几年国内外头部的AI公司相继发布了自己的大模型REST API服务,一些还支持在线体验。如果用python调用各家的REST API,就可以批量测试不同模型的效果本文整理了主要几个大模型提供商的REST API用法,方便集中查阅。

在封装SDK,对外提供API时。希望不暴露内部符号,免得产生冲突,给集成带来麻烦.本文演示了二种方法。

以下DEMO演示了,pipeline多卡并行时,如何分析各kernel的耗时占比,如果nccl kernel占比过大,说明GPU有效利用率不高,主要分为以下步骤1.nsys profile 运行4卡pipeline并行demo2.用开源的nsys2json.py将nsys的sqlite-schema转成chrome event格式3.分析chrome event格式,按设备统计各kernel的耗时

autotrain框架可以通过配置简单的yaml文件就能训练dreambooth,llm_sft,llm_dpo, llm_orpo,llm_generic,llm_reward,text_classification,text_regression,token_classification image_object_detection seq2seq image_classification等模

远程直接内存访问（RDMA）技术通过绕过操作系统内核和CPU直接访问远程内存，实现了超低延迟、高吞吐量的网络通信。该技术广泛应用于高性能计算、分布式存储和机器学习等领域。本文通过一个完整的代码示例，演示如何利用RDMA核心组件（QP、MR、CQ等）实现跨节点内存直接读写。