java标签_AMD开发者中国社区

java

【LLM 推理图解】Transformer 如何完成一次推理？一文搞懂 Prefill 与 Decode

很多人学完 Self-Attention、QKV、FFN 之后，一打开 vLLM / SGLang 源码，立刻懵了。

Python编程杰哥
2026-07-25 22:14:42

 185

 5

#transformer #深度学习 #人工智能 +4
大模型推理的请求调度算法——FCFS、连续批处理与优先级队列的多维对比

vLLM 原生支持基于请求到达时间的优先级，但在企业场景中，我们需要根据业务优先级（如付费用户优先、短请求优先）进行调度。/*** 自定义推理请求优先级调度器。* 设计原则：短请求优先（SJF近似） + 业务优先级权重，* 同时通过老化机制避免长请求被饿死。*//*** 计算请求的综合优先级分数。* 分数越低，优先级越高（类似优先队列的默认排序）。* @param request 推理请求* @p

亚历克斯神
2026-07-15 21:06:49

 2436

 6

#java #spring #微服务
大模型部署实战：从 GPU 显存管理到弹性推理服务的工程化落地

大模型推理部署的核心挑战是显存管理。模型权重、KV Cache、激活值三方竞争有限的 GPU 显存，合理的分配策略直接决定吞吐量和延迟。vLLM 的 PagedAttention 通过虚拟内存分页机制，将 KV Cache 的显存利用率提升到 95% 以上，是当前最成熟的推理引擎之一。本地部署与云 API 的选择，取决于调用量、隐私要求和运维能力。日均 100 万 Token 是成本拐点的粗略参考

 亚历克斯神
2026-06-24 14:49:35

 2945

 18

#java #spring #微服务
大模型推理成本优化：量化、缓存与请求调度的联合降本策略

大模型推理成本优化不是单一技术手段能解决的，需要量化、缓存和调度三管齐下。落地路线建议如下：第一，量化是性价比最高的优化手段。AWQ 4-bit 量化可以将 GPU 成本降低 60-75%，且实施成本极低——只需一次离线量化，无需修改推理代码。建议作为降本的第一步。第二，语义缓存按场景启用。在客服问答、知识库查询等高重复率场景中，语义缓存的降本效果显著。在创意生成场景中，缓存命中率低，投入产出比不

 Dicky-_-zhang
2026-06-24 14:47:21

 3577

 10

#java #jvm
FreeRTOS 队列管理完整内容梳理

FreeRTOS 中邮箱 = 长度为 1 的队列队列：数据流转，读取后数据删除；邮箱：数据常驻，读取后数据保留，支持覆盖更新。区分任务版 API与中断版 API：常规队列函数禁止在中断中调用，中断必须使用xxxFromISR后缀函数。阻塞时间单位：系统节拍，可通过将毫秒转为节拍数。优先级影响：队列阻塞任务的唤醒顺序，严格遵循优先级 > 等待时长规则。内存安全：引用队列 / 指针队列，必须保证内存生

 仁者无忧8570
2026-06-07 18:28:18

 279

 5

#java #数据库 #开发语言
Java工程师转型嵌入式：2026年一条被忽视的黄金赛道

2026年Java与嵌入式就业市场深度分析及转型建议摘要：2026年Java就业市场呈现"量缩质升"趋势，初级岗位供需比达15:1，AI已能替代80%标准化代码工作。与此同时，嵌入式行业人才缺口高达46.7%，尤其在新能源、汽车电子等领域需求旺盛，其与物理世界强绑定的特性构建了AI难以逾越的护城河。Java工程师转型嵌入式具备系统设计能力等天然优势，郑州金橙智能通过"量产级项目"培训模式（如新能

 cyl1224071
2026-06-30 17:52:52

 299

 6

#java #python #人工智能 +1
CMSIS-ARM_DRIVER架构下的SPI通信-1数据“收发”

本文深入分析了STM32 F407系列SPI通信的底层驱动机制。一段看似简单的6行SPI数据收发函数，实际通过中断方式实现全双工通信：1. 核心流程由RXNE接收中断驱动，每次中断读取接收数据并填充下一发送数据；2. 通过状态寄存器busy标志实现同步，数据传输完成后清除busy标志；3. 支持8/16位数据帧格式，采用指针操作实现高效数据搬运。研究发现官方驱动采用"中断触发+状态机&q

代码大师郑州胡冰杰
2026-06-16 14:37:34

 356

 12

#arm开发 #架构 #java
大模型推理服务部署：从 GPU 资源调度到弹性伸缩的架构设计

大模型推理服务的部署架构，核心是在 GPU 资源有限的条件下，通过动态批处理提升单卡利用率，通过弹性伸缩应对流量波动，通过 CPU 降级保障可用性底线。三个机制协同，才能在成本、延迟和可用性之间找到平衡点。落地路线上，建议从单卡部署起步，先验证模型推理效果是否满足业务需求；再引入动态批处理，在延迟可接受的前提下提升吞吐量；最后构建弹性伸缩体系，从简单的指标驱动扩缩容开始，逐步引入预测性扩容和 CP

亚历克斯神
2026-06-29 09:39:42

 3604

 8

#java #spring #微服务
电商图片去水印 API 实战：3 行代码搞定商品图批量去水印（附 Python / Java / PHP 示例）

本文介绍如何通过图片去水印API，用3行代码实现电商商品图的批量自动去水印。石榴智能图片去水印API采用自研深度学习算法，上传带水印图片即可自动识别并去除水印、污渍、划痕等瑕疵，返回高清无水印图像。文章提供Python、Java、PHP三种语言的完整接入示例，以及批量处理数百张商品图的实战代码。结合自动化流水线，可实现从素材下载到商品上架的全链路自动化……

石榴树下的七彩鱼
2026-06-20 07:16:52

 232

 7

#python #java #php
DCU使用技术报告_下篇_性能复盘与研发经验总结

以下所有数据来自同一套超算环境（Lustre文件系统、NetCDF 4.4.1、1991-2020 OSTIA SST数据），确保对比的公平性。

Dssshaaa
2026-06-25 22:16:54

 529

 11

#网络 #服务器 #java
AI 模型部署：从训练完成到生产可用的工程化全链路

AI 模型部署的核心矛盾，是模型推理的资源密集性与生产服务的成本敏感性之间的冲突。GPU 是最昂贵的计算资源，每一分利用率都值得优化。模型量化、动态批处理、PagedAttention，这些技术的共同目标都是在有限的 GPU 资源下，最大化推理吞吐。部署架构的分层设计——模型层、推理层、服务层——将模型格式、推理引擎、API 服务三个关注点解耦。模型层负责版本管理和格式转换，推理层负责性能优化和资

 亚历克斯神
2026-06-23 10:47:54

 3538

 14

#java #spring #微服务
【学习笔记】垂直领域大模型：行业微调实战指南（9/35）

垂直大模型就是为了解决这三个痛点。但做不做、怎么做、做了值不值——这是一系列复杂的工程决策。

xian_wwq
2026-06-29 16:09:46

 475

 10

#学习 #java
FP4 / NVFP4 从数学角度统一总结

它是 4-bit 的非均匀浮点格点。真实值 ≈ FP4裸值 × block scale × global scale但工程上会用 calibration、clipping、QAT 或误差最小化来改进。FP4 提供一组极少的非均匀浮点格点；NVFP4 通过 block scale 和 global scale，把这些格点缩放到每个 block 的真实数值范围中，从而用 4 bit 近似表达 FP16

luoganttcc
2026-06-04 16:56:47

 257

 3

#java #前端 #服务器
【字节跳动】《上海临港智算中心A100 4000卡集群技术推测》

📄 文档内容解读：字节临港A100智算中心落地行业应用（生物医药+金融量化）本文出自《上海临港智算中心A100 4000卡集群技术白皮书》，聚焦HPC+AI融合算力在两大高算力刚需行业的落地成果，集群硬件基底为4000张NVIDIA A100 GPU组成超算集群。一、5.3 生物医药与科学计算（HPC+AI）核心逻辑：传统高性能计算(HPC)依托A100的通用算力完成AI智能化升级，破解生物医药

 季念&季凡
2026-06-03 13:50:25

 79

 1

#人工智能 #大数据 #开发语言 +2
大模型全景路线图：7阶段横向流水线与Gate标准，小白也能轻松入门并收藏学习

2026年技术圈的分化愈发明显：降薪裁员潮持续蔓延，传统开发、测试等岗位大批缩水，不少从业者陷入职业焦虑；与之形成鲜明对比的是，AI大模型相关岗位迎来疯狂扩招，薪资逆势飙升150%，大厂更是直接开出70-100W年薪，疯抢具备实战能力的大模型人才，甚至放宽年龄限制，只求能快速落地技术、创造价值！1、窗口期红利，入门门槛友好：不同于成熟赛道的“内卷式招聘”，2026年大模型人才缺口巨大，简历只要达标

 程序汪小陈
2026-06-02 10:28:34

 346

 4

#学习 #人工智能 #java
多摩川编码器（Tamagawa Seiki）单圈/多圈/全信息协议

支持单圈 / 多圈 / 全信息 / 编码器ID四类命令单圈命令自动递增，峰值归零DMA + 中断方式保证高速响应 (<3µs)RS485 半双工控制，硬件自动完成发送。

m0_53885582
2026-06-11 15:54:43

 311

 4

#java #网络 #服务器
【STM32+ESP01S+微信小程序】零基础实现远程点灯：从硬件到云端全流程教学

特别简单的小项目，后期可以自己添加自己想要的

 Top1215
2026-06-01 13:44:13

 403

 11

#python #java #stm32 +2
收藏必看！2026字节AI Agent开发暑期实习4面面经+零基础大模型学习指南

Structured Output 就是让模型按你指定的格式输出，而不是自由文本。最常见的需求就是输出 JSON，比如你做信息提取，需要{"姓名":"张三","年龄":28}，而不是"这个人叫张三，今年28岁"这种自然语言。实现方式有两种：简单的是在 Prompt 里规定格式，但不太稳定，模型有时还是会"跑偏"；更可靠的是用 JSON Schema 约束，主流 API 都支持，模型会被强制按 Sc

m0_48891301
2026-06-21 09:30:00

 439

 5

#人工智能 #java
基于GNU Radio和USRP的低轨卫星实时捕获与解调实战

在低轨卫星（LEO）通信爆发式增长的今天，Starlink、Planet Labs、Spire 等星座已部署超 7000 颗在轨卫星，其下行链路普遍采用（如 NOAA APT、NOAA HRPT、Meteor-M2 LRPT）或（如 Iridium NEXT、Swarm CubeSats）。传统卫星地面站依赖专用硬件接收机，成本高、封闭性强、迭代慢。本文将带你用搭建一套可复现、可调试、可扩展的开源

 ak123sbksn
2026-06-21 07:35:12

 326

 5

#gnu #服务器 #java
面试资深Java架构师工业级面试通关手册 - 第三至五部分（Q21-Q50）

第三部分：云原生与容器化深度实践（Q21-Q30）Q21：Kubernetes生产级集群架构设计与高可用方案🎯 面试官考察点：K8s Master高可用、多可用区部署、etcd集群、网络插件选型、生产环境最佳实践【第一阶段：集群拓扑设计】采用标准三层架构（参考阿里云ACK Pro、腾讯云TKE）：【第二阶段：Master高可用实现】关键组件冗余策略：etcd集群最佳实践（生产必问）：【第三阶段：

吃胖点儿
2026-06-05 08:45:00

 929

 12

#java
华为OD机试真题新系统 2026-06-03 Java&Go&C 实现【资源二分类隔离判定】【200】

实现一段调度模块功能，将一批资源单元划分到两个隔离资源池中;某些资源单元之间存在互斥关系，例如会竟争同一段频谱、同一类加速卡、同一条转发链路，或者在同一资源池内运行会造成调度冲突;

MISAYAONE
2026-06-19 08:00:00

 250

 3

#java #golang #开发语言 +1
TMA、WGMMA、FP8/FP4 等硬件能力解释

TMA 是搬数据，WGMMA 是算矩阵，FP8/FP4 是降低每个数的 bit 数。A800 缺的是 Hopper/Blackwell 这些新硬件路径，所以它的优化重点不是追 FP8/FP4，而是：把计算形状改造成 A800 擅长的 BF16/FP16 大 GEMM。

luoganttcc
2026-06-03 19:34:54

 487

 4

#java #算法 #网络
【C++】005、struct与class的区别

/ ✅ 好：struct 表示纯粹的数据聚合// ✅ 好：class 表示有约束的实体对象private:// 必须 >= 0，有业务约束（不变量）public:void deposit(double amount) { /* 校验逻辑 */ }void withdraw(double amount) { /* 校验逻辑 */ }

Timmy_zzh
2026-06-26 20:20:21

 222

 5

#java #算法 #开发语言
工作经历怎么用STAR法则来表述？简历怎么写、面试怎么讲，一套公式全搞定

工作经历不会写、简历投出去没回音？STAR法则（情境-任务-行动-结果）是把流水账变成战绩卡的核心公式。本文用具体对比案例展示如何用STAR改写技术岗、运营岗等工作经历，附面试90秒完整回答模板和三个最容易踩的坑。

日月新著
2026-06-27 15:30:12

 425

 5

#面试 #java #职场和发展
PD 分离部署核心原理分析

PD 分离是必选项，不是可选项— Prefill 和 Decode 的计算特性差异（137 倍速度差）决定了共置架构永远无法高效利用 GPU 资源Decode 占推理时间的 99%— 优化 Decode 阶段是性能提升的最大杠杆实测收益明确— 端到端性能 +40%（MoE + PD 分离），吞吐量 +20%（调度优化）分阶段落地最稳妥— 先上 vLLM + Continuous Batching

一个语文不好的NLPer
2026-06-25 17:26:44

 430

 5

#java #开发语言
【并行计算】复习

并行计算课程复习 2026.6

甄心爱学习
2026-06-24 15:49:52

 255

 7

#java #算法 #数据结构
从一个传文件的破需求,到一个能挂公网的“瞬传“:我用 WorkBuddy 把它从 HTML 一路做到了 Java

聊到上线,方向变了——而且是合理地变。这东西要长期挂公网给人用,Node 那套部署还得装运行时、起进程、配守护、挂了得拉起。我后端本就是 Java,干脆整体落到 Spring Boot 3.3.5 + Java 17:打成单个可执行 jar,配多阶段 Dockerfile(maven 先构建、产物塞进 jre 运行镜像),一拉即起,前置Nginx 反代 + Let’s Encrypt 自动签证书。

todoitbo
2026-06-24 19:47:49

 3w

 55

#html #java #前端 +1
张量核心实战：CUDA WMMA与FP16x2 INT8优化

张量核心（Tensor Core）不是黑箱，而是可编程的硬件加速单元——它不依赖框架封装，WMMA。本文不讲概念复读，直接切入，覆盖从寄存器级数据布局、warp-level 矩阵分块策略，到 Fp16×int8 混合精度 gemm 内核的完整实现链路，并附可运行验证代码。

weixin_59698013
2026-06-17 12:10:48

 210

 4

#人工智能 #java
大模型推理引擎对比：vLLM、TensorRT-LLM与SGLang的性能基准分析

推理引擎的选择不是一个技术问题，而是一个场景适配问题。如果使用NVIDIA GPU且需要极致的单卡性能，TensorRT-LLM是首选——但需要接受它的部署复杂度和厂商锁定。如果需要快速部署和良好的生态支持，vLLM是当前最成熟的选择。如果业务中大量存在共享前缀场景（多轮对话、RAG），SGLang的RadixAttention可能带来数量级的TTFT改善。更务实的选择是多引擎共存。

Dicky-_-zhang
2026-07-14 11:06:29

 2367

 1

#java #jvm