logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Uber 开源 uForwarder:用 Consumer Proxy 把 Kafka 消费改造成异步消息队列

Uber 这篇文章介绍了 uForwarder,也就是他们开源的 Kafka Consumer Proxy,用于支持 Kafka async queuing 场景。Uber 每天处理数万亿条 Kafka 消息和多个 PB 数据。三年前,Uber 构建了一个基于 push 的 Consumer Proxy,用于解决 Kafka 在 pub-sub 和异步队列场景中的几个问题,包括 partition

#开源#kafka#分布式
子网划分及子网掩码的计算

③C类:占有3个字节(24位),它是最通用的Internet地址,使用最高三位为 110 来标识此类地址,其余21位为真正的网络地址,支持。在原来的IP地址模式中,网络号部分就标识一个独立的物理网络, 引入子网模式后,网络号部分加上子网号才能全局唯一地标识一个物理网络。这对于采用TCP/IP协议的网络来说非常重要,只有通过子网掩码,才能表明一台主机所在的子网与其他子网的关系,使网络正常工作。①A类

#后端
用 Rust 写 Serverless:Cloudflare Workers + WebAssembly 实践

它原生支持 JavaScript,而随着 WebAssembly(WASM)支持的加入,Rust 开发者也可以把自己的代码编译成 WASM,部署到这套平台上运行。原因在于 WASM 运行在独立的内存空间里,数据进出都需要拷贝,如果代码本身没有密集的计算,引入 WASM 反而会带来额外开销。这个绑定层很关键,后面会详细说。这个经验值得记住:在 WASM 环境下,任何涉及 I/O、系统熵、文件系统、时

#rust#serverless#wasm
把 Matrix 聊天服务器搬到 Serverless 上,还顺便免费升级了量子加密

Matrix 是一个去中心化的即时通讯协议,在隐私保护和去中心化领域算是公认的标杆。很多政府机构、开源社区和注重隐私的组织都在用它。对于个人开发者来说,用 Matrix 的理由往往更加朴素:把 Discord、Slack 这些分散的聊天工具桥接到一个收件箱,或者单纯想让自己的聊天记录跑在自己控制的服务器上。但运行一个 Matrix 服务器,一直有一个难以回避的"税"要交。

#服务器#serverless#运维
p99 延迟从 9.5 毫秒降到 18 微秒:Cloudflare 机器学习基础设施重构全记录

有一类工程问题,不是因为代码写错了,而是因为系统架构在规模增长之后触碰到了物理极限。Cloudflare 的机器学习团队经历的正是这种情况。他们的 Bot 检测系统需要对每一个 HTTP 请求做实时机器学习推理,而 Cloudflare 的流量峰值是每秒 6300 万次请求。在这个规模下,任何看起来"还好"的延迟,乘以请求量之后都会变成一个天文数字。这篇文章记录了他们如何把机器学习特征提取的 p9

#机器学习#重构#人工智能
WAF 机器学习推理从 1519μs 压到 275μs,Cloudflare 是怎么做到的

每秒 950 万个请求,每个请求都要跑一次机器学习推理,打出一个安全评分,决定这个请求是攻击流量还是正常用户。这是 Cloudflare WAF Attack Score 系统每天面对的现实。在这个规模下,单次推理时间哪怕节省 1 毫秒,乘以请求量后都是天文数字。2024 年,Cloudflare 工程团队把这套系统的端到端执行时间从压到了,整体快了 5.5 倍。这篇文章把他们的优化过程从头到尾拆

#机器学习#人工智能
Unweight:Cloudflare 如何在不损失精度的情况下把大模型压缩 22%

当内存带宽是瓶颈时,最有效的优化不是堆算力,而是让数据变小、并在离算力最近的地方完成还原。其核心洞察链条非常清晰:LLM 权重的指数字节极度冗余 → 哈夫曼编码可以把它们压缩约 30% → 在片上共享内存解压直送张量核心,跳过一次 HBM 往返 → 四条管道加自动调优适配不同批量 → 跨层流水线把解压成本藏进计算间隙。Cloudflare 已将技术论文和 GPU 核函数代码全部开源,链接见原文。对

#网络#人工智能
一行命令毁掉整个 Kubernetes 集群,然后我花了一天时间把它找回来

yq在多文件传入-i时静默合并到第一个文件,这是个反直觉的 API 设计,没有任何警告k3s reconciler 没有 dry-run 或 plan 功能,操作是不可逆的,且异步执行没有在运行命令前读 man page只看了git status而没看git diff疲劳状态下操作生产基础设施AI 给出的命令看起来很合理,但有一个非显而易见的致命副作用。

#kubernetes#容器#云原生
绕过系统 ICMP:用 rawsock、Npcap 和 WMI 找到默认网卡

这一篇把sup暂时放到一边,开始为更底层的网络协议实现做准备。前面依赖 Windows ICMP API 的方式已经能完成 ping,但那仍然是操作系统在替我们说 ICMP。要真正往下挖,就必须自己面对网络接口和原始数据包。为了自己发包,需要先知道从哪张网卡发。rawsock可以列出 Npcap 暴露的所有接口,但列表里可能有大量有线、无线、虚拟、WAN、loopback 接口,不能靠猜。系统路由

#arm开发#开发语言#rust
Uber 如何用原生 gRPC 加速 OpenSearch:从 REST/JSON 瓶颈到搜索与写入性能优化

原文对性能收益做了总结。大请求体大 RPS 下的高吞吐二进制文档格式Uber 这篇文章讲的是他们如何在 OpenSearch 中引入原生 gRPC endpoints,从而加速搜索和写入工作负载。问题背景是:Uber 内部大量基础设施使用 gRPC 和 Protobuf,而 OpenSearch 历史上主要暴露 REST/JSON API。为了连接这两个世界,Uber 过去需要在 Search G

#json#性能优化
    共 170 条
  • 1
  • 2
  • 3
  • 17
  • 请选择