
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
要点1PagedAttention 是技术基石——把操作系统分页思想搬进 KV Cache,解决显存碎片2连续批处理让 GPU 始终高负载——谁生成完谁下桌,立刻补新请求,最大化吞吐3调参要跟着业务场景走:短对话重并发、长上下文重分块、低延迟重投机解码4前缀缓存几乎是无成本优化——有固定 System Prompt 的服务应当默认开启5生产部署必须配监控——重点盯和最后一条工程建议不要过早调优。
文章目录1.进程、进程切换、调度2.UNIX进程3.地址空间与特权级别4.页表5.物理内存的分配6.系统调用1.进程、进程切换、调度系统中同时真正在运行的进程数目最多不超过CPU数目确定哪个进程运行多长时间的过程称之为调度2.UNIX进程init是进程树的根,所有进程都直接或间接起源该进程##@##>pstreeUNIX创建新进程的机制:分别是fork和exec(1)fork技术:写时复制(
文章目录1.定位一个“运行慢”的进程2.strace -cp 272883. pstack 272883.进程状态和WCHAN字段4.进程有什么活动或者完全挂死了?5.用/proc文件系统查看内核态信息1.定位一个“运行慢”的进程一个DBA想知道为什么他的find命令运行起来"非常慢",并且很长时间都没有返回任何结果。了解环境之后,我对这个问题的起因有一个直觉的答案,但是他问我,对于这种正在发生中
文章目录一、注释和空白一、注释和空白
转:https://blog.csdn.net/qq_38451119/article/details/82461855
Bridge模式使用“对象间的组合关系”解耦了抽象和实现之间固有的绑定关系,使得抽象和实现可以沿着各自的维度来变化。所谓抽象和实现沿着各自纬度的变化,即“子类化”它们。Bridge模式有时候类似于多继承方案,但是多继承方案往往违背 单一职责原则(即一个类只有一个变化的原因),复用性比较差。Bridge模式是比多继承方案更好的解决方法。Bridge模式的应用一般在“两个非常强的变化维度”,有时一个
文章目录1.一致性哈希算法的问题2.哈希算法的应用场景3.如何分配请求?4.加权轮询算法解决负载均衡问题4.哈希算法带来的问题1.一致性哈希算法的问题问题描述: 例如手机朋友网有n个服务器,为了方便用户的访问会在服务器上缓存数据,因此用户每次访问的时候最好能保持同一台服务器。已有的做法是根据ServerIPIndex[QQNUM%n]得到请求的服务器,这种方法很方便将用户分到不同的服务器上去。但是
文章目录1.树的定义2.森林的定义3.森林的存储结构4.森林的存储结构:非重点5.树及森林和二叉树的相互转换1.树的定义具有相同特性的数据元素的集合,当数据元素的个数为0时称之为空树,否则,存在一个唯一的称之为根的数据元素,当数据元素超过1时,其余的节点可以分为m个互不相交的有限集合,每个集合是树根的一个子树,下图,即都是A的子树;树是二叉树的扩展,每个节点有且只有一个双亲,树中有0个或...
文章目录1.第一轮2.第二轮1.第一轮你自己的写的小项目中,表达式树是怎么设计的?如何对四则运算进行设计?讲一讲select与epoll的区别?java中内存访问速度的数量级?2.第二轮什么是时间复杂度和空间复杂度?时间复杂度为O(1)的有哪些算法?知道mmap吗?讲一下原理select与epoll的区别数组和链表的区别?查询,删除,增加元素的时间复杂度?为什么数组查询的比较快?...







