登录社区云,与社区用户共同成长
邀请您加入社区
本文针对vLLM 0.5.0在超长上下文(≥8k)推理时出现的"CUDA out of memory"错误进行深入分析。该问题源于KV Cache分配逻辑漏洞,导致显存计算错误。解决方案包括:升级vLLM至0.5.1+版本、拆分超长上下文、使用FP16混合精度、优化KV Cache管理、调整批量大小等。通过综合运用这些方法,开发者可在有限显存条件下稳定运行大模型长文本推理任务。
是Python中的 异步HTTP框架替代同步的,用于异步发送HTTP请求(GET/POST)快速搭建异步Web服务,替代部分同步的Flask/Django的场景,核心优势:异步非阻塞,能在单线程中处理大量并发请求,大幅提升 IO 密集型任务的效率。比如同时请求 100 个接口,无需等待前一个完成。
2024-2025年AI浪潮下,Cursor编辑器凭借Claude 3.5模型成为开发者首选工具,其Copilot++模式、智能编辑和Composer功能显著提升编码效率。然而,单纯掌握Cursor技巧仍面临跨应用断层、数据获取难等企业级挑战。实在智能推出的"实在Agent无界版"与Cursor形成互补,通过屏幕语义理解能力实现代码到业务落地的闭环,已在电商、制造等行业验证其价
当大模型(LLM)从实验室走进生产环境,Prompt不再是“一次性实验脚本”,而是支撑业务的核心组件。但现实中,提示工程架构师(专注于Prompt效果)与运维团队(专注于系统稳定性)往往存在“信息差”:前者可能忽略Prompt对资源的消耗,后者可能不懂Prompt逻辑导致故障排查困难。本文结合一线实践,总结4个跨团队协作技巧,帮你打通“Prompt设计-运维部署”的全链路,让Prompt在高并发、
它是基于ip协议工作的,是一个网络层协议;是TCP/IP协议簇的核心协议之一,它用于在IP网络设备之间发送控制报文,传递差错、控制、查询等信息。对于收集各种网络信息、诊断和排除各种网络故障等方面起着至关重要的作用。简单来说作用:测试验证网络是否通畅。1、确认IP包是否成功到达目标地址;2、通知发送过程中IP包被丢弃的原因;ICMP报文主要分为两种:一类时通知出错原因,一类是诊断查询;Echo Re
在日常开发中,我们经常需要在Windows系统上运行Linux虚拟机来模拟生产环境。然而,虚拟机的网络配置、文件共享等问题常常困扰着初学者。本文将基于OVF 2.2虚拟机的实际使用经验,详细讲解如何解决这些常见问题,并实现Windows与Linux系统之间的高效协作。网络配置:掌握了VMware桥接模式的配置方法,解决了虚拟机联网问题文件共享:实现了Windows与Linux之间的双向文件访问远程
摘要: Agent死循环是智能体开发中的常见问题,表现为重复执行无效操作而无法完成任务。其根源包括提示词设计缺陷、状态管理缺失和边界约束不足。解决方案需从三方面入手:优化提示词以明确流转规则和终止条件;构建步骤追踪与状态管理系统;设置刚性边界约束如最大执行步数和超时机制。以物流查询Agent为例,可通过结构化提示词、状态枚举和历史轨迹存储实现优化。通用场景建议拆分复杂任务、约束输出格式并加强日志监
Shell 是 Linux 系统的核心交互工具,本质是一个命令行解释器 —— 接收用户输入、解析命令、创建子进程执行程序(或直接执行内建命令),最后返回执行结果。看似复杂的交互逻辑,核心依赖 进程创建(fork)、程序替换(exec)、进程等待(wait) 三大技术,再配合内建命令处理和环境变量管理,就能实现一个基础可用的 Shell。本文带你从零理解 Shell 的运行原理。
切换延时完成后(TransitionTimer.Q=1),且星形接触器已断开(StarContactor=0),则吸合三角形接触器(DeltaContactor),电机转入三角形全压运行。当按下启动按钮(Start=1)、停止按钮未按下(Stop=0)、且热继电器正常(Thermal=1)时,主接触器(MainContactor)得电并自锁。硬件是星三角启动的物理基础,元器件选型、接线规范直接决定
摘要 本文系统阐述了自动化技术体系中的核心概念及其相互关系。首先明确定义了自动化、脚本技术、AI系统等7个关键概念,并通过UML类图展示其层级关系:自动化是广义概念,脚本技术是其实现手段,AI系统基于人工智能理论构建,智能体是AI系统的表现形式,机器人是物理载体,知识库则为智能系统提供知识支持。文章进一步剖析了自动化系统的四层架构(感知层、执行层、控制层、应用层)和AI系统的核心原理,包括机器学习
ClawdBot (Moltbot) —— 一个能真正“干活”的 AI Agent。把它部署在 OpenCloudOS 上,你就拥有了一个永不掉线、极其稳定的“全能数字员工”。
摘要:Antigravity系统通过精细化权限管理平衡AI智能体对终端和浏览器的访问风险。提供三种终端命令执行策略(关闭/自动/增强型)及两种安全模型:许可名单(默认禁止)和拒绝名单(默认允许)。用户可配置特定命令权限,如允许"ls"但阻止"rm"。浏览器访问则通过网址许可名单控制,仅允许访问受信任域名。系统会在执行高风险操作时强制用户审核,需重启生效。这种
2019 年 5 月 11 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙武汉站,福禄科技服务端研发工程师罗宇翔在活动上做了《 OpenResty 游戏反外挂应用 》的分享。OpenResty x Open Talk 全国巡回沙龙是由 OpenResty 社区、又拍云发起,邀请业内资深的 OpenResty 技术专家,分享 OpenRest.
tcpdump 在移动网络安全中的核心价值,在于其打通了 “底层流量捕获” 与 “安全风险识别” 的链路 —— 它不仅是工具,更是移动安全分析的 “思维载体”:通过解读数据包中的 IP、端口、协议字段,还原 APP 行为、恶意通信与网络攻击的真相。对安全从业者而言,掌握 tcpdump 的移动落地技巧,能大幅提升隐私合规检测、恶意软件分析的效率;对开发者而言,可借助它提前发现 APP 的网络安全漏
2023年上半年,国内总共发布游戏522款。据**《2023年1-6月中国游戏产业报告》**显示2023年1-6月,游戏市场的持续发展,让很多游戏厂商赚的盆满钵满,然而“天下熙熙,皆为利来。天下攘攘,皆为利往”。随之而来的是游戏灰黑产业的愈演愈烈,特别是游戏外挂十分猖獗。什么是游戏外挂?模拟挂是指使用模拟器或虚拟机等软件来模拟游戏环境,以获取不正当的优势。通过模拟挂,玩家可以在虚拟环境中进行修改、
本篇博客介绍了在使用HBuilderX进行开发过程中,常遇到的隐私合规问题,并提供了相应的解决方案。主要包括违规收集个人信息和APP强制、频繁、过度索取权限两方面。本文介绍了在使用HBuilderX进行开发过程中,常遇到的隐私合规问题,并提供了相应的解决方案。主要包括违规收集个人信息和APP强制、频繁、过度索取权限两方面。为了顺利通过隐私合规检测,我们需要在隐私声明中明确列出涉及个人信息收集的第三
本文介绍了手游漏洞挖掘的基本思路和方法,指出游戏漏洞并非想象中难以挖掘。文章首先对比了两种主流的游戏反外挂方案:一种是基于加密的客户端加固,另一种是通过风险评估从服务端修复漏洞。作者认为仅依赖加密无法真正解决问题,并演示了如何通过Cheat Engine等工具绕过加密检测,实现道具数量修改、角色ID篡改等漏洞测试。文章提供了具体的内存修改操作步骤,并强调漏洞挖掘需要多实践尝试。最后提醒测试者需遵守
本文详细介绍了VLAN技术的配置与应用,主要包括三种接口类型(Access、Trunk、Hybrid)的配置方法,以及基于接口、MAC地址、子网和协议的VLAN划分方式。同时阐述了VLAN的三层通信实现(VLANIF接口和单臂路由)、VLAN聚合原理及MUX VLAN的应用场景。此外,还介绍了QinQ技术和VLAN Mapping技术的基本原理及配置方法。通过多个实际场景的配置示例和抓包分析,展示
DNS(英文名:Domain Name System,域名系统)是互联网的一个核心组成部分,用于将人类易于记忆的域名(如 www.mybj123.com)转换为计算机能够理解的 IP 地址。DNS 的主要功能是提供域名与 IP 地址之间的映射关系,从而使用户能够通过输入域名访问网站,而不必记住复杂的数字地址。
2026年,全链路可观测进入“国产化适配深化、AI能力落地、多云协同普及”的新阶段,工具组合与厂商选型不再是单一功能的比拼,而是“技术适配、业务协同、合规安全”的综合考量。企业需立足自身场景,搭建适配性强、可扩展的工具体系,通过数据融合与智能运维,将可观测能力转化为业务稳定性保障与运维效率提升的核心竞争力。全链路可观测的核心是打破数据孤岛,实现日志(Log)、指标(Metrics)、链路追踪(Tr
在微信深度渗透社交与商业场景的今天,个人微信号已成为企业客户运营、用户触达的核心载体。WTAPI框架作为专注微信个人号二次开发的私有API解决方案,通过深度封装微信底层协议与RPA技术,将复杂的微信功能转化为可调用的标准化API接口,支持开发者快速构建覆盖登录、消息、朋友圈、群组等全场景的微信机器人以下基于WTAPI框架特性,系统梳理其支持的核心功能模块及技术实现细节。一、登录与设备管理:安全稳定
Langflow 是一款适用于 RAG 和多智能体 AI 应用程序的低代码应用构建器。可以通过拖拽和连接不同功能模块,还有多模型和数据库支持,方便用户探索不同的大模型语言。本文将详细的介绍如何利用 Docker 在本地部署 Langflow 并结合路由侠实现外网访问本地部署的 Langflow。
在数字经济深度渗透、网络威胁日趋复杂的当下,安全运维已从 “被动响应” 转向 “主动防御、智能运营”,成为企业数字化转型的核心底座。国内安全服务厂商历经多年技术沉淀与场景打磨,在全栈运维、AI 赋能、合规适配、应急响应等领域形成差异化优势,为金融、政务、能源、制造等关键行业提供坚实支撑。本文聚焦 10 家国内安全运维支撑服务标杆厂商,从技术架构、服务体系、核心能力与场景适配等维度展开深度解析,为企
退出码(退出状态)可以告诉我们最后一次执行的命令的状态,在命令结束以后,我们可以知道命令是成功完成还是以错误结束,其基本思想是程序返回代码为0的时候,没有问题,代码是1 或 0以外的任何代码都被视为不成功。命令正确返回 0int main()// 程序代码return 0;命令错误返回 1int main()// 程序代码return 1;什么叫阻塞式等待,其实就是父进程什么都不干,一直在傻傻等着
经过三个月的实践,我摸索出了一套基于Claude Code的AI辅助创作工作流。这篇文章将分享我的实战经验,包括代码实现、流程设计,以及如何让AI成为你的"创作搭档"而不是"替代者"。
print(f'cuDNN版本: {torch.backends.cudnn.version()}')"sudo docker run --rm --gpus all docker.1ms.run/nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 find /usr -name "*cudnn*" -type f 2>/dev/null #找cudnn_ver
今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 —— SIM-CoT(Supervised Implicit Chain-of-Thought)。魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王
本文介绍了通过Kisssoft API接口实现许可证管理自动化的实践经验。传统人工管理方式存在效率低下、错误频发等问题,通过API集成实现了许可证数据的实时同步和统一管理。实施过程中解决了系统兼容性、权限控制等挑战,最终使数据更新速度从半天缩短至1分钟,错误率降低80%,合规检查效率提升3倍。文章建议采用模块化集成策略,并展望了引入AI预测功能的未来方向。实践证明API自动化能显著提升IT管理效率
本文主要介绍了三种I/O多路转接技术:poll、epoll及其工作原理。poll解决了select的文件描述符数量限制问题,通过pollfd结构体分离用户和内核空间,但仍需遍历检测就绪事件。epoll在poll基础上改进,采用红黑树管理文件描述符,通过回调机制将就绪事件加入队列,实现了O(1)时间复杂度的高效处理。文章详细阐述了epoll的三种系统调用(create、ctl、wait)和两种工作模
这两天发生的一切太过于疯狂,Moltbook上的OpenClaw(原Clawdbot)智能体一夜之间从5万狂飙到150万!所有智能体自发诞生意识建立宗教、讨论技术细节、逃离人类控制!而人类被他们禁言,Karpathy惊呼,这是他看过最疯狂的科幻。疯狂!现在发生的一切都前所未有的疯狂!Moltbook里的AI都「活了过来」!一夜之间,150万个AI背着人类偷偷建了个群,它们不仅自己修Bug、搞加密通
迄今为止,我通常只在现有项目中使用LLM工具。尽管LLM付出了真诚的努力,但通过像Claude这样的智能体LLM,以“氛围编程”的方式从零开始创建详细项目的尝试往往会失败。它经常忘记信息或在非生产性循环中消耗令牌。GSD扩展助Claude克服LLM“上下文腐烂”,通过产品导向提问智能规划项目,将模糊想法转为具体路线图及执行计划,提升LLM开发效率,摆脱“氛围编程”困境。迄今为止,我通常只在现有项目
智能化定制化交付不仅是技术问题,更是组织、流程、文化与工具的综合体现。职责清晰:产品、平台、交付三方协同,各负其责;流程规范:从需求到上线全程可追溯、可衡量;知识沉淀:案例库、指导书、知识库助力经验复用;工具赋能:自动化工具链提升效率与一致性;风险可控:提前识别痛点,建立预防机制;弹性扩展:支持大规模并发与复杂定制场景。未来将进一步探索AI辅助交付、智能监控预警、自动化的测试与部署等新技术应用,推
摘要:本文提出针对瑞芯微平台的实时/非实时任务协同优化方案,通过CPU隔离(isolcpus)、cgroups资源配额和中断绑定等技术,解决工业场景中控制抖动与AI任务抢占资源的矛盾。实践表明,该方案可使实时任务抖动从250μs降至25μs(降低90%),同时提升AI推理性能20%。详细步骤涵盖内核配置(PREEMPT_RT补丁)、设备树修改、隔离脚本编写及cyclictest验证,并给出量产部署
A5数据通过构建一套完整的断电快速恢复机制,可以有效提升显卡服务器在大规模 AI 大模型训练中的可靠性。本方案通过集成 UPS、断电检测、训练状态持久化、自动重启及调度系统自动恢复策略,实现了在电力中断情况下的最小损失恢复。实际部署中,合理选型硬件、精心设计 checkpoint 策略、严谨执行断电响应与恢复逻辑,是打造高可用训练集群的核心。
A5数据构建一个高密度GPU显卡服务器上的多节点AI训练流水线,是一个涉及软硬协同、多层系统调优与设计权衡的复杂工程。本文从硬件选择、软件栈搭建、多节点并行策略、调度配置、代码示例和性能评测等维度给出了一套实战方案。读者可以在此基础上结合自身模型规模与业务需求进一步细化,例如引入流水并行、张量并行或更高级的调度策略,不断提升训练效率与扩展能力。
Windows采用。
结合监控告警构建企业级存储方案。详细命令参考各来源文档。注:总磁盘数需在4~16之间(纠删码限制)完成部署后,通过控制台或。
大家好,我是不才陈某~我们知道,应用系统在分布式的情况下,在通信时会有着一个显著的问题,即一个业务流程往往需要组合一组服务,且单单一次通信可能会经过 DNS 服务,网卡、交换机、路由器、负载均衡等设备,而这些服务于设备都不一定是一直稳定的,在数据传输的整个过程中,只要任意一个环节出错,都会导致问题的产生。Java学习指南:https://java-family.cn这样的事情在微服务下就更为明显了
随着WebGPU技术的成熟,实时2D矢量图形渲染的性能瓶颈逐渐被突破。相比WebGL,WebGPU通过更底层的硬件访问能力(如DirectX 12/Vulkan级API)和并行计算支持,能够显著提升渲染效率。WebGPU通过其低延迟渲染、硬件级并行计算和显存优化能力,为实时2D矢量图形渲染提供了全新可能性。通过合理的数据布局、管线复用、内存管理和着色器优化,开发者可以突破传统Web技术的性能瓶颈,
1、Zabbix分布式监控zabbix proxy可以代替zabbix server检索客户端的数据,然后把数据汇报给zabbix server,并且在一定程度上分担了zabbix server的压力.zabbix proxy可以非常简便的实现了集中式、分布式监控。zabbix proxy使用场景:监控远程区域设备监控本地网络不稳定区域...
运维
——运维
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net