登录社区云,与社区用户共同成长
邀请您加入社区
Flink数据一致性实践案例:电商实时对账系统通过Exactly-Once语义实现零差错 摘要:本文分享了电商实时对账系统中Flink一致性保障的实践经验。针对初期At-Least-Once语义导致的数据重复问题,团队优化了全链路方案:内部采用Exactly-Once语义和RocksDB增量Checkpoint;源端使用Kafka并记录offset;目标端MySQL采用两阶段提交,Redis实现幂
B站大模型算法岗面试深度复盘:Agent开发的7个关键考察点 这场面试展现了当前大模型岗位面试的技术深度,主要聚焦Agent开发的系统性思维和实践能力: 概念理解:要求精准区分Agent功能边界,避免笼统表述 架构设计:强调多Agent协作机制和反馈闭环设计 技术实现:考察PDF解析、去重算法等具体模块的编码能力 上下文管理:测试对共享/独立上下文场景的决策能力 工具调用:关注完整的工具调用流程实
ZeRO-1 切分优化器状态,ZeRO-2 额外切分梯度,ZeRO-3 进一步切分参数。C_{\text{Ring}} = 2 \times \frac{N-1}{N} \times \Phi \approx 2\Phi \quad (\text{当 } N \text{ 较大时})C_{\text{DP}} = \frac{2\Phi}{D_{\text{tp}} \times D_{\text
核心目标:建立对大模型的工程认知,了解边界和使用成本
前提提要:看懂题目很重要,看懂题目之后就很简单了,用简单的写法先写一遍,超时了然后换思路,如果不会赶紧看题解。有 n 条垂线,第 i 条线的两个端点是 (i, 0) 和 (i, height[i])。解释:图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。宽是一直变的,那就控制高,如果高是足够高的,那面积是一定是比低的大。木桶效应,取决于最低的木头,所以挪矮的,让它变高。找出其中的两
2025年12月11日,OpenAI发布GPT-5.2,这次升级确实挺猛的,核心亮点就是更专业、更高效、更可靠,直接瞄准了办公、开发这些实际场景。同样国内模型应用加速迭代落地。12月1日,豆包手机助手首个OS级合作落地,实现AI像人一样操作手机,这种深度参与将催生更多创新应用场景。同时,DeepSeek-V3.2正式发布,强化Agent能力、融入思考推理。经历这两年的你追我赶,大模型已进入深耕
本文全面解析RAG(检索增强生成)技术,探讨其如何解决大模型幻觉、时效性及安全问题。文章详细拆解RAG四大核心模块:版面分析(多格式文档解析)、知识库构建(文本分割与索引)、大模型微调和知识问答系统实现。通过对比RAG与SFT的优劣,指出RAG在扩展性、准确性、可控性等方面的优势。特别针对复杂文档处理,提供OCR/ASR等实战方案,并推荐多个开源工具。最终提出结合业务需求融合RAG与SFT的最佳实
作者:熊紫燕 汉江师范学院数据科学与大数据技术专业大二学生作为一名大二数据科学与大数据技术专业的学生,数据处理与分析一直是计算机类的重点方向。去年寒假和今年暑假,系里导师分享了CDA数据分析师认证的相关信息,强调其在行业内的认可度和对求职的助力,建议我们尽早通过一级考试夯实基础。由于寒假错过了一次机会,抱着提升实操能力、为职业发展铺路的想法,我开启了为期两个月的暑假CDA备考之旅。
简单来说,上下文工程是一门艺术和科学,其核心目标是将正确的信息、以正确的格式、在正确的时间传递给你的 LLM。这听起来可能很简单,但实际上涉及到许多细微的考虑因素和技术决策。以下是知名人工智能专家 Andrej Karpathy 关于上下文工程的一句名言,它深刻地阐明了这一领域的重要性。他指出,上下文工程实际上是在为语言模型创造一个理想的工作环境,使其能够充分发挥其潜力。上下文工程代表了人工智能应
我做过的 Hive 优化挺多的,比如用分区表、分桶表,开谓词下推,合并小文件,把 MR 引擎换成 Tez 或者 Spark 引擎,处理数据倾斜,调大并行度,用 mapjoin,开 CBO 优化器,还有 SQL 层面尽量不用 select *,先过滤再关联这些。
AI浪潮催生Agent工程师新职位,薪资高达60-100万 AI技术重构职场格局,传统前后端岗位正被"Agent工程师"取代。这类工程师核心价值在于设计AI工作流、监督AI编程及优化产出,而非传统编码。目前一线企业高薪抢人,实习生日薪超1000元,预计2026年人才缺口将达500万。 AI大模型应用开发工程师作为新兴职业,主要负责将大模型技术转化为实际应用。工作涵盖需求分析、技术适配、开发对接及持
本文系统阐述了问答Agent效果评估的方法论,从检索、生成、呈现三个环节构建量化指标体系。在检索环节采用Recall@K等指标评估召回质量;生成环节关注忠实度、相关性等维度;交互环节评估任务完成率等指标。针对主观评价,引入Rubric评分体系和LLM-as-Judge自动化评估方法,并建立标准测试集。最后强调将技术指标与用户满意度、人工介入率等业务指标关联,形成完整评估闭环。这种分层量化、主客观结
核心思路:把旧笔记浓缩成摘要,不丢核心信息对话太长时,让模型把早期的零散对话,压缩成一段精简摘要,用“摘要+最近对话”替代全量历史,既省Token,又不丢对话意图。优点:保留核心信息,Token消耗骤减缺点:多一次摘要调用适用场景:智能客服、常规AI助手、中长对话面试口述:通用场景我会用滚动摘要,动态压缩早期上下文,把长对话变成精简笔记,平衡效果和成本。
通过编写 `fix_docker.sh` 修复脚本,可以快速地恢复 Docker 守护进程的正常运行。这些错误提示表明 Docker 守护进程没有启动,且必要的文件(如 `/var/run/docker.sock` 和 `/etc/docker/daemon.json`)丢失或损坏。脚本执行过程中的日志会被记录到 `/var/log/fix_docker.log` 文件中,可以查看此文件了解修复过
本文全面汇总了大模型算法岗面试题及答案,涵盖基础篇(主流开源模型、prefix LM与causal LM区别、涌现能力等)和进阶篇(模型微调、参数高效方法、评测指标等),并介绍LangChain框架和分布式训练技术。内容从理论到实践,适合小白入门和程序员进阶,是秋招面试和技能提升的实用指南。最近秋招正在如火如荼地进行中,看到很多人的简历上都包含大模型相关的工作,各家大厂和初创都很舍得给钱,动辄百万
本文深入解析大模型核心组件Self-Attention机制,介绍其如何解决RNN的长距离依赖和并行计算问题,详细讲解Q、K、V三矩阵的工作原理和计算步骤,总结面试常考点及优化方法。理解Self-Attention是掌握LLM工作原理的关键,也是面试考察基础扎实度和工程能力的重要内容。
Java程序员应发挥企业级架构优势,将大模型作为工具嵌入业务系统。优先采用Spring AI、LangChain4j等Java生态工具链,从API调用逐步升级至全栈开发。关注性能优化与降级方案,专注Prompt工程和RAG技术。通过金融、制造等企业场景突破,获取官方认证,提升职场竞争力。转型需保持工程思维,从现有业务模块AI化改造入手积累经验。
文章摘要:本文系统梳理了开发面试中的核心知识点,涵盖操作系统(内存管理、进程通信等)、分布式事务(2PC/3PC/TCC)、Zookeeper分布式锁实现、MyBatis优势与缓存机制、数据结构算法(队列实现栈、链表环检测等)以及微服务架构设计(服务粒度划分、通信方式)。通过典型问题解析,帮助读者掌握技术面试要点,提升面试准备效率。全文采用模块化结构,每个技术点均配有简明扼要的说明和实现方案。
Agent本质是“在循环回路中运用工具的模型”。当接收任务目标后,它会自主完成一系列操作:选择适配工具并调用→观察工具返回结果→调整决策方向→持续推进任务,直到满足预设的停止条件。而支撑Agent运行的“环境”包含三部分:基础运行环境、可用工具清单、明确任务与边界的Prompt。Anthropic AI团队成员Hannah指出,Prompt工程是“系统性优化大模型应用Prompt的方法”。通过测试
大数据架构设计精华摘要 本文系统解析了Lambda架构的理论与实践,重点剖析了其三层结构(批处理层/速度层/服务层)的设计思想与CAP理论的映射关系。通过技术选型对比表,详细阐述了Web系统各层组件(如LVS负载均衡、DUBBO服务调用、MongoDB存储等)的功能特性与应用场景。同时总结了架构优化策略,包括外网加速(CDN)和内网优化(分布式缓存)等关键技术。特别强调Lambda架构"
本文介绍了后端开发面试中的技术要点,包括项目介绍结构(背景、技术栈、个人角色)、微服务架构的优势(可扩展性、开发效率、技术独立性、高可用性)、Dubbo框架的特点(高性能、服务治理、多协议支持、成熟生态)、Redis的应用场景(高性能缓存、多数据结构、持久化机制、分布式支持)。重点分析了Redis的两种持久化方式(RDB快照和AOF日志)及混合模式,并探讨了Redis与MySQL的双写一致性解决方
摘要:本文讨论如何找出两条垂线与x轴构成的最大盛水容器。使用双指针法,初始时分别指向数组两端,计算当前面积并更新最大值。关键策略是每次移动较短的指针,以期望在宽度减小的同时找到更高的边界来提升面积下限。算法时间复杂度为O(n),空间复杂度为O(1)。通过这种贪心策略,能够高效地找到最优解。