hive表中的锁任务报错：ERROR : FAILED: Error in acquiring locks: Lock acquisition for LockRequest场景：在执行insert into或insert overwrite任务时，中途手动将程序停掉，会出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均不可操作。原因：hive表...

HDFS读写原理与容错机制

作者在搭建Hadoop集群时的详细配置步骤和脚本工具分享。内容包括：1）HDFS搭建（NameNode/DataNode配置与启动）；2）YARN配置（ResourceManager/NodeManager设置）；3）历史服务器和日志聚集功能配置；4）SSH免密登录设置及自动化脚本（XSYNC文件分发/xcall集群命令）；5）集群启动原理图解。作者还提到整理笔记的初衷是为了求职准备，反映了当前严

集群搭建请准备工作-SSH免密登录与集群时间同步

是：保持预训练好的原始模型权重完全冻结（不更新），仅在某些特定的权重矩阵（如注意力模块中的Q、K、V、O矩阵）旁，添加一对可训练的低秩矩阵（通常记为A和B）。在微调过程中，只训练这些新增的、参数量很少的低秩矩阵，让它们学习任务特定的知识。（参数高效微调）是一种用于微调大型语言模型的高效方法，其核心目标是只更新或新增模型中的一小部分参数，而非调整全部参数（即全参数微调）。秩（r）决定了低秩矩阵的大小

Mapper执行了Context.write之后进入sort阶段。

（当前物理条件限制下寻址时间普遍为10ms,传输时间为1s是传输最佳状态）一次传输的最佳状态： 寻址时间占总传输时间的1%为最佳状态。特点：一次写入，多次读出，不支持随机写。同一个文件，在指定大小下，块越大，存储的块越少。2.X默认为128M, 1.x 默认为64M。每次传输的总大小=硬盘的写速度*1S。

Decoder-only 结构极简，训练、推理链路短，长文本生成、对话、代码效果碾压编码解码结构，工业落地成本最低，因此成为生成主流。效果：生成第 i 个字时，模型完全看不到 i 之后的文字，防止作弊偷看未来内容，保证逐字生成逻辑。2）Decoder（代表：GPT/Llama3/Mistral） 结构：单向自回归注意力，下三角掩码，只能看到上文，看不到未来未生成的字；1）Encoder（代表：BE

ApplicationMaster:单个Job在运行在YARN上时，启动一个当前job的AppMR，这个进程负责这个Job所有Task资源申请，以及状态检测,容错。Container:计算资源的抽象表达，一个Container中封装了若干计算资源，例如，CPU，内存。ResourceManager:（1个）资源管理者：负责整个集群中所有节点资源的管理和调度。NodeManager:（N个）节点资源

是：保持预训练好的原始模型权重完全冻结（不更新），仅在某些特定的权重矩阵（如注意力模块中的Q、K、V、O矩阵）旁，添加一对可训练的低秩矩阵（通常记为A和B）。在微调过程中，只训练这些新增的、参数量很少的低秩矩阵，让它们学习任务特定的知识。（参数高效微调）是一种用于微调大型语言模型的高效方法，其核心目标是只更新或新增模型中的一小部分参数，而非调整全部参数（即全参数微调）。秩（r）决定了低秩矩阵的大小