logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kettle8.2脚本组件之javascript脚本

Kettle8.2脚本组件之javascript脚本一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看一、相关说明脚本组件说明:脚本就是直接通过程序代码完成一些复杂的操作。javascript组件说明:javascript脚本就是使用javascript语言通过代码编程来完成对数据流的操作。JS中有很多内置函数,可以在编写JS代码时查看。存在两种不同的模式:不兼容模式和兼容模式不兼容模式

【大模型应用】从零搭建 Dify 本地平台:避坑指南 + 多模型接入全流程(通义千问/DeepSeek/TTS 三合一)

摘要:Windows本地部署Dify平台全流程指南 本文详细记录了在Windows笔记本上部署Dify社区版的完整过程及常见问题解决方案。硬件配置方面,4核CPU+32GB内存+SSD即可流畅运行。关键步骤包括:安装Docker Desktop(需启用WSL2)、克隆Dify仓库、通过docker-compose启动服务。针对镜像拉取超时、容器卡死、前端白屏等问题,提供了配置国内镜像源、单独拉取镜

文章图片
【Flink 电商用户行为分析】从数据采集到实时决策:构建全链路用户行为分析系统设计

本文介绍了基于Flink构建电商用户行为实时分析系统的完整方案。系统通过埋点采集用户行为数据,利用Flink的流处理能力实现毫秒级延迟的实时计算,包括数据清洗、窗口聚合和指标计算。架构设计采用松耦合方式,将计算逻辑与状态管理分离,支持灵活切换分析维度。相比传统批处理方案,该系统能实时捕捉用户行为变化,在黄金窗口期进行运营干预。文章详细阐述了核心数据类型定义、流处理逻辑实现以及实时计算方案的选型考量

文章图片
#flink#大数据
【HarmonyOS 6.1 全场景实战】《灵犀厨房》实战(番外篇:元服务实战——从零搭建云数据库,让“疾风劲草”App拥有云端能力

本文介绍了如何在HarmonyOS 6.1.0中为元服务添加云端能力,重点讲解了云数据库的集成与配置。主要内容包括: 元服务概念及其与云开发的关系 在AppGallery Connect创建项目和元服务应用 签名证书的完整配置流程 云数据库服务的开通与对象类型创建 DevEco Studio中的代码集成,包括依赖添加、schema文件放置和实体类定义 云服务初始化的核心代码解析 通过"疾风劲草"示

文章图片
【HarmonyOS6.1全场景实战】个人开发者全链路实战|华为账号登录 + 云数据库 CRUD —— 三大顽疾深度排查与根治

摘要:本文详细记录了在HarmonyOS NEXT开发过程中遇到的三个关键问题及解决方案:1) 真机签名验证失败(错误码1008231001),需配置手动签名并绑定设备UDID;2) Cloud DB的Integer类型限制导致Date.now()时间戳溢出(错误401),改用随机数生成32位安全ID;3) 双bindSheet弹窗冲突与云数据库延迟导致UI不同步,通过统一Sheet管理和增加数据

文章图片
【Hadoop3.x】HDFS FsImage 与 Edits 完全解析:从元数据内核到集群恢复的实战指南

HDFS元数据核心机制解析 摘要:HDFS通过FsImage快照和Edits日志实现元数据管理。FsImage是完整的元数据静态快照,而Edits记录了实时增量操作。当NameNode启动时,先加载FsImage基础状态,再按事务ID顺序重放Edits日志中的变更操作,最终恢复完整的文件系统状态。通过分析一份典型的Edits日志文件,可以看到包含创建目录(OP_MKDIR)、添加文件(OP_ADD

文章图片
#hdfs#hadoop#大数据
Hadoop3.x:HDFS NameNode Startup Progress 启动进度页面解析

摘要:HDFS NameNode启动过程解析,展示了Hadoop 3.1.3的WebUI启动进度页面的四个关键阶段。启动耗时33秒,包含:1)加载fsimage元数据快照;2)回放98条edits日志;3)生成新checkpoint;4)安全模式等待51个数据块上报。文章详细解读了各阶段日志含义,包括inodes数量、安全模式机制等,并通过流程图说明fsimage与edits的协同工作原理。最后总

文章图片
#hdfs#hadoop#大数据
Hadoop3.x:HDFS 主从架构及组件工作原理

摘要: HDFS采用主从架构,由NameNode(主节点)、DataNode(从节点)和SecondaryNameNode(辅助节点)组成。NameNode负责管理文件元数据(目录树、块映射)但不存储实际数据;DataNode存储数据块并处理客户端读写请求,定期向NameNode发送心跳和块报告;SecondaryNameNode通过定期合并fsimage和edits日志辅助NameNode减轻恢

文章图片
#hdfs#架构#hadoop
【大模型应用】从零搭建 Dify 本地平台:避坑指南 + 多模型接入全流程(通义千问/DeepSeek/TTS 三合一)

摘要:Windows本地部署Dify平台全流程指南 本文详细记录了在Windows笔记本上部署Dify社区版的完整过程及常见问题解决方案。硬件配置方面,4核CPU+32GB内存+SSD即可流畅运行。关键步骤包括:安装Docker Desktop(需启用WSL2)、克隆Dify仓库、通过docker-compose启动服务。针对镜像拉取超时、容器卡死、前端白屏等问题,提供了配置国内镜像源、单独拉取镜

文章图片
【HarmonyOS6.1全场景实战】个人开发者全链路实战|华为账号登录 + 云数据库 CRUD —— 三大顽疾深度排查与根治

摘要:本文详细记录了在HarmonyOS NEXT开发过程中遇到的三个关键问题及解决方案:1) 真机签名验证失败(错误码1008231001),需配置手动签名并绑定设备UDID;2) Cloud DB的Integer类型限制导致Date.now()时间戳溢出(错误401),改用随机数生成32位安全ID;3) 双bindSheet弹窗冲突与云数据库延迟导致UI不同步,通过统一Sheet管理和增加数据

文章图片
    共 104 条
  • 1
  • 2
  • 3
  • 11
  • 请选择