logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

经典语义分割(二)医学图像分割模型UNet

经典语义分割(二)医学图像分割模型UNet

文章图片
#深度学习#python#cnn
CDH6.2.0集群的下载及安装(亲测)

CDH6.2.0集群的下载及安装1、vmware esxi上克隆虚拟机1、克隆虚拟机前先关闭虚拟机电源。2、在左边导航栏 ,存储 项目里 点击 数据存储浏览器 。3、上边可以看到相关的以虚拟机命名的一些目录,目录下的文件夹名一般是虚拟机名称,创建虚拟机时按虚拟机名称创建了同名文件夹。4、点击上方“创建目录”按钮,输入文件夹名,建议和想要新建的虚拟机名称一致,便于维护。5.然后进入需要复制的虚拟机目

#大数据#cloudera
canal1.1.4的下载及安装

canal1.1.4的安装一、找到 MySQL 配置文件的位置➢ Linux: /etc/my.cnf如果/etc 目录下没有,可以通过 locate my.cnf 查找位置➢ Windows: \my.ini➢ 在 mysql 的配置文件下,修改配置在[mysqld] 区块log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id

#mysql#数据库#linux
kafka-manager 的下载及安装

kafka-manager 的下载及安装

#kafka#scala#java
Kafka生产者发送数据

往kafka发送消息,提供三种构造函数形参:-- ProducerRecord(topic, partition, key, value)-- ProducerRecord(topic, key, value)-- ProducerRecord(topic, value)注:<1> 若指定Partition ID,则PR被发送至指定Partition;<2> 若未指定Par

#kafka#java#分布式
实时数仓(一)行为数据ods到dwd层

行为数据ods到dwd层采集的日志数据已经保存到 Kafka 中,作为日志数据的 ODS 层,从 Kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中,作为日志 DWD 层。(1) 识别新老用户工具类本身客户端业务有新老用户的标识,但是不够准

#big data
实时数仓(二)业务数据库到ods(kafka)

利用flink cdc将业务数据库到ods(kafka)(1)主要代码package com.yyds.app.ods;import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource;import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions;import

#big data
实时数仓(三)业务数据从ods到dwd中数据的动态分流

业务数据从ods到dwd中数据的动态分流从 Kafka 的业务数据 ODS 层读取数据,经过处理后, 将维度数据保存到 HBase,将事实数据写回 Kafka 作为业务数据的 DWD 层。一般把维度数据写入存储容器,一般是方便通过主键查询的数据库比如HBase,Redis,MySQL 等。这里需要一种动态配置方案,把这种配置长期保存起来,一旦配置有变化,实时计算可以自动感知。这里使用广播流进行实现

#big data
离线数仓(5)利用maxwell采集增量数据到hdfs

使用maxwell同步增量数据maxwell基本使用及配置参考:离线数仓(3) maxwell的安装及其使用使用maxwell将增量数据同步到kafka中,然后再利用flume将kafka中的数据同步到hdfs中maxwell配置# tl;dr configlog_level=infoproducer=kafkakafka.bootstrap.servers=server15:9092,serve

#big data
    共 35 条
  • 1
  • 2
  • 3
  • 4
  • 请选择