logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hivesql 炸裂函数

可以在两个字段集合同时炸裂后再关联商品维表取正确的数据。实际情况根据自己业务场景考虑。

#hive#sql
spark on maxcomputer读取dataworks表数据写入redis

1.idea中新建maven项目,在pom文件中添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="ht

#spark#redis#大数据
hive中拉链表

既反映了数据历史状态,又比较节省空间适用于数据量比较大,而且会不断增长(典型:订单表)表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去某一段时间内,更新过几次等等;变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右

#大数据#数据仓库#hive
spark程序将hive表亿条数据写入tidb

import java.sql.{Connection, DriverManager, PreparedStatement, SQLException}import com.alibaba.fastjson.JSONimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{IntegerType, LongType, Str

#hive#spark#big data +1
flink程序java编写实时wordcount

package cn._51doit.flink;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.functions.KeySelector;im

#flink#java
hivesql练习lag函数和lead函数

找出连续两个或者两个以上是空座位的seat_id.表:cinemaseat_idfree1120314151对于如上样例,你的查询语句应该返回如下结果。seat_id345注意:seat_id 字段是一个自增的整数,free 字段值(‘1’ 表示空余, ‘0’ 表示已被占据)。连续空余座位的定义是大于等于 2 个连续空余的座位sql:selectseat_idfrom(selec

#hive#sql
某某证券大数据开发工程师招聘笔试题

某某证券大数据开发工程师招聘笔试题一、基础知识(单选题,每题1分,共10分)1、实现两个远程主机之间的文件复制是用 (D).A . mvB . cpC . cutD. scp2、一个IP地址是由网络地址和 (D)两部分组成.A .广播地址B .多址地址C .主机地址D .子网掩码3、网络中的任何一台计算机必须有一个地址,而且 (B).A、不同网络中的两台计算机的地址不允许重复B、同一个

#大数据
大数据开发工程师基础面试题

Hadoop1.组成2.Hdfs 文件上传3.Hdfs 文件下载4.MR 流程5.MR 中combine6.Yarn的运行流程7.Yarn 的资源调度类型8.Zookeeper 功能9.Zookeeper 的主从选取机制10.Mr 程序wordcount11.Mr中的缓存 chickpointSpark2.Spark 资源调度过程3.Spark 运行流程4.Shuffle5.Spark 常用算子6

#hadoop#spark#kafka +2
spark模式匹配使用

package com.kaishu.warehouse.ks.adsimport com.kaishu.tools.{DateUtils, SparkManager}import org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}/*** 创建人:xiaotao* 创建日期: Created

#spark#hive#big data +1
    共 17 条
  • 1
  • 2
  • 请选择