在大数据处理中经常遇到业务端发送json 数据到 table 里 的情况 ，这个需要数据开发工程师能够准备对json string 进行解析 ，并重新定义新表的结构 。在网络上看到很多网友提到 get_json_object ,json_tuple 的使用和案例 ，结合 替换和分组函数可以比较容易的对json 数据完成解析 。不久前我们...

整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。分布式计算框架主流是MapReduce，Storm和Spark。首先说分布式存储系统HadoopDFS。它是一种本地文件系统之上的更高的抽象，把跨...

package com.oracle.log.test;import java.io.FileWriter;import java.io.IOException;import java.io.Writer;import java.net.URLEncoder;import java.text.NumberFormat;import jav...

原文链接 http://www.oschina.net/p/facebook-prestoPresto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是Hive 的 10 倍以上。PrestoDB 是 Facebook 推出的一个大数据的分布式 SQL 查询引擎。可对从数 G 到数 P...

转载于:https://www.cnblogs.com/TendToBigData/p/10501159.html

勾勒一幅图转载于:https://www.cnblogs.com/TendToBigData/p/10501366.html

代码本身不难，难点在于解题方法，有点高中的感觉#! /usr/bin/python# -*- coding:utf-8 -*-from __future__ import division#----> 返回精确的商"""题目：一个整数，它加上100后是一个完全平方数，再加上168又是一个完全平方数，请问该数是多少？"""'...

题目内容来自网络 ，加入了个人理解的过程 ，和点评#!/usr/bin/python# -*- coding: UTF-8 -*-#Author ： Wumi#题目：有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数？各是多少？#程序分析：可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去 掉不满...