大数据核心原理与实践专栏先决条件首先说明一下，Sophon人工智能平台有单独的安装包SophonWeb，可独立部署，部署方式同社区版TDH安装方式一样，极为简单。即当TDH平台部署即可，过程参考先前博文。但是现在，如果我们生产环境中已经部署好TDH大数据平台，现在又想用Sophon人工智能平台，这时就需要手动上架Sophon应用了。因为SophonWeb收费，我们可以先安装TD...

大数据核心原理与实践专栏说明：TDH社区版还挺好用的，无限量续签许可证，如果大家只是想玩玩儿大数据平台，或者刚入行大数据想练手，那么TDH社区版就够用了，避免了你前期安装一系列Hadoop组件的麻烦。想当年，笔者不知道有一站式大数据平台这玩意儿，还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间，这也是为什么想了很久还是写下了这篇博文，希...

大数据核心原理与实践专栏先决条件首先说明一下，Sophon人工智能平台有单独的安装包SophonWeb，可独立部署，部署方式同社区版TDH安装方式一样，极为简单。即当TDH平台部署即可，过程参考先前博文。但是现在，如果我们生产环境中已经部署好TDH大数据平台，现在又想用Sophon人工智能平台，这时就需要手动上架Sophon应用了。因为SophonWeb收费，我们可以先安装TD...

问题复现：6台虚拟机上，kong组件（一个用于部署api服务的组件）副本数为4，总有一两个instance起不起来，一直处于pending状态，如下：解决思路：整体解决思路：pod -> instance -> DeamonSet -> ConfigMap1、哪里有问题就进去干，话不多说，直接describe一下处于pending...

大数据核心原理与实践专栏说明：TDH社区版还挺好用的，无限量续签许可证，如果大家只是想玩玩儿大数据平台，或者刚入行大数据想练手，那么TDH社区版就够用了，避免了你前期安装一系列Hadoop组件的麻烦。想当年，笔者不知道有一站式大数据平台这玩意儿，还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间，这也是为什么想了很久还是写下了这篇博文，希...

总体流程：初始化擦除磁盘 -> 建立磁盘池配置文件 -> warpdrive挂磁盘池 具体步骤：1、准备两块磁盘（如dev/sdb1、dev/sdc1），用wipefs命令擦除磁盘。wipefs -a /dev/sdb1wipefs -a /dev/sdc1                如果擦除失败则可用dd命令暴力初始化，但在用dd命令之前请务必将两...

系列文章：kubernetes和Docker —— kubernetes实用随笔（一）最常用的kubectl命令(附带场景和截图) —— kubernetes实用随笔（二）kubernetes核心对象 —— kubernetes实用随笔（三）上几篇博客主要介绍了k8s核心概念、接下来直接上手操作，在操作命令时，最好还是现将概念弄懂，否则排查问题时无从...

系列文章：kubernetes和Docker —— kubernetes实用随笔（一）最常用的kubectl命令(附带场景和截图) —— kubernetes实用随笔（二）kubernetes核心对象 —— kubernetes实用随笔（三）最近项目用到kubernetes（以下简称k8s，k和s之间有8个字母），虽然之前也有简单使用过，但最近发现k8s概念较多，命...

说明之前说过，关于flume和kafka的实践操作就不单独拿出来讲了，打算用一个案例将两者结合，同流式计算一起在具体案例中讲述。本篇博文案例背景：用户访问系统会留下一条条访问记录（除了姓名和身份证号外，还包括ip地址、登陆地点、设备等一系列详情信息），在数据库中我们有一份黑名单用户数据（姓名和身份证号），现在业务需求是我们需要实时监测访问系统的黑名单用户，将访问信息实时写入数据库中，并在前...

专栏：大数据核心原理与实践关于 kafka 的重要性就不再多说了，它不仅解耦了大数据组件之间的耦合性，而且还能对接流实时计算框架，充当其数据源，同时还能能接收大量数据输入，以类似于消息队列的方式组织统一管理。