logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

pyspark 读取 hbase

本文推荐两种读写 HBase 的方式:1、相关依赖:将的目录下的一些jar文件拷贝到Spark中,这些都是编程时需要引入的jar包,需要拷贝的jar文件包括:在目录中新建一个目录 ,并将拷贝进去:2、修改文件:设置的 文件,告诉Spark可以在哪个路径下找到HBase相关的jar文件,命令如下:1.2 读取 HBase1.3 向 HBase 写入数据2. happybase + Thrift 服务

文章图片
#hbase#大数据#spark
elasticsearch 批量写入(Python版).md

使用 Python 批量写入数据到 elasticsearch 中,几种方法对比

#elasticsearch#python#大数据
elasticsearch 之 mapping 映射

mapping 即索引结构,可以看做是数据库中的表结构,包含字段名、字段类型、倒排序索引相关设置

#elasticsearch#python
Python 单例模式

单例(Singleton)模式,是一种常用的软件设计模式。使用它,就是为了保证全局环境下。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问,从而方便对实例个数的控制并节约系统资源。**应用场景:**一个项目中多个地方需要读取同一份配置文件,如果每次使用都是导入重新创建实例,读取文件,用完后再销毁,这样做的话,就造成不必要的IO浪费,可以使用单例模式只生成一份配置在内存中。

#python#单例模式#开发语言
LeetCode 刷题之动态规划【Python版】

解题思路:中心拓展法,从当前字符向两端进行拓展(两个指针背向移动),每个位置都判断下,以该位置为中心的回文串最长为多少,遍历一遍,保留最长的那个。内最长回文子序列的长度,假设字符串 s 的长度为 n,则只有当。代表的是状态转移,它包括前面走过的路径之和,而。表示当前元素的递增子集个数。表示字符串 s 下标范围。题解二:(更容易理解)

#算法
linux 添加环境变量 PATH

PATH 值是一系列目录,当执行命令时,linux就在这些目录下查找,其格式为:PATH=$PATH:<PATH1>:<PATH2>:<PATH3>:------:<PATHN>中间以冒号隔开查看PATH:echo $PATH添加 PATH 有三种方法方法1:直接在命令行添加仅对当前会话

#linux
VMware 搭建 hadoop 完全分布式集群

VMware 虚拟机搭建 hadoop 完全分布式集群,集成 Spark、HBASE、Hive 等

#分布式#hadoop#大数据 +1
Nginx + uWSGI + Django部署

Django 默认使用 WSGI(Python Web Server Gateway )作为 Web 服务器,一般仅用来作为测试使用,实际生产环境而是使用 uWSGI 和 Nginx 作为服务器。uWSGI 代码完全用C编写,效率高、性能稳定,但是处理能力较弱,因此实际生产环境中,一般采用设置。

文章图片
#django#nginx#python
算法:【芯片检测】

把第一块芯片与其它逐一对比,看看其它芯片对第一块芯片给出的是好是坏,如果给出是好的过半,那么说明这是好芯片,完毕。如果给出的是坏的过半,说明第一块芯片是坏的,那么就要在那些在给出第一块芯片是坏的芯片中,重复上述步骤,直到找到好的芯片为止。其中:好芯片和其它芯片比较时,能正确给出另一块芯片是好还是坏;坏芯片和其它芯片比较时,会随机的给出好或是坏。因为如果每次比较的两块芯片都能够排除一半的坏芯片,那么

文章图片
#算法
    共 14 条
  • 1
  • 2
  • 请选择