logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006

先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格

文章图片
Lasso回归_ElasticNet回归_PolynomialFeatures算法介绍_01---人工智能工作笔记0032

然后我们再来看看这个Lasso回归,我们知道回归可以用来解决一些,连续的问题,比如药物预测,股票预测等..这个lasso回归,可以看到,他的损失函数,其实就是,也是后面添加了惩罚项对吧,他也有个alpha用来条件,损失函数的,正确率,还有泛化能力.然后我们再来看这个elasticnet这个回归,可以看到,这里,这个回归其实,他包含了,L1正则化和L2正则化都包含,因为,对于L1正则化它有个特点就是

文章图片
#人工智能#算法#机器学习
golang语言_mac系统搭建开发环境_VSCode开发go配置_定义变量_fmt包_print_printlan_printf_go语言注释---go语言工作笔记002

可以看到环境变量,现在直接go,软件安装完了以后,就完了,已经不需要像,java一样,麻烦,还需要。然后如果Print打印的时候,"A","B"... 这样写参数, 后面不会有空格。可以看到go的官网,去下载x86-64的版本,mac的版本,下载以后。使用var a ="aaa" 定义了变量必须使用,不使用报错,go中。定义字符串的时候,可以看到可以不写类型 var a ="aaa"然后Print

文章图片
#golang
elasticsearch工作笔记002---Centos7.3安装最新版elasticsearch-7.0.0-beta1-x86_64.rpm单机版安装

技术交流QQ群【JAVA,.NET,BigData,AI】:170933152这东西用来做大数据检索,可以跟hadoop一起使用。安装准备:1.安装jdk2.给虚拟机配置静态ip,可以查看其它博文怎么配置3.开始安装:在centos7上操作我把elasticsearch,放在了/usr/elasticsearch下面,到这个目录然后:https://www.elas...

mac地址随机变化的解决方法(安卓手机通用)不用ROOT

mac地址随机变化的解决方法(安卓手机通用)不用ROOT  首先关闭wifi1.进工程模式 *#*#3646633#*#*2.点击 connectivity3.点击 wifi4.点击 nvram5.Byte string access:addr 填入4;length 填入6;点击read。(发现在value一栏中出

云原生 CI/CD 框架 Tekton 初体验

Tekton 是一款功能非常强大而灵活的 CI/CD 开源的云原生框架。Tekton 的前身是 Knative 项目的 build-pipeline 项目,这个项目是为了给 build 模块增加 pipeline 的功能,但是随着不同的功能加入到 Knative build 模块中,build 模块越来越变得像一个通用的 CI/CD 系统,于是,索性将 build-pipeline 剥离出 Kna

文章图片
#ci
人工智能_大模型020_大模型生成vue/React/Bootstrap前端_如何获得ScreenShotToCode需要的gpt4和calude3的api key---人工智能工作笔记0156

生成了以后又有提示,可以看到这个key已经给了,但是这个不知道是GPT3.5的还是GPT-4.0-version的,可以先去用用试试。真的很难安装,这个uuid怎么都装不上,换了3个机器了,租用的也不行,然后本地的吧,网络又不好,安装poetry都装不上.就可以去生成对应的API Key,把手机号验证以后,就可以了,这里需要花钱,具体多少。可以去这里弄一个,这个用咱们的手机就可以弄了,弄了以后,然

文章图片
#人工智能
人工智能_大模型020_大模型生成vue/React/Bootstrap前端_如何获得ScreenShotToCode需要的gpt4和calude3的api key---人工智能工作笔记0156

生成了以后又有提示,可以看到这个key已经给了,但是这个不知道是GPT3.5的还是GPT-4.0-version的,可以先去用用试试。真的很难安装,这个uuid怎么都装不上,换了3个机器了,租用的也不行,然后本地的吧,网络又不好,安装poetry都装不上.就可以去生成对应的API Key,把手机号验证以后,就可以了,这里需要花钱,具体多少。可以去这里弄一个,这个用咱们的手机就可以弄了,弄了以后,然

文章图片
#人工智能
NIFI大数据进阶_内嵌ZK模式集群2_实际操作搭建NIFI内嵌模式集群---大数据之Nifi工作笔记0016

然后我们开始来搭建nifi集群,可以看到之前我们上传上来的安装包然后我们因为当前目录有了,我先去解压到其他目录这里解压到/export/soft下面去然后进去soft去看看,可以看到已经有了然后我们说我们要搭建3个nifi的集群,那么这个时候,需要复制3份,但是我们为了方便这里先不cp -r nifi-1.9.2-18001了 先不复制了,可以看到我们先重命名,然后又复制了,注意这里的复制先不要执

文章图片
#大数据
phoenix操作hbase常用sql写法_hbase版本hbase-2.4.11_phoenix版本phoenix-hbase-2.4-5.1.2_大数据工作笔记0186

实际在项目中使用phoenix操作hbase,会很麻烦,因为语法上phoenix的语法很有讲究,双引号单引号的,很麻烦. 所以记录一下常用的sql写法.并且,不同phoenix的版本,对sql。语法的支持也是不一样.

文章图片
#大数据
    共 44 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择