logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

[hadoop、Hbase错误解决合集] Hbase的Hmaster进程启动后自动关闭的问题解决方法

==============================================================================现象1.日志中提示:ERROR [Thread-14] master.HMaster: Failed to become active master2.进入hbase shell中进行数据库操作提示:KeeperErrorCode =...

Spark 在一个sparksession中并行的执行多个Job

对程序中设计的DataFrame、DataSet,将其分区数修改到一个合适的值,我这里用的是:当前环境下可用的CPU核数/并行数量。使用Callable或Runable类,重写类中的call方法或run方法,将要执行的job放入call或run方法中提交。在这个情景下,采取并行的方式同时处理n(假设n=5)个文件,能够更有效的利用服务器的资源。有两个独立的job A和B可以并行执行,按spark默

#spark#scala#big data
spark 解析ZIP文件中的JSON数据

方法一:参考资料:https://blog.csdn.net/GCR8949/article/details/80155064import org.apache.spark.SparkConfimport org.apache.spark.input.PortableDataStreamimport org.apache.spark.sql.SparkSessionimport java.io.{

#spark#sql#big data
2021-09-30 CDH spark submit job:To solve this try to set hive.exec.max.dynamic.partitions

[2021-09-30 08:22:01,451] {ssh.py:141} INFO - 21/09/30 16:22:01 ERROR yarn.Client: Application diagnostics message: User class threw exception: org.apache.spark.sql.AnalysisException: org.apache.hadoo

#hive#spark#scala
关于Windows 11 docker desktop 运行doris 容器时vm.max_map_count=2000000的设置问题

需要一个简单的测试环境,于是准备用docker启动一个1fe 1be的简单玩一下。然后再重新运行be容器就可以正常启动,与FE的通信也正常。这个参数是没用的,be仍然会启动失败。如果be容器启动后再去修改。Ubuntu (默认)

文章图片
#docker#容器#运维
关于Windows 11 docker desktop 运行doris 容器时vm.max_map_count=2000000的设置问题

需要一个简单的测试环境,于是准备用docker启动一个1fe 1be的简单玩一下。然后再重新运行be容器就可以正常启动,与FE的通信也正常。这个参数是没用的,be仍然会启动失败。如果be容器启动后再去修改。Ubuntu (默认)

文章图片
#docker#容器#运维
对numpy中的linespace的理解

文档地址:https://docs.scipy.org/doc/numpy/reference/generated/numpy.linspace.html#numpy.linspace先贴出说明文档内的部分内容:numpy.linspacenumpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)...

Python机器学习基础教程(Introduction to Machine Learning with Python)

已经基本上看完了,中文版翻译的还可以,书中讲的东西非常的少,深度不够,广度也不够。很多算法、模型在原理部分仅提了一两个公式。示例方面顶多能拿来作讲解是够用的,但是没有实用性。特征工程部分讲的很笼统,无法获得足够的有效信息。书中的知识体系建立的七零八落,每一块都是挑着讲,并且还不将全。...

关于cv::Point2d cv::Point2f cv:Point2i cv::Point2l cv::Point3d cv::Point3f cv::Point3i的见解

在opencv中该模板类涵盖几乎所有表示点的数据类型可以看到,该模板类有众多的具体化形式那么,这些类型中的数字(1,2,3),字母(i,f,d)都是什么意思呢?在此,记录一下数字(1,2,3)代表的是这个点的维度信息,字母(i,f,d,l)代表该点的类型,整形、浮点型、双精度、long (例如)1代表1维,该点仅有X轴即可确定2代表2维,该点需要X、Y两轴来确定,3代表3维,需要由...

[学习opencv3] 阅读第十一章

文章目录常见的图像变换仿射变换密集仿射变换函数```cv::warpAffine```计算仿射映射矩阵的```cv::getAffineTransform```另一种计算映射矩阵的方法```cv::getRotationMatrix2D()``````cv::transform()```用于稀疏仿射变换```cv::invertAffineTransform()```用于逆仿射变换透视变换常见的.

    共 26 条
  • 1
  • 2
  • 3
  • 请选择