logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

阿里云DataWorks使用总结2

手动刷新元数据报错:{“code”:600002,“requestId”:“8dca608f385fd1f086a5e71c37f813f2”,“path”:“/dma/searchRefresh”,“url”:“https://bff-cn-hangzhou.data.aliyun.com/dma/searchRefresh?这个报错是由于目前DW的离线任务不支持运行一次这种操作,所以就是那个接

文章图片
#阿里云#数据库
阿里云DataWorks使用总结1

根据DW页面打印的详细日志可以看到6:07 master 启动,是Master启动后,worker并没有启动,因为是分布式,所以会先启动一部分,一直到06:58Master才打印速率,但实际根据后台监控看06:39:05 数据已经开始写入了。然后联系数据库同学排查,可以发现数据库的 IOPS被打满,然后确实是那条SQL执行时间过慢,建议是排查关键字段是否有索引,有索引的情况下,语句是否会走索引。离

文章图片
#阿里云#云计算
阿里云DataWorks问题记录1

当前DW的数据开发支持MaxCompute、E-MapReduce、Hologres、AnalyticDB for MySQL、ClickHouse、CDH、AnalyticDB for PostgreSQL数据的在线开发,您可以将上述数据源与数据开发绑定,绑定成为数据开发数据源后,即可用于数据建模、数据开发、任务调度等场景。1、目前MC和DataWorks之前的项目空间对应关系为1对12、ADB

#阿里云#云计算
Spark 读取阿里云 MaxCompute数据源写阿里云OSS和华为云OBS

前情提要:当前Spark 版本为2.4.5写数据到阿里云OSS1、编写Spark 代码 - 写OSSpublic class SparkODPS2OSS4 {public static void main(String[] args) {SparkSession spark = SparkSession.builder().appName("ODPS2OSS")// 可访问O

#spark#阿里云#odps
到底了