倚天剑术68--使用S3协议管理对象存储
背景
S3协议相信很多人和我之前一样都不太了解,但现在笔者发现S3很重要。S3协议是Amazon Simple Storage Service (S3) 的API接口规范,现已成为对象存储的事实标准接口。下面让我们看看大厂对于S3协议进行对象管理的态度吧。

图:阿里云的提供的对象存储服务

图:华为云提供的对象存储服务
大厂们的态度已经表明了一切,华为的对象存储服务(OBS)和阿里的对象存储(OSS)其实是一个东西,都是基于S3协议把大量文件进行云端存储的服务。这种服务和百度网盘等等完全不同,他们可以提供API,让用户通过API对云端文件进行管理,而API就是基于S3协议。DESK是为数不多的支持对象存储的客户端工具,各种信创环境下那就更加稀缺了。
DESK管理对象存储
使用DESK管理对象存储非常简单,大家只需点击“资源管理”/“客户端”菜单,然后创建一个S3的连接。

连接创建完成之后,大家就可以通过双击鼠标进入对象管理。所谓的对象管理,其实就是一个基于网络的文件管理,支持文件的上传、下载、创建目录、删除等等文件操作。

看到这里大家可能会说,S3这东西和FTP好像啊。的确从表面上看的确非常类似,但不同的地方就是API层面,s3 协议的 API 非常易于文件操作,举个例子来说:
在StarRocks数据库中,可以通过S3协议,从parquet文件中直接用SQL查询数据,显然FTP协议不行吧。
SELECT * FROM FILES
(
"aws.s3.endpoint" = "http://192.168.122.200:6901",
"path" = "s3://starrocks/user_behavior_ten_million_rows.parquet",
"aws.s3.enable_ssl" = "false",
"aws.s3.access_key" = "UUUUU",
"aws.s3.secret_key" = "XXXXXXXXXX",
"format" = "parquet",
"aws.s3.use_aws_sdk_default_behavior" = "false",
"aws.s3.use_instance_profile" = "false",
"aws.s3.enable_path_style_access" = "true"
)
LIMIT 5;

总结
S3协议是非常重要的文件对象管理协议。鉴于其灵活的API,很多分析型数据库如Starrock等等都支持从S3协议获取数据,因此基于S3的文件存储服务也逐步被华为、阿里等大厂采纳,相信后续在大数据环境中会越用越多。
DESK倚天剑
-
全名:运维桌面工具套装软件
-
集办公、运维、开发场景常用功能于一体的桌面工具软件
-
管理操作系统、交换机、防火墙等设备的超级终端
-
图形化FTP/SFPT/SMB/WebDAV/S3上传下载文件的利器
-
文件管理(运行、编辑、压缩、搜索、复制、删除)的好帮手
-
批量处理图片/PDF的大师
-
信创系统下一键访问Windows/Linux桌面的途径
-
信创操作系统下办公、运维、开发人员的“倚天剑”
DBCS屠龙刀
-
全名:通用数据库管理桌面软件
-
强大、易用的数据库桌面端管理工具
-
支持管理20多种国内外主流数据库
-
支持运行于X86\ARM\龙芯\申威架构CPU
-
支持部署在信创、Windows、Linux、MAC操作系统
-
数据库运维、管理、开发人员或者学习者的“屠龙刀”
XGuard玄武之域
全名:全资源管控平台
继承DBCS和DESK运维功能于一体的Web平台版本,实现多人运维协作,并增加了管控和审计功能。平台不但能够补充替代传统堡垒机功能,而且克服了堡垒机“依赖客户端”、“审计粒度不够”、“不支持事中拦截”的三个安全性弊端。能够满足支持国内外20多种主流数据库、文件上传下载、操作系统远程接入等数据运维、开发需求的安全管控,并且可部署于信创环境,为政企单位提供一站式高安全数据管控解决方案。
更多推荐

所有评论(0)