大数据存储基础知识
1、 postgresql数据库操作命令2、 k8s网络规划3、当前项目的部署形态，端口使用方式
目录
1. 名词缩写
| 缩写 | 全称 | 说明 |
| FC | Fibre Channel | 网状通道技术。光纤对接的一种接口标准形式 |
| SCSI | Small Computer System Interface | 小型计算机系统接口。是一种用于计算机及其周边设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准 |
| DAS | Direct Attached Storage | 直接附加存储。是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上 |
| IDE | Integrated Drive Electronics | 电子集成驱动器. |
| ATA | Advanced Technology Attachment | 高技术配置 |
| PATA | Parallel ATA | 并行高技术配置 |
| SATA | Serial ATA | 串行高级技术附件 |
| iSCSI | Internet Small Computer System Interface | Internet小型计算机系统接口 |
| NFS | Network File System | 网络文件系统 |
2. 接口
1. IDE（ATA）
集成驱动电子设备（IDE，Integrated Drive Electronics）是应用于电脑主板的数据路径或数据流和电脑磁盘储存设备上的一种标准电子接口。主要意图为将控制器与盘体集成在一起。。现在的电脑使用的是升级版的IDE，即增强型电子集成驱动器接口，IDE的控制器一般在主板里面。
1990年11月，美国国家标准机构采用了IDE接口标准。该机构把集成驱动电子设备命名为ATA（高级技术附加装置）。IDE（ATA）标准是T10委员会认定的几个相关标准中的一个
1. PATA（Parallel ATA）
IDE接口即指并行IDE接口（PATA接口）。IDE接口即指并行IDE接口（PATA接口）。使用PATA接口的硬盘叫并口硬盘。
2. SATA（Serial ATA ）
一种基于行业标准的串行硬件驱动器接口，是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。使用SATA的硬盘叫串口硬盘
3. PATA与SATA区别
1、SATA硬盘比IDE硬盘传输速度高。目前SATA可以提供150MB/s的高峰传输速率。今后将达到300 MB/s和600 MB/s。到时我们将得到比IDE硬盘快近10倍的传输速率。
2、 相对于IDE硬盘的PATA40针的数据线，SATA的线缆少而细，传输距离远，可延伸至1米，使得安装设备和机内布线更加容易。连接器的体积小，这种线缆有效的改进了计算机内部的空气流动，也改善了机箱内的散热。
3、相对于IDE硬盘系统功耗有所减少。SATA硬盘使用500毫伏的电压就可以工作。
4、SATA可以通过使用多用途的芯片组或串行——并行转换器来向后兼容PATA设备。由于SATA和PATA可使用同样的驱动器，不需要对操作系统进行升级或其他改变。
5、SATA不需要设置主从盘跳线。BIOS会为它按照1、2、3顺序编号。这取决于驱动器接在哪个SATA连接器上（安装方便）。而IDE硬盘需要设置通过跳线来设置主从盘。
6、SATA还支持热插拔，可以象U盘一样使用。而IDE硬盘不支持热插拔.
7、数据传输的可靠性得到了增强，硬盘制造起来变得更容易，因为厂商不需要再担心自己的硬盘是否与其它厂商生产的控制器兼容，对用户而言，硬盘安装起来也更为方便
2. SCSI
1. SCSI
SCSI是小型计算机系统接口（Small Computer System Interface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。
SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。
1、SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。
2、SCSI-2：1992年提出，也称为Fast SCSI，数据传输率提高到20MB/s。
3、SCSI-3：1995年提出，Ultra SCSI（Fast-20）。Ultra 2 SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。1998年9月，Ultra 3 SCSI（Utra 160 SCSI）正式发布，最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。
2. SAS
3. iSCSI
iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。
iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。
基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。
iSCSI的数据包结构：
工作流程：
iSCSI系统由SCSI适配器发送一个SCSI命令。
命令封装到TCP/IP包中并送入到以太网络。
接收方从TCP/IP包中抽取SCSI命令并执行相关操作。
把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。
系统提取出数据或命令，并把它们传回SCSI子系统。
安全性描述：
iSCSI协议本身提供了QoS及安全特性。
可以限制initiator仅向target列表中的目标发登录请求，再由target确认并返回响应，之后
才允许通信；
通过IPSec将数据包加密之后传输，包括数据完整性、确定性及机密性检测等；
iSCSI的优势
（1）广泛分布的以太网为iSCSI的部署提供了基础。
（2）千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。
（3）以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。
（4）由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）等传输距离上的难题。
（5）得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。
4. TCPIP各层的协议
3. FC
FC光纤通道：用于计算机设备之间数据传输，传输率达到2G（将来会达到4G）。光纤通道用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。
此图需要更换
协议基本架构：
FC-4 Upper Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP
FC-3 common service
FC-2 Framing Protocol /Flow Control
FC-1 Encode/Decode
FC-0 Media:Optical or copper,100MB/sec to 1.062GB/sec
协议层说明：
FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口
以及电缆指标
FC-1：定义编码和解码的标准
FC-2：定义了帧、流控制、和服务质量等
FC-3：定义了常用服务，如数据加密和压缩
FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协 议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI,FC-IP,FC-VI
协议简介：
FCP-SCSI：
FCP-SCSI:是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之间的数据传输。新的ANSI T10 标准，支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。 FCP-SCSI 提供200MB/s（全双工独占带宽）的传输速率，每连接最远达10 公里，最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。
3. 存储
1. SAN
此部分内容转载于：https://cloud.tencent.com/developer/news/273345
存储区域网络（Storage Area Network，简称SAN）,它是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用的高速网络。是一种基于块存储的存储方式。SAN 采用可扩展的网络拓扑结构连接服务器和存储设备，每个存储设备不隶属于任何一台服务器，所有的存储设备都可以在全部的网络服务器之间作为对等资源共享。目前常见的SAN有FC SAN和IP SAN两种类型，其中FC SAN为通过光纤通道转发SCSI协议，IP SAN通过TCP/IP通道转发SCSI协议。
2、FC SAN
通过FC（光纤）交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。架构可参考下图：
3、IP SAN
早期的SAN采用的基本是光纤通道(Fiber Channel)技术，所以早期的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN划分为FC SAN和IP SAN。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。架构可参考下图：
4、优劣分析
优：SAN使存储空间得到更加充分的利用以及安装和管理更加有效，SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽，另外SAN存储架构实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。这也是出现这种技术的主要原因。
劣：方案整体预算相对DAS和NAS架构要高一些，尤其是FC SAN。
2. DAS
DAS（Direct Attached Storage—直接附加存储）是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。
一个SCSI环路或称为SCSI通道可以挂载最多16台设备；
FC可以在仲裁环的方式下支持126个设备；
3. NAS
NAS（Network Attached Storage—网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。
NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。
NAS的优点：
- NAS可以即插即用。
- NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。
- 专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。
- 经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。即使应用服务器不再工作了，仍然可以读出数据。
NAS的缺点：
1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。
2、NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为NAS设备通常具有独特的网络标识符，存储空间的扩大上有限。
3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。不适和Block级的应用，尤其是要求使用裸设备的数据库系统。
4. 存储技术对比
| 对比项 | DAS | NAS | FC-SAN | IP-SAN |
| 存储方式 | 直接连接 | 文件存储 | 块存储 | 块存储 |
| 可扩展性 | ||||
| 读写速度 | ||||
| 搭建成本 | ||||
| 资源利用率 | ||||
| 可管理性 |
5. 参考文档
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)