软件工程发展趋势

注册

 

发新话题 回复该主题

漫谈传统IT基础设施10存储04 [复制链接]

1#
白癜风哪里能治最好 http://baidianfeng.39.net/bdfby/yqyy/

No.1

一图弄清楚存储分类

No.2

典型集中式存储

块存储

典型设备:磁盘阵列,硬盘。

块存储相当于裸硬盘映射给文件系统/操作系统,需要进行分区与格式化之后才能给操作系统识别使用。

块存储可以通过RAID与LVM等方式将物理磁盘构成逻辑磁盘后再映射给操作系统使用。

优点:

1、通过RAID与LVM等手段,对数据提供了保护。

2、可以将多块硬盘组织起来,成为更大容量的硬盘。

3、逻辑盘由多块硬盘组成,读写时多个磁头并行读写,效率高,速度快。

4、多采用SAN组网,传输速率以及封装协议的原因,使得传输速度与读写速率得到提升。

缺点:

1、采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要买光纤交换机,造价成本高。

2、服务器不做集群的情况下,块存储裸盘映射给主机,再格式化使用后,主机间无法共享磁盘。

3、不利于文件共享(不同文件系统间的数据是共享不了的。例如Linux下的EXT4文件系统,无法识别NTFS格式U盘,不同文件系统下的数据无法共享。)

文件存储

典型设备:FTP、NFS、CIFS服务器

为了克服上述文件无法共享的问题,所以有了文件存储。

有软硬一体化的设备,普通服务装上网络文件系统,也可以充当文件存储。

主机A可以直接对文件存储进行文件的上传下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能有文件存储的系统负责。

优点:

1、造价交低:普通的服务器即,另外只需要普通以太网即满足网络要求,不需要专用的SAN网络,成本低。

2、方便文件共享:例如主机A(WIN7,NTFS文件系统),主机B(Linux,EXT4文件系统),原来无法对一个文件进行共享。当中间添加了主机C(NFS服务器),可以先从A拷到C,再C拷传输到B,即解决了文件共享的问题。

缺点:

读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里面的硬盘来承担,相比起磁盘阵列动不动就几十上百块硬盘同时读写,速率慢很多。

No.3

分布式存储

分布式存储分为:分布式块存储、分布式文件存储、分布式对象存储。

对象存储肯定是分布式的,但是分布式存储不一定只有对象存储。

分布式存储(块/文件存储)原理与部署模式基本上就是上一页的对称式/非对称式的NameNode+DataNode的部署模式。其中:

NameNode负责:a、提供存储数据的逻辑视图、文件名列表及目录结果(VFS);b、提供组织物理存储介质的数据分布(inode);C、保持数据一致性。

DataNode负责:只管数据的实际存放,什么管理功能都不管。

对象存储

而对象存储:分为OSD(相当于DataNode)与MDS(相当于NameNode)。但是:

MDS只负责:a、提供存储数据的逻辑试图、文件名列表及目录结果;b、数据一致性。

OSD负责:a、数据的实际存放;b、数据的分布。

由于一般分布式存储的NameNode中,CPU中10%的负载在于逻辑视图部分(VFS),90%的负载在与计算数据的分布部分(inode)。而由于一般NameNode肯定是少于DataNode的,因此对象存储将数据分布方式的计算部分下沉到了OSD(DataNode),降低了NameNode的负载,因此性能更好。

对象存储非常适合于一次写入,永不修改,多次读取的数据存储场景。如微博、朋友圈等的文字、图片、视频。

不像文件存储有很长的目录树,对象存储的对象就存放在一个叫bucket(桶)的下面,每个bucket都有唯一的ID。并且对象存储支持RESTAPI调用。因此实际上,只需要通过

分享 转发
TOP
发新话题 回复该主题