【存储】裸设备和Oracle
1、什么是字符设备、块设备和裸设备?
答案:字符设备:对字符设备的读写不需要通过OS的缓冲区(Buffer),它不可被文件系统MOUNT。字符特殊文件与外设进行I/O操作时每次只传输一个字符,通常不支持随机存取数据。
块设备:对块设备的读写需要通过OS的缓冲区(Buffer),它可以被MOUNT到文件系统中。块设备文件用来同外设进行定长的包传输,它使用了Cache机制,在外设和内存之间一次可以传送一整块数据。块设备通常支持随机存取和寻址,并使用缓存器。
裸设备:也叫裸分区(原始分区),是一种没有经过格式化,不被Unix/Linux通过文件系统来读取的特殊字符设备。裸设备可以绑定一个分区,也可以绑定一个磁盘。裸设备使用字符特殊文件,它由应用程序负责对它进行读写操作,不经过文件系统的缓冲。
2、使用裸设备的好处有哪些?
答案:因为使用裸设备避免了再经过Unix操作系统这一层,数据直接从Disk到Oracle进行传输,所以使用裸设备对于读写频繁的数据库应用来说,可以极大地提高数据库系统的性能。当然,这是以磁盘的I/O非常大,磁盘I/O已经成为系统瓶颈的情况下才成立。如果磁盘读写确实非常频繁,以至于磁盘读写成为系统瓶颈的情况成立,那么采用裸设备确实可以大大提高性能,最大甚至可以提高至40%,非常明显。而且,由于使用的是原始分区,没有采用文件系统的管理方式,对于Unix维护文件系统的开销也都没有了,比如不用再维护I-node,空闲块等,这也能够导致性能的提高。
3、如何决定是否应该使用裸设备?
答案:判断是否使用裸设备要从以下方面进行考虑:首先,数据库系统本身需要已经被比较好的经过了优化。优化是一门很有些技术的话题,很难简单地讲述。其次,使用Unix命令来辨别是否存在磁盘读写瓶颈。比如Unix的vmstat、sar等命令都可以较好的进行鉴别。如果决定采用裸设备,需要磁盘上还有空闲的分区。否则,就要新添磁盘,或者对原有系统重新规划。
4、什么系统必须使用裸设备?
答案:如果使用了Oracle并行服务器选项,那么就必须采用裸设备来存放所有的数据文件,控制文件,重做日志文件。只有把这些文件放到裸设备上,才能保证所有Oracle实例都可以读取这个数据库的文件。这是由Unix操作系统的特性决定的。还有一种情况是,如果你想使用异步I/O,那么在有些Unix上也必须采用裸设备。这个需要参考具体Unix的相关文档。
5、能够使用一个磁盘的第一个分区作为裸设备吗?
答案:可以,但是不推荐。在Unix的比较旧的版本是银行,磁盘的第一个分区常常包含这个磁盘的一些信息,以及逻辑卷的一些控制信息。若这些部分被裸设备覆盖的话,磁盘就会变得不可识别,导致系统崩溃。较新的Unix版本不会发生这样的情况,因为它们采用了更复杂的技术来管理磁盘,逻辑卷的一些信息。但是,除非很确信不要使用磁盘的第一个分区来作为裸设备。
6、我可以把整个裸设备都作为Oracle的数据文件吗?
答案:不行。必须让数据文件的大小稍微小于该裸设备的实际大小,至少要空出两个Oracle块的大小来。
7、裸设备应该属于那个用户?
答案:应该由root来创建裸设备,然后再分配给Oracle用户以供使用。同时还要把它归入Oracle用户所在的那个组里边(通常都是DBA)。
8、在创建数据文件时如何指定裸设备?
答案:和普通文件没有什么太大的区别,一样都是在单引号里边写上裸设备的详细路径就可以了。举一个例子:要在创建一个表空间,使用两个裸设备,每个分别为30M的大小,Oracle块的大小为4K,可以用下面的命令:
CREATE TABLESPACE RAW_TS
DATAFILE '/dev/raw1' SIZE 30712k
DATAFILE '/dev/raw2' SIZE 30712k;
9、Oracle块的大小和裸设备有什么关系吗?
答案:Oracle会必须是裸设备上物理块大小的倍数。
10、如何在裸设备上进行备份?
答案:在裸设备上,不能使用Unix实用程序来进行备份,唯一的办法是使用最基本的Unix命令:dd来进行备份。比如:dd if=/dev/raw1 of=/dev/rmt0 bs=16k。dd的具体语法可以参考Unix手册,或者联机帮助。你也可以先用dd把裸设备上的数据文件备份到磁盘上,然后再利用Unix实用程序进一步处理。
12.如果我没有使用Oracle并行服务器选项,我可以在数据库上让一部分数据文件使用文件系统,另一部分使用裸设备吗?
答案:可以。但是这样的话,会使备份过程更加复杂。
11、我应该把联机重做日志文件放到裸设备上吗?
答案:这是一个极好的选择。联机重做日志文件是写操作非常频繁的文件,放到裸设备上非常合适。如果你使用了并行服务器选项,那么联机重做日志文件必须放到裸设备上面。
12、可以把归档日志文件放到裸设备上吗?
答案:不行。归档日志文件必须放到常规的Unix文件系统上面,或者直接放到磁带上面去。
13、我可以在裸设备上边放置多个数据文件吗?
答案:不行。所以你必须在设置裸设备时非常小心。太小的话,会导致空间很快用完,太大的话,空间就白白浪费了。
14、因应该把几个裸设备放到同一个物理磁盘上吗?
答案:这样做不好。因为使用裸设备就是为了提高磁盘读写速度。而把多个裸设备放到同一个物理磁盘上会导致读写竞争,这样对于提高I/O速度是不利的。应该尽量分散裸设备到不同的物理磁盘上,最好是分散到不同的磁盘控制器上。这是最佳选择。
15、需要把所有裸设备都定义成同样的大小吗?
答案:这不是必须得,但是划分成同样的大小对于管理数据库比较有利。
16、为了在Unix上使用裸设备,我需要改变Unix核心参数吗?
答案:不需要。但可以选择减小缓冲区的大小,如果没有别的应用也在同一台Unix机器上运行。因为运用了裸设备以后,不再使用Unix的系统缓冲区。
17、为了提高读写速度,在操作系统级别上,还有什么办法可以采取吗?
答案:使用RAID(廉价冗余磁盘阵列)也是非常有效的办法,尤其实那种读写非常频繁的系统。
18、在考虑了以上所有方面后,还能有什么办法可以提高性能的吗?
答案:这就需要对Oracle进行优化,并且购买更多的磁盘和磁盘控制器,来分散I/O到不同的磁盘上。
19、一个系统可以有多少个裸设备?
答案:这个与Linux的版本相关,在旧版本中,最多只可以有256个裸设备,Linux 4下做多可以绑定8192个裸设备。但是在Linux下,最多只能有255个分区,所以,如果用裸设备绑定分区,那么最多只能绑定255个裸设备。如果是用LVM,那么没有这个限制。
20、Linux下单个磁盘最多可以有多少个分区?
答案:15个。3个主分区 + 1个扩展分区 + 11个逻辑分区。
建议的分区方法是:先分3个主分区,第四个分区为扩展分区,然后在扩展分区中再分成11个逻辑分区。注意,裸设备不要绑定在扩展分区上。
21、Linux下是否需要绑定裸设备?Unix呢?
答案:Linux下如果需要使用裸设备,则需要手工进行绑定。在Linux中rawio的则实现了一套非绑定(unbound)的裸设备/dev/rawN或者/dev/raw/rawN和一个控制设备/dev/rawct用来把他们绑定到块设备上。所以当需要使用一个裸设备的时候,就需要把他和一个真实存在的块设备对应起来,这一个步骤实际上就是完成了Unix里的自动对应一个非缓存字符设备。Unix下则不用。因为Unix中每一个块设备都会有一个对应的字符设备用于非缓存(Unbuffered) I/O,这就是他对应的裸设备了。
22、Linux如何绑定裸设备?
答案:两种方式:
1)命令绑定
raw /dev/raw/raw[n] /dev/xxx
其中n的范围是0-8191。raw目录不存在可以创建。
执行这个命令,就会在/dev/raw下生成一个对应的raw[n]文件
用命令方式绑定裸设备在系统重启后会失效。
2)修改文件
修改/etc/sysconfig/rawdevices文件如下,以开机时自动加载裸设备,如:
/dev/raw/raw1 /dev/sdb1
这种方式是通过启动服务的方式来绑定裸设备。
也可以把这个命令写在/etc/rc.local上,使每次启动都执行这些命令。
23、如何把裸设备作为Oracle数据文件?有什么需要注意的?
答案:步骤如下所示:
1)绑定裸设备
2)改变裸设备属主
两种方法:
把命令加入/etc/rc.local上
chown oracle:oinstall /dev/raw/raw1
修改/etc/udev/permissions.d/50-udev.permissions文件
将/etc/udev/permissions.d/50-udev.permissions的113行,
从
raw/*:root:disk:0660
修改为
raw/*:oracle:oinstall:0660
这个的意思是修改裸设备的默认属主为oracle:oinstall,默认的mode是0660。如果是用lvm,也需要把逻辑卷绑定到裸设备上,过程和绑定到普通分区类似。
24、使用裸设备作为Oracle数据文件有什么需要注意的?
答案:使用裸设备作为Oracle的数据文件必须注意以下几点:
1)一个裸设备只能放置一个数据文件。
2)数据文件的大小不能超过裸设备的大小
l 如果是日志文件,那么裸设备最大可用大小=裸设备对应分区大小 - 1 * 512 (保留一个redo lock);
l 如果是数据文件,那么裸设备最大可用大小=裸设备对应分区大小 - 2 * db_block_size(保留两个block);
为了简单起见,对所有的文件设置称比裸设备小1M即可。
3)数据文件最好不要设置称自动扩展,如果设置称自动扩展,一定要把maxsize设置设置为比裸设备小。
25、是否可以直接用逻辑卷作为oracle数据文件?
答案:Linux下Oracle不能直接把逻辑卷作为裸设备,也要进行绑定。unix下就不需要。
26、如何知道当前绑定了什么裸设备?
答案:“raw -qa”命令列出当前绑定的所有裸设备。
27、如何知道某个裸设备的大小
答案:比较笨的办法是,找出看裸设备对应的是那个实际的块设备,然后用fdisk -l /dev/[h,s]dXN看那个块设备的大小就好了。比较简单的办法是用blockdev命令来计算,如:
#blockdev --getsize /dev/raw/raw1
11718750
11718750表示有多少OS BLIOCK。
一般一个OS BLOCK大小是512字节,所以11718750*512/1024/1024/1024 = 5722(m) 就是裸设备的大小。
28、数据库中可以同时以文件和裸设备作为数据文件吗?
答案:可以。甚至在同一个表空间中,也可以部分数据文件用文件系统,部分文件用裸设备。但是不建议这样做,因为会增加管理的复杂度。
29、可以把至于裸设备的数据文件设成自动扩展吗?
答案:可以,但同时要设置maxsize,且maxsize不能超过:裸设备大小 - 2*db_block_size
30、如何修改裸设备的默认权限
答案:两种方法:
1)要修改/etc/rc.d/rc.local文件,加入如下:
chown root:oinstall /dev/raw/raw1
chown root:oinstall /dev/raw/raw2
chown root:oinstall /dev/raw/raw3
...
chmod 660 /dev/raw/raw1
chmod 660 /dev/raw/raw2
chmod 660 /dev/raw/raw3
...
2)实际上还有更简单的方法就是,修改/etc/udev/permissions.d/50-udev.permissions文件:
raw/*:root:disk:0660
为
raw/*:root:oinstall:0660
这样就可以了!
31、如何取消裸设备的绑定
答案:用raw把major和minor设成0就可以取消裸设备的绑定。如:
raw /dev/raw/raw1 0 0
这个命令取消绑定裸设备的绑定,/dev/raw/raw1会被删除。
32、裸设备可以绑定的对象可以什么?
答案:可以绑定整个没有分区的硬盘、可以绑定硬盘的某个分区、可以绑定逻辑卷等。