为Linux版本Oracle 11gR2配置HugePage

HugePage是Oracle在Linux版本下一种性能优化手段。对于共享内存区域（SGA）的数据库系统，Oracle通常都推荐在操作系统层面配置上HugePage，为Oracle实例准备更大的可用共享内存和整块的内存。本文主要介绍在Oracle 11gR2版本上，进行HugePage配置全过程。记录下来，共需要的朋友待查。使用HugePages优化内存性能 http://www.linuxidc.com/Linux/2015-03/114587.htmPF_RING Libzero中使用HugePage http://www.linuxidc.com/Linux/2014-11/109583.htmOracle 大内存需要配置HugePage http://www.linuxidc.com/Linux/2014-03/98988.htm在Oracle 11.2.0.3.0上开启大页（HugePages）的详细解析 http://www.linuxidc.com/Linux/2014-02/96787.htmLinux HugePages及MySQL 大页配置 http://www.linuxidc.com/Linux/2013-08/88227.htmLinux HugePage 特性 http://www.linuxidc.com/Linux/2013-04/82504.htm1、环境介绍笔者使用Oracle 11gR2系统，具体版本为11.2.0.4。SQL> select * from v$version;BANNER--------------------------------------------------------------------------------Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit ProductionPL/SQL Release 11.2.0.4.0 - ProductionCORE 11.2.0.4.0 ProductionTNS for Linux: Version 11.2.0.4.0 - ProductionNLSRTL Version 11.2.0.4.0 – Production当前数据库配置内存策略为ASMM，也就是分别设置PGA和SGA的大小范围。Oracle根据负载情况动态自己调节内部各个子池的空间。注意：在当前版本中，AMM（Automatic Memory Management）和HugePage之间还是不能兼容。所以，如果要求配置HugePage，就只能退而求其次选择ASMM。数据库设置的SGA空间如下：SQL> show parameter sga;NAME TYPE VALUE------------------------------------ ----------- ------------------------------lock_sga boolean FALSEpre_page_sga boolean FALSEsga_max_size big integer 12Gsga_target big integer 12G12G的SGA，Oracle在启动过程中，针对大内存情况给出了提示在alert log中。ue Jan 12 11:31:33 2016Starting ORACLE instance （normal）************************ Large Pages Information *******************Per process system memlock （soft） limit = 64 KBTotal Shared Global Region in Large Pages = 0 KB （0%）Large Pages used by this instance: 0 （0 KB）Large Pages unused system wide = 0 （0 KB）Large Pages configured system wide = 0 （0 KB）Large Page size = 2048 KBRECOMMENDATION: Total System Global Area size is 12 GB. For optimal performance, prior to the next instance restart: 1. Increase the number of unused large pages by at least 6145 （page size 2048 KB, total size 12 GB） system wide to get 100% of the System Global Area allocated with large pages 2. Large pages are automatically locked into physical memory. Increase the per process memlock （soft） limit to at least 12 GB to lock 100% System Global Area"s large pages into physical memory首先Oracle发现当前系统并没有设置HugePage，只有默认的2M大小的Page可选。于是，从建议的角度，给出了提示意见，建议开启HugePage选项在操作系统层面。此时，操作系统层面也没有专门的设置。[oracle@PROD_PC-DB trace]$ grep Huge /proc/meminfoAnonHugePages: 36864 kBHugePages_Total: 0HugePages_Free: 0HugePages_Rsvd: 0HugePages_Surp: 0Hugepagesize: 2048 kB2、配置HugePage在11.2的小版本中，HugePage处理的行为其实是在变化的。在11.2.0.2中，Oracle推出了一个参数use_large_page，作为从实例层面控制Oracle使用Huge Page的开关。SQL> show parameter large_pagesNAME TYPE VALUE------------------------------------ ----------- ------------------------------use_large_pages string TRUE该参数默认取值为true，是一种向上最优策略。如果设置为true，Oracle实例会去检查是否操作系统开启了HugePage，如果有就采用，如果没有就不用。另外两个取值分别为false和only，如果选择为false，表示Oracle实例不管操作系统设置，都不会使用HugePage。如果选择为only，就表示Oracle实例只会选择HugePage上运行。此外，在行为上也有一些变化。在11.2.0.2版本中，如果操作系统没有足够的HugePage使用，SGA内存就只有使用系统剩下的小页（Small Pages）。如果余下的小页small page不够用，或者内核使用的比较多，系统会报错ora-4030错误。这个情况在11.2.0.3版本中有一些变化。Oracle首先会使用可用的HugePage，如果使用尽了，同样会采用剩下的small pages作为SGA使用。变化在于对使用HugePage的方式上，根据官方的说法：With this new behavior additional shared memory segments are an expected side effect. Part of the change is to ensure that each shared memory segment making up the SGA only contains sub-areas with an identical alignment requirement - hence the SGA will spread over more separate SHM segments. In this supported mixed page mode the database will exhaust the available hugepages, before switching to regular sized pages.新版本的操作方式可以更好的使用可用的大页资源。当前操作系统版本为Linux 2.6内核版本。[oracle@PROD_PC-DB trace]$ uname -r2.6.32-431.el6.x86_64这个过程中涉及到不同操作系统环境、不同Oracle配置下的推荐HugePage数量问题。Oracle在MOS上发布出一个Shell脚本hugepages_settings.sh，可以动态计算出推荐的HugePage数量。具体脚本内容可以从MOS Doc ID 401749.1上进行下载，在笔者之前关于HugePage的文章中也有所涉及。执行脚本后结果如下：[oracle@PROD_PC-DB trace]$ ls -l | grep hugepag-rw-r--r--. 1 oracle oinstall 3129 Jan 12 13:32 hugepages_settings.sh[oracle@PROD_PC-DB trace]$ chmod +x hugepages_settings.sh [oracle@PROD_PC-DB trace]$ ls -l | grep hugepag-rwxr-xr-x. 1 oracle oinstall 3129 Jan 12 13:32 hugepages_settings.sh[oracle@PROD_PC-DB trace]$ uname -r2.6.32-431.el6.x86_64[oracle@PROD_PC-DB trace]$ ./hugepages_settings.sh This script is provided by Doc ID 401749.1 from My Oracle Support （http://support.oracle.com） where it is intended to compute values for the recommended HugePages/HugeTLB configuration for the current shared memory segments on Oracle Linux. Before proceeding with the execution please note following: * For ASM instance, it needs to configure ASMM instead of AMM. * The "pga_aggregate_target" is outside the SGA and you should accommodate this while calculating SGA size. * In case you changes the DB SGA size, as the new SGA will not fit in the previous HugePages configuration, it had better disable the whole HugePages, start the DB with new SGA size and run the script again.And make sure that: * Oracle Database instance（s） are up and running * Oracle Database 11g Automatic Memory Management （AMM） is not setup （See Doc ID 749851.1） * The shared memory segments can be listed by command: # ipcs -mPress Enter to proceed...Recommended setting: vm.nr_hugepages = 6148操作系统层面配置HugePage，需要在两个层面进行配置。事先是limits.conf文件，开启对用户的内存限制。[root@PROD_PC-DB security]# vi limits.conf # /etc/security/limits.conf##Each line describes a limit for a user in the form:#（篇幅原因，有省略……）oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536oracle soft memlock 32879476 --对应内存总量oracle hard memlock 32879476确认修改。[oracle@PROD_PC-DB ~]$ ulimit -l32879476将脚本计算出的结果，修改入/etc/sysctl.conf文件。net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048576fs.aio-max-nr = 1048576fs.file-max = 6815744vm.nr_hugepages = 6148"/etc/sysctl.conf" 67L, 1631C written执行sysctl –p落实修改。[root@PROD_PC-DB security]# sysctl -pnet.ipv4.ip_forward = 0net.ipv4.conf.default.rp_filter = 1（篇幅原因，有省略……）fs.file-max = 6815744vm.nr_hugepages = 6148重新启动实例数据库。SQL> conn / as sysdbaConnected.SQL> shutdown immediate;Database closed.Database dismounted.ORACLE instance shut down.SQL> startupORACLE instance started.Total System Global Area 1.2827E+10 bytesFixed Size 2265224 bytesVariable Size 2214596472 bytesDatabase Buffers 1.0603E+10 bytesRedo Buffers 7307264 bytesDatabase mounted.Database opened.SQL> 在操作系统层面上，可以看到HugePage使用情况。[oracle@PROD_PC-DB ~]$ ipcs -m------ Shared Memory Segments --------key shmid owner perms bytes nattch status 0x00000000 786435 oracle 640 67108864 22 0x00000000 819204 oracle 640 12817793024 22 0x617ab988 851973 oracle 640 2097152 22 [oracle@PROD_PC-DB ~]$ grep Huge /proc/meminfo AnonHugePages: 20480 kBHugePages_Total: 6148HugePages_Free: 5531HugePages_Rsvd: 5528HugePages_Surp: 0Hugepagesize: 2048 kB同时，启动过程中的推荐提示信息消失。Tue Jan 12 14:26:30 2016Starting ORACLE instance （normal）************************ Large Pages Information *******************Per process system memlock （soft） limit = 31 GBTotal Shared Global Region in Large Pages = 12 GB （100%）Large Pages used by this instance: 6145 （12 GB）Large Pages unused system wide = 3 （6144 KB）Large Pages configured system wide = 6148 （12 GB）Large Page size = 2048 KB********************************************************************LICENSE_MAX_SESSION = 0LICENSE_SESSIONS_WARNING = 0Initial number of CPU is 8Number of processor cores in the system is 8Number of processor sockets in the system is 1Picked latch-free SCN scheme 3Using LOG_ARCHIVE_DEST_1 parameter default value as USE_DB_RECOVERY_FILE_DESTAutotune of undo retention is turned on. IMODE=BR3、结论对于投产在Linux版本下的Oracle共享内存系统而言，配置HugePage还是有现实意义的。更多Oracle相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx？tid=12本文永久更新链接地址