Oracle Database Technology Night #79 - Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS)

Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS)
Oracle Database Technology Night #79 Takeshi Maruyama / Hirotaka Yamamoto 2024/5/30

• ACFS概要 • ExaDB-D での ACFS利⽤例 • DB23ai ACFS新機能 •
ACFS Auto Resize Variable Threshold • ACFS Cross Version Replication • ACFS Encryption Migration from OCR to OKV • ACFS Replication Password-less SSH Setup Tool（SSH keys management for ACFS Replication） • ACFS Replication Switchover • ACFS SSH-less Replication（SSL-Based ACFS Replication） • ACFS Snapshots RMAN Sparse Backup and Restore • ACFS Sparse Backup and Restore of Snapshots • ACFSutil plogconfig Log Files Wrapping Info • PDB Snapshot Carousel ACFS Support • DB23ai ACFS ⾮推奨の機能アジェンダ Copyright © 2024, Oracle and/or its affiliates 2

Copyright © 2024, Oracle and/or its affiliates 4 Oracle Advanced
Cluster File System (ACFS) 概要

基盤となるエクステントベースのアーキテクチャによる⾼速ファイル・アクセス。スループット、レスポンスタイムは、ASMの優れたパフォーマンス数値と同等業界標準のPOSIX準拠、 Windows準拠のクラスタ・ファイル・システムコマンドライン・インタフェース
およびグラフィカル・ツールによる簡単な管理 Oracle Clusterwareとの統合により、⾃動起動、⾃動マウントが可能 ACFSアーキテクチャにより、停⽌からの迅速なリカバリが可能 Oracle Clusterwareとの統合により、ACFSはすべてのクラスタ・メンバーシップと⾼可⽤性サービスを活⽤可能 Oracle ACFS - オラクル社の完全なストレージ・ソリューション 5 可⽤性管理性 Enterprise Edition (EE) 性能 Copyright © 2024, Oracle and/or its affiliates

暗号化スナップショット⾃動サイズ変更レプリケーションハング・マネージャタギング圧縮プラグイン
HA-NFS & HA-SMB Oracle ACFS Oracle ADVM Oracle ASM Oracle Clusterware ASM Disk Group DB DatafilesのACFS上配置汎⽤ファイルのACFS上配置 Database RAC Application, Middleware & General Files Application や Middleware のファイルを ACFS上に配置 Oracle ACFS – アーキテクチャ概要 6 Copyright © 2024, Oracle and/or its affiliates

各機能の特徴 • 暗号化 • アプリケーションから透過的に ACFS 領域のデータ暗号化が可能 • ファイル単位、ボリューム単位での指定 •
キーストアとして、OKV、OCR をサポート • スナップショット • ACFS のポイント・イン・タイムコピー • 更新のあったファイルブロックのみキャプチャ (Copy On Write) • Oracle ACFSファイル・システムと単⼀ファイルの任意の時点の読取り/書込み可能なスパース・コピー、または読取り専⽤のスパース・コピーを⽣成可能 • テスト環境と開発環境のプロビジョニング、データベースのテスト、ファイル・システムのバックアップ、プラガブル・データベースのスナップショット・コピー、カスタマイズされたVMイメージ等に利⽤可能 • 圧縮 • Oracle Database Advanced Compression を活⽤した圧縮 • （23c から⾮推奨） Advanced Cluster File System 概要 Copyright © 2024, Oracle and/or its affiliates 7

各機能の特徴 • レプリケーション • ACFSファイルシステムのネットワーク経由のレプリケーション • タギングとの組み合わせによりレプリケーション対象を柔軟に指定可能 • タギング •
ネーミング属性を任意のファイルやファイルのグループに割り当てるタギング機能 • Oracle ACFSファイル・システム全体をレプリケートする代わりに、タグ付けされたグループだけをレプリケート可能 • プラグイン • ACFSプラグインの機能を使って、更新済みのファイル・システムとボリュームのメトリック情報を収集 • アクセラレータ・ボリューム • 特定の⾼パフォーマンス・ストレージ上にアクセラレータ・ボリュームを作成することで、パフォーマンスを向上し、関連ファイル・システムのメタデータへのアクセス時間を短縮 • NAS Maximum Availability Extensions • NFSやSMBなどのネットワーク・プロトコルを使⽤して、リモート・クライアントにOracle ACFSファイル・システムを提供可能 • Oracle ACFS NAS Max Extensionsにより、 Oracle RACクラスタ内で上記のプロトコルを⾼可⽤性モードで実⾏ Advanced Cluster File System 概要 Copyright © 2024, Oracle and/or its affiliates 8

• Oracle® Advanced Cluster File System Administrator's Guide 23ai F46807-02
May 2024 • Oracle® Advanced Cluster File System 管理者ガイド 23c F73862-01(原本部品番号:F46807-01) 2023年9⽉ • DB19c までは Automatic Storage Management Administratorʻs Guide の後半に Part III Oracle Automatic Storage Management Cluster File System として章があったが、DB 21c から、別マニュアルになり、製品名称も変更されたドキュメント Copyright © 2024, Oracle and/or its affiliates 9

Copyright © 2024, Oracle and/or its affiliates 10 ExaDB-D での
ACFS 利⽤例

ExaDB-Dの利⽤例を⾒てみる [grid@kara-vpvao1 ~]$ df -Th Filesystem Type Size Used Avail
Use% Mounted on devtmpfs devtmpfs 99G 0 99G 0% /dev tmpfs tmpfs 99G 11M 99G 1% /run tmpfs tmpfs 99G 0 99G 0% /sys/fs/cgroup /dev/mapper/VGExaDb-LVDbSys1 xfs 15G 9.1G 6.0G 61% / /dev/sda1 xfs 509M 118M 391M 24% /boot /dev/mapper/VGExaDbDisk.u01.20.img-LVDBDisk xfs 250G 9.0G 241G 4% /u01 /dev/mapper/VGExaDb-LVDbKdump xfs 20G 33M 20G 1% /crashfiles /dev/mapper/VGExaDbDisk.grid19.0.0.0.230418.img-LVDBDisk xfs 50G 12G 39G 24% /u01/app/19.0.0.0/grid /dev/mapper/VGExaDb-LVDbVar1 xfs 10G 1.9G 8.2G 19% /var /dev/mapper/VGExaDb-LVDbVarLog xfs 30G 1.2G 29G 4% /var/log /dev/mapper/VGExaDbDisk.u02_extra.img-LVDBDisk ext4 195G 118G 69G 64% /u02 /dev/mapper/VGExaDb-LVDbVarLogAudit xfs 3.0G 134M 2.9G 5% /var/log/audit /dev/mapper/VGExaDb-LVDbTmp xfs 10G 34M 10G 1% /tmp /dev/mapper/VGExaDb-LVDbHome xfs 4.0G 135M 3.9G 4% /home tmpfs tmpfs 197G 2.8G 194G 2% /dev/shm /dev/asm/acfsvol01-29 acfs 100G 52G 49G 52% /acfs01 tmpfs tmpfs 20G 0 20G 0% /run/user/1001 tmpfs tmpfs 20G 0 20G 0% /run/user/1000 tmpfs tmpfs 20G 0 20G 0% /run/user/0 tmpfs tmpfs 20G 0 20G 0% /run/user/2000 [grid@kara-vpvao1 ~]$ VMデプロイ時にで /acfs01 100GB が作成されてマウント済み OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 11

ExaDB-Dの利⽤例を⾒てみる [root@kara-vpvao1 ~]# /u01/app/19.0.0.0/grid/bin/crsctl stat res ora.DATAC1.ACFSVOL01.advm -t -------------------------------------------------------------------------------- Name
Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATAC1.ACFSVOL01.advm ONLINE ONLINE kara-vpvao1 STABLE ONLINE ONLINE kara-vpvao2 STABLE -------------------------------------------------------------------------------- [root@kara-vpvao1 ~]# [root@kara-vpvao1 ~]# /u01/app/19.0.0.0/grid/bin/crsctl stat res ora.datac1.acfsvol01.acfs -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.datac1.acfsvol01.acfs ONLINE ONLINE kara-vpvao1 mounted on /acfs01,S TABLE ONLINE ONLINE kara-vpvao2 mounted on /acfs01,S TABLE -------------------------------------------------------------------------------- 両ノードにマウントされている OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 12

ExaDB-Dの利⽤例を⾒てみる [oracle@kara-vpvao1 ~]$ srvctl status filesystem ACFS file system /acfs01
is mounted on nodes kara-vpvao1,kara-vpvao2 [oracle@kara-vpvao1 ~]$ ACFSのファイルシステムになっている [root@kara-vpvao1 ~]# acfsutil info storage Diskgroup Consumer Space Size With Mirroring Usable Free %Free Path DATAC1 4.78 1.59 1.05 65% ACFSVOL01 0.29 0.10 0.05 48% /acfs01 RECOC1 1.20 0.40 0.23 57% ---- unit of measurement: TB [root@kara-vpvao1 ~]# DATAC1ディスクグループ内にACFSVOL01の100GBのボリュームが作成されている OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 13

ExaDB-Dの利⽤例を⾒てみる [grid@kara-vpvao1 ~]$ asmcmd volinfo --all Diskgroup Name: DATAC1 Volume
Name: ACFSVOL01 Volume Device: /dev/asm/acfsvol01-29 State: ENABLED Size (MB): 102400 Resize Unit (MB): 64 Redundancy: HIGH Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs01 [grid@kara-vpvao1 ~]$ DATAC1ディスクグループ内に100GBのACFSVOL01、 /dev/asm/acfsvol01-29 のデバイス名で、/acfs01 にマウント OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 14

ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01 total 256 drwxr-xr-x 7
root root 32768 Mar 4 15:34 . drwxr-xr-x 23 root root 4096 Mar 14 12:49 .. drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 acfs drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 app_acfs drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 dbaas_acfs drwx------ 2 root root 65536 Mar 4 15:34 lost+found [root@saburo-5puyv1 ~]# ls -al /acfs01/* /acfs01/acfs: total 84 drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. /acfs01/app_acfs: total 84 drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. /acfs01/dbaas_acfs: total 128284 drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. -rwxrwxrwx 1 oracle oinstall 0 Mar 5 00:04 .serializeAgentUpgrades.lck drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 DB0313 drwxrwx--- 2 oracle oinstall 20480 Mar 14 14:52 DB0313_3k9_kix drwxr-xr-x 6 oracle oinstall 20480 Mar 5 00:11 cloud_images drwxr-xr-x 3 oracle oinstall 20480 Mar 4 15:44 dbagent drwxr-xr-x 5 oracle oinstall 20480 Mar 14 14:43 dbhomes 続き続き drwxr-xr-x 5 oracle oinstall 20480 Mar 14 14:47 dbnid drwx------ 3 oracle oinstall 20480 Mar 4 16:51 dbsec drwxr-xr-x 6 oracle oinstall 28672 Mar 18 14:13 dbsystem_details drwx------ 6 oracle oinstall 20480 Mar 7 09:02 dtrs drwxr-x--- 3 oracle oinstall 20480 Mar 14 17:41 events drwxr-xr-x 2 oracle oinstall 20480 Mar 4 16:03 exachk drwxr-xr-x 3 oracle oinstall 20480 Mar 4 15:45 gihomes drwxr-xr-x 4 oracle oinstall 20480 Mar 4 15:44 grid drwxr-xr-x 4 oracle oinstall 20480 Mar 14 14:38 images drwxrwx--- 2 oracle oinstall 20480 Mar 4 16:56 info_components -rw-r--r-- 1 oracle oinstall 0 Mar 18 14:13 lock_get_release_lock_writable drwxr-xr-x 2 oracle oinstall 24576 Mar 14 14:56 ovm_template -rwxr-xr-x 1 oracle oinstall 124216408 Mar 4 15:09 ovm_template.tar.gz drwx------ 3 opc opc 20480 Mar 4 16:51 resourceprincipal drwxrwxrwt 3 oracle oinstall 20480 Mar 14 14:43 tmp -rw-r--r-- 1 oracle oinstall 31 Mar 12 12:19 upgradewindow.json -rw-r--r-- 1 oracle oinstall 0 Mar 4 16:55 upgradeWindow.lck drwxr-xr-x 3 oracle oinstall 20480 Mar 14 18:02 upgrade_backup /acfs01/lost+found: total 96 drwx------ 2 root root 65536 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 15

ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01/dbaas_acfs/DB0313/* -rw-rw---- 1 oracle oinstall
60 Mar 14 14:53 /acfs01/dbaas_acfs/DB0313/fd3d4810-e9cf-42c5-8a73- d5abfc53f50c.rec /acfs01/dbaas_acfs/DB0313/bkup: total 296 drwx------ 2 oracle oinstall 20480 Mar 14 14:55 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rwx------ 1 oracle oinstall 193504 Mar 14 14:55 obkup /acfs01/dbaas_acfs/DB0313/db_wallet: total 116 drwxrwx--- 2 oracle oinstall 20480 Mar 14 18:28 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw------- 1 oracle oinstall 4157 Mar 14 14:48 cwallet.sso -rw------- 1 oracle oinstall 0 Mar 14 18:28 cwallet.sso.lck /acfs01/dbaas_acfs/DB0313/opc: total 156 drwxr-x--- 3 oracle oinstall 20480 Mar 14 15:11 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. drwxr-x--- 5 oracle oinstall 20480 Mar 14 15:11 db /acfs01/dbaas_acfs/DB0313/spfile_backup: total 328 drwxr-xr-x 2 oracle oinstall 20480 Mar 18 01:00 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw-r----- 1 oracle asmadmin 98304 Mar 17 01:00 spfile.20240317010000 -rw-r----- 1 oracle asmadmin 98304 Mar 18 01:00 spfile.20240318010000 /acfs01/dbaas_acfs/DB0313/tde_wallet: total 116 drwxrwx--- 2 oracle oinstall 20480 Mar 14 18:28 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw-r----- 1 oracle oinstall 325 Mar 14 15:27 cdb_ocids.json -rw------- 1 oracle oinstall 2917 Mar 14 14:54 cwallet.sso -rw------- 1 oracle oinstall 0 Mar 14 18:28 cwallet.sso.lck -rw------- 1 oracle oinstall 2840 Mar 14 14:54 ewallet.p12 -rw------- 1 oracle oinstall 0 Mar 14 18:28 ewallet.p12.lck [root@saburo-5puyv1 ~]# Oracle Database Advanced Security ガイドより • RAC環境では共有ソフトウエアキーストアが必要 • RACではACFSが共有ウォレットの推奨される場所 OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 16

ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01/dbaas_acfs/dbnid/ total 272 drwxr-xr-x 5
oracle oinstall 20480 Mar 14 14:47 . drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 .. drwx------ 2 oracle oinstall 20480 Mar 11 17:51 19.22.0.0.0 drwx------ 2 oracle oinstall 20480 Mar 14 14:47 OCT2023 lrwxrwxrwx 1 oracle oinstall 61 Mar 14 14:47 db11204_bits_EXA.zip -> /var/opt/oracle/dbaas_acfs/dbnid/OCT2023/db11204_bits_EXA.zip lrwxrwxrwx 1 oracle oinstall 65 Mar 11 17:51 db19000_bits_EXA.zip -> /var/opt/oracle/dbaas_acfs/dbnid/19.22.0.0.0/db19000_bits_EXA.zip lrwxrwxrwx 1 oracle oinstall 60 Mar 14 14:47 exadbf_11204.tar.gz -> /var/opt/oracle/dbaas_acfs/dbnid/OCT2023/exadbf_11204.tar.gz drwxrwx--- 2 oracle oinstall 20480 Mar 14 14:47 tmp [root@saburo-5puyv1 ~]# DBRUのリンク先 OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 17

ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# acfsutil info fs /acfs01/ /acfs01/ ACFS Version:
19.0.0.0.0 on-disk version: 49.0 compatible.advm: 19.0.0.0.0 ACFS compatibility: 19.0.0.0.0 flags: MountPoint,Available,KiloSnap creation time: Mon Mar 4 15:34:01 2024 mount time: Thu Mar 14 12:50:45 2024 mount sequence number: 0 number of nodes: 3 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 89533837312 ( 83.38 GB ) file entry table allocation: 201850880 primary volume: /dev/asm/acfsvol01-81 label: state: Available major, minor: 251, 41473 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 89533837312 ( 83.38 GB ) metadata read I/O count: 85276 metadata write I/O count: 98216 total metadata bytes read: 1282301952 ( 1.19 GB ) total metadata bytes written: 1952346112 ( 1.82 GB ) ADVM diskgroup: DATAC2 ADVM resize increment: 67108864 ADVM redundancy: high ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: DISABLED compression status: DISABLED [root@saburo-5puyv1 ~]# OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 18

Copyright © 2024, Oracle and/or its affiliates 19 Oracle Advanced
Cluster File System (ACFS) DB23ai 新機能

• ACFS Auto Resize Variable Threshold • ACFS Cross Version
Replication • ACFS Encryption Migration from OCR to OKV • ACFS Replication Password-less SSH Setup Tool（SSH keys management for ACFS Replication） • ACFS Replication Switchover • ACFS SSH-less Replication（SSL-Based ACFS Replication） • ACFS Snapshots RMAN Sparse Backup and Restore • ACFS Sparse Backup and Restore of Snapshots • ACFSutil plogconfig Log Files Wrapping Info • PDB Snapshot Carousel ACFS Support DB23ai ACFS新機能 Copyright © 2024, Oracle and/or its affiliates 20

Copyright © 2024, Oracle and/or its affiliates 21 ACFS Auto
Resize Variable Threshold ACFSファイルシステムのサイズの⾃動変更の可変しきい値

ACFSファイルシステムのサイズの⾃動変更の可変しきい値 • ACFSの⾃動サイズ変更（空き領域が低下するとファイルシステムを⾃動拡張）では、ファイル・システムの⾃動サイズ変更のしきい値パーセンテージを構成できるようになったファイル・システムの⾃動サイズ変更で、より柔軟なしきい値を使⽤できるようになった。以前は、しきい値は10%に固定されていた。特定のユース・ケースのニーズに合わせて⾃動サイズ変更のしきい値をカスタマイズできるようになった。 ACFS Auto Resize Variable
Threshold Copyright © 2024, Oracle and/or its affiliates 22

新しく追加されたオプション acfsutil size [-f] Table 6-77 Options for the acfsutil
size command acfsutil size [-f n[K|M|G|T] ] ⾃動サイズ変更の空き領域の割合のしきい値を指定する。設定しない場合、Oracle ACFSファイル・システムではしきい値として10%が使⽤されます。0および5-50の整数値を使⽤できます。0を指定すると、Oracle ACFSファイル・システムはデフォルトの10%を使⽤する +、- 、-aまたは-xオプションのうち少なくとも1つを指定する必要がある ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 23

-f と⼀緒に使うためのオプション acfsutil size -a 空き領域の量が増分で指定された量を下回った場合に、⾃動サイズ変更によってファイル・システムが増加する増分を指定します。負でない数値を指定する必要がある。オプションで、K (Kバイト)、M (Mバイト)、G (Gバイト)、またはT
(テラバイト)のあとに続けて、値をKバイト、Mバイト、Gバイト、またはテラバイトで指定することもできる。単位を省略した場合、デフォルトはバイトが指定される。0の値を指定すると、⾃動サイズ変更が無効になります。最⼩許容増分は1G。 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 24

ACFSの作成 BaseDB のデフォルトのACFSを確認 [grid@tm23 ~]$ df -Th Filesystem Type Size
Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 936K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 172K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 290M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 402M 4.7G 8% /opt/oracle/dcs/commonstore →BaseDB のデフォルトのACFS tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 28

ACFSの作成 BaseDB のデフォルトのACFSを確認 [grid@tm23 ~]$ /u01/app/23.0.0/grid/bin/crsctl stat res -t --------------------------------------------------------------------------------
Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- 続く ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 29

ACFSの作成 BaseDB のデフォルトのACFSを確認続き Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE
ONLINE tm23 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.LISTENER_SCAN1.lsnr 1 OFFLINE OFFLINE STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE tm23 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.cdp1.cdp 1 OFFLINE OFFLINE STABLE ora.cvu 1 ONLINE ONLINE tm23 STABLE ora.db23tm_f99_nrt.db 1 ONLINE ONLINE tm23 Open,HOME=/u01/app/o racle/product/23.0.0 .0/dbhome_1,STABLE ora.db23tm_f99_nrt.db23tm_pdb1.paas.oracle.com.svc 1 ONLINE ONLINE tm23 STABLE ora.db23tm_f99_nrt.db23tm_pdb1.pdb 1 ONLINE ONLINE tm23 READ WRITE,STABLE ora.scan1.vip 1 OFFLINE OFFLINE STABLE ora.tm23.vip ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 30

ACFSの作成 BaseDB のデフォルトのACFSを確認空き容量を確認 [grid@tm23 ~]$ asmcmd lsdg State Type
Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 242160 0 242160 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 222508 0 222508 0 N RECO/ 作成済みのADVM Volume の確認 [grid@tm23 ~]$ asmcmd ASMCMD> volinfo --all Diskgroup Name: DATA Volume Name: COMMONSTORE Volume Device: /dev/asm/commonstore-158 State: ENABLED Size (MB): 5120 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /opt/oracle/dcs/commonstore ASMCMD> ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 31

ACFSの作成 DUMPSTORE ADVM を作成 100GB の ADVM volume を DATA
ディスクグループに作成 ASMCMD> volcreate -G DATA -s 100g DUMPSTORE ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 139756 0 139756 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 222508 0 222508 0 N RECO/ ASMCMD> ASMCMD> volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 102400 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ★空欄 Mountpath: ★空欄 ASMCMD> 作成された ADVM volume のデバイス・パスの確認 [grid@tm23 ~]$ ls -al /dev/asm/* brwxrwx--- 1 oracle oinstall 250, 80897 Jun 12 12:31 /dev/asm/commonstore-158 brwxrwx--- 1 root asmadmin 250, 80898 Aug 23 16:44 /dev/asm/dumpstore-158 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 32

ACFSの作成 DUMPSTORE ADVM を作成ログ [grid@tm23 acfs02]$ less /u01/app/grid/diag/asm/+asm/+ASM1/trace/alert_+ASM1.log SQL>
/* ASMCMD cguid:a7c0f5bffe95ffe9bf2d1052b253662f cname:dbSysuiucbp3a nodename:tm23 */alter diskgroup DATA add volume 'DUMPSTORE' size 100g 2023-08-23T16:44:10.265452+09:00 SUCCESS: /* ASMCMD cguid:a7c0f5bffe95ffe9bf2d1052b253662f cname:dbSysuiucbp3a nodename:tm23 */alter diskgroup DATA add volume 'DUMPSTORE' size 100g 2023-08-23T17:00:47.632872+09:00 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 33

ACFSの作成 ADVMにmkfs、作成したファイルシステムをClusterware登録以下 root で実施 [grid@tm23 ~]$ exit logout [opc@tm23
~]$ sudo su - Last login: Wed Aug 23 17:11:54 JST 2023 Last failed login: Wed Aug 23 17:14:37 JST 2023 from 116.204.182.53 on ssh:notty There were 5 failed login attempts since the last successful login. [root@tm23 ~]# ACFS ファイルシステム作成 [root@tm23 ~]# mkfs -t acfs /dev/asm/dumpstore-158 mkfs.acfs: version = 23.0.0.0.0 mkfs.acfs: on-disk version = 53.0 mkfs.acfs: volume = /dev/asm/dumpstore-158 mkfs.acfs: volume size = 107374182400 ( 100.00 GB ) mkfs.acfs: file system size = 107374182400 ( 100.00 GB ) mkfs.acfs: Format complete. [root@tm23 ~]# マウントポイント作成 [root@tm23 ~]# mkdir -p /acfs02 srvctl add filesystem でファイルシステムを Clusterware に登録 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl add filesystem -d /dev/asm/dumpstore-158 -g DATA -v DUMPSTORE -m /acfs02 -u grid [root@tm23 ~]# ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 34

ACFSの作成 ADVMにmkfs、作成したファイルシステムをClusterware登録結果確認 Local Resource に登録されたがまだ OFFLLINE [root@tm23 ~]# /u01/app/23.0.0/grid/bin/crsctl
stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.DATA.DUMPSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.data.dumpstore.acfs OFFLINE OFFLINE tm23 STABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 35

ACFSの作成ファイルシステムリソースを起動（マウント）ファイルシステムリソースを起動（マウント） [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl start filesystem -d /dev/asm/dumpstore-158
[root@tm23 ~]# マウントされたことが確認できる [root@tm23 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 291M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 402M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 /dev/asm/dumpstore-158 acfs 100G 578M 100G 1% /acfs02 [root@tm23 ~]# ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 36

起動されたファイルシステムリソースを確認 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/crsctl stat res -t -------------------------------------------------------------------------------- Name Target
State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.DATA.DUMPSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.data.dumpstore.acfs ONLINE ONLINE tm23 mounted on /acfs02,S TABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 37

起動されたファイルシステムリソースを確認ステータス確認 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl status filesystem ACFS file system
/opt/oracle/dcs/commonstore is mounted on nodes tm23 ACFS file system /acfs02 is mounted on nodes tm23 [root@tm23 ~]# [grid@tm23 ~]$ acfsutil info storage Diskgroup Consumer Space Size With Mirroring Usable Free %Free Path DATA 256.00 256.00 136.48 53% DUMPSTORE 100.00 100.00 99.44 99% /acfs02 COMMONSTORE 5.00 5.00 4.61 92% /opt/oracle/dcs/commonstore RECO 256.00 256.00 217.28 84% ---- unit of measurement: GB [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 38

ファイルシステムの確認確認 [grid@tm23 ~]$ acfsutil info fs /acfs02 /acfs02 ACFS
Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 106769051648 ( 99.44 GB ) ( 99.44% free ) file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続く続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 106769051648 ( 99.44 GB ) ( 99.44% free ) metadata read I/O count: 1151 metadata write I/O count: 39 total metadata bytes read: 8122368 ( 7.75 MB ) total metadata bytes written: 634880 ( 620.00 KB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 39

acfsutil size -a （⾃動拡張） 10GB の⾃動拡張を設定 [grid@tm23 ~]$ acfsutil size
-a 10g /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 ~]$ [grid@tm23 ~]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 106769051648 ( 99.44 GB ) ( 99.44% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続く続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 106769051648 ( 99.44 GB ) ( 99.44% free ) metadata read I/O count: 1158 metadata write I/O count: 45 total metadata bytes read: 8155136 ( 7.78 MB ) total metadata bytes written: 663552 ( 648.00 KB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 40

acfsutil size -a （⾃動拡張） acfsutil size -a 実施前 flags: MountPoint,Available,KiloSnap,GBMChksum
acfsutil size -a 実施後 AutoResizeEnabled flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 41

⾃動拡張の確認 10GB のファイル作成⾃動拡張されない（しきい値に達していないため） [grid@tm23 acfs02]$ dd if=/dev/zero of=10gfile bs=1G
count=10 10+0 records in 10+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 62.2425 s, 173 MB/s [grid@tm23 acfs02]$ df -hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 628K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 291M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 37M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 100G 11G 90G 11% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 42

⾃動拡張の確認さらに81GB作成して91GB利⽤、100GBのファイルシステムのデフォルトのしきい値10%以下に達したため、設定された10GBの⾃動拡張が実施、ファイルシステムは110GBに拡張 [grid@tm23 acfs02]$ dd if=/dev/zero of=81gfile bs=1G count=81 81+0
records in 81+0 records out 86973087744 bytes (87 GB, 81 GiB) copied, 545.98 s, 159 MB/s [grid@tm23 acfs02]$ df -hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 37M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 110G 92G 19G 84% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 43

⾃動拡張後の確認⾃動拡張された後の確認 [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS
Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 19826302976 ( 18.46 GB ) ( 16.79% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 19826302976 ( 18.46 GB ) ( 16.79% free ) metadata read I/O count: 2287 metadata write I/O count: 164 total metadata bytes read: 15998976 ( 15.26 MB ) total metadata bytes written: 7675904 ( 7.32 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 44

⾃動拡張後の確認 [grid@tm23 acfs02]$ acfsutil info storage Diskgroup Consumer Space Size
With Mirroring Usable Free %Free Path DATA 256.00 256.00 126.37 49% DUMPSTORE 110.00 110.00 18.46 16% /acfs02 COMMONSTORE 5.00 5.00 4.62 92% /opt/oracle/dcs/commonstore RECO 256.00 256.00 216.44 84% ---- unit of measurement: GB [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ asmcmd volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 112640 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs02 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 45

⾃動拡張しきい値の変更 -f のみ設定 -a 設定済み環境で、-f 単独での設定をした場合 [grid@tm23 acfs02]$ acfsutil
size -f 20 /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 19826302976 ( 18.46 GB ) ( 16.79% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 20 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 19826302976 ( 18.46 GB ) ( 16.79% free ) metadata read I/O count: 2300 metadata write I/O count: 170 total metadata bytes read: 16056320 ( 15.31 MB ) total metadata bytes written: 7704576 ( 7.35 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 46

⾃動拡張しきい値の変更 -f のみ設定しきい値を 20% にしたが、84%の利⽤率でも⾃動拡張されない [grid@tm23 acfs02]$ df
-hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 180K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 38M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 110G 92G 19G 84% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 47

⾃動拡張しきい値の変更成功パターン -fと同時に-aを設定 +、- 、-aまたは-xオプションのうち少なくとも1つを指定する必要があります。 -f と同時に -a を指定
実施前 [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 17670426624 ( 16.46 GB ) ( 14.96% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 20 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 17670426624 ( 16.46 GB ) ( 14.96% free ) metadata read I/O count: 2327 metadata write I/O count: 190 total metadata bytes read: 16281600 ( 15.53 MB ) total metadata bytes written: 7974912 ( 7.61 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 48

⾃動拡張しきい値の変更成功パターン -fと同時に-aを設定 -f と同時に -a を指定 [grid@tm23 acfs02]$
acfsutil size -a 20G -f 25 /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 139586437120 ( 130.00 GB ) total free: 39102660608 ( 36.42 GB ) ( 28.01% free ) auto-resize increment: 21474836480 ( 20.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 25 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 139586437120 ( 130.00 GB ) free: 39102660608 ( 36.42 GB ) ( 28.01% free ) metadata read I/O count: 4546 metadata write I/O count: 230 total metadata bytes read: 25432064 ( 24.25 MB ) total metadata bytes written: 8818688 ( 8.41 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 49

⾃動拡張しきい値の変更成功パターン -fと同時に-aを設定 [grid@tm23 ~]$ df -hT Filesystem Type
Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 180K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 130G 94G 37G 72% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 50

⾃動拡張しきい値の変更成功パターン -fと同時に-aを設定 [grid@tm23 ~]$ asmcmd lsdg State Type
Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 108924 0 108924 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 221632 0 221632 0 N RECO/ [grid@tm23 ~]$ [grid@tm23 ~]$ asmcmd volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 133120 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs02 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 51

Copyright © 2024, Oracle and/or its affiliates 52 ACFS Cross
Version Replication 異なるバージョン間のACFSレプリケーション

異なるバージョン間のACFSレプリケーション • ACFSレプリケーションではプライマリからスタンバイへのレプリケーションを古いバージョンに対しても⾏えるようになりました。 • この機能により柔軟なレプリケーション構成をとることができ、アップグレードやライフサイクルメンテナンスに⼗分な時間を確保できるようになります。 ACFS Cross Version Replication
Copyright © 2024, Oracle and/or its affiliates 53

23aiと19c間でACFS Replicationを構成 ACFS Replication構成の流れ 1. プライマリとスタンバイのノード間で相互にレプリケーションユーザのSSH等価性設定 2. スタンバイサイトで acfsutil repl
init standby 実⾏ 3. プライマリサイトで acfsutil repl init primary 実⾏ ※転送⽅式にSSHを選択する場合は同⼀バージョン間でも同様の⼿順で構成可能 ACFS Cross Version Replication Copyright © 2024, Oracle and/or its affiliates 54

ACFS暗号化での暗号鍵をOCRからOKVへの移⾏ ACFS暗号化で、暗号鍵をOCRからOKVに移⾏できるようになったこの機能により、Oracle Key Vaultを使⽤したキー管理の集中管理ポイントが可能になった 21cまで • OCR、OKV それぞれに暗号鍵を保管できたが、OCRからOKVへの移⾏は出来なかった ACFS
Encryption Migration from OCR to OKV Copyright © 2024, Oracle and/or its affiliates 64

新しいオプション acfsutil keystore migrate -o <acfs_mountpoint> # acfsutil keystore migrate
-o <acfs_mountpoint> 指定したACFSマウントポイントのACFS暗号化キーを、Oracle Cluster Registry (OCR)からOracle Key Vault (OKV)に移⾏ -o <acfs_mountpoint> オプションが指定されている場合、このコマンドを使⽤して、ACFSファイルシステム暗号化鍵をOCRから OKVに移⾏可能。このコマンドが実⾏されると、OCRに格納されているすべての暗号化キーがOKVに移⾏され、OCRにこれらのキーは含まれなくなる。ほかのマウントポイントが存在する場合、その暗号化鍵は変更されない。コマンドが失敗した場合、コマンドを実⾏する前の暗号化設定は保持される。問題の解決後にこのコマンドを再実⾏すると、移⾏が完了する可能性がある。ノート: • キーストアをOCRからOKVに移⾏したあとは、操作を元に戻す⽅法はない。 • このコマンドは、互換性が23.0.0.0.0以上に設定されているファイル・システム、およびACFSソフトウェア・バージョンが23.0.0.0.0 以上に設定されているファイル・システムで使⽤可能 ACFS Encryption Migration from OCR to OKV Copyright © 2024, Oracle and/or its affiliates 70

ACFSレプリケーション⽤のSSH鍵管理ツール • ACFSレプリケーション⽤のSSH鍵管理のために新しいツールが提供されます。 • acfsreplssh コマンドを使⽤すると、ACFS レプリケーションのトランスポートで利⽤するSSH等価性設定の鍵構成・検証・削除を簡単に⾏うことができます。 ACFS Replication
Password-less SSH Setup Tool （SSH keys management for ACFS Replication） Copyright © 2024, Oracle and/or its affiliates 90

コマンドの例 [grid@ acfs23c-01 ~]$ acfsutil version acfsutil version: 23.0.0.0.0 23cから増えたコマンド
[grid@acfs23c-01 ~]$ which acfsreplssh /u01/app/23.0.0/grid/bin/acfsreplssh [grid@acfs23c-01 ~]$ [grid@acfs23c-01 ~]$ acfsreplssh -h Usage: acfsreplssh { configure | verify | remove } [-v] - Runs in verbose mode: Shows details of the command's execution. [-m] - Runs in mockup mode: Shows what operations the command would perform if run normally, but does not execute any of the operations. May be used with -v to see more details of what would happen. [-p remote_password] [-V remote_vip] [-o sshStrictKey=ynvalue] { -c remote_cluster | remote_host1 [remote_hostn...] } [grid@acfs23c-01 ~]$ ACFS Replication Password-less SSH Setup Tool （SSH keys management for ACFS Replication） Copyright © 2024, Oracle and/or its affiliates 92

SSH等価性設定の鍵構成 [repluser@acfs23c-01 ~]$ /u01/app/23.0.0/grid/bin/acfsreplssh configure -c acfs23c-02 Enter password for
repluser: Remote cluster members: acfs23c-02 Backing up /home/repluser/.ssh to /home/repluser/.ssh.acfsreplssh.backup Ensuring /home/repluser has 755 permissions Creating public and private keys for repluser Checking current state of ssh to repluser@acfs23c-02 Verifying supplied user name and password to acfs23c-02. repluser home directory is /home/repluser on acfs23c-02 Set 755 permissions on /home/repluser on acfs23c-02 Configuring passwordless ssh to repluser@acfs23c-02 Create /home/repluser/.ssh on acfs23c-02 Adding repluser public keys to repluser@acfs23c-02 authorized_keys Verifying passwordless ssh configured to repluser@acfs23c-02. Passwordless ssh successfully configured to repluser@acfs23c-02. [repluser@acfs23c-01 ~]$ ACFS Replication Password-less SSH Setup Tool （SSH keys management for ACFS Replication） Copyright © 2024, Oracle and/or its affiliates 93

ACFSレプリケーションのスイッチオーバー • 新しいコマンド acfsutil repl switchover により調整されたフェイルオーバーを⾏えるようになりました。 • ACFSレプリケーションのスタンバイサイトがプライマリ・サイトに接続できない場合、このコマンドは失敗します。 •
ACFSレプリケーション管理の柔軟性の強化のために、この新しいコマンドが追加されました。 • 19.14より19cにもバックポートして実装済みです。 ACFS Replication Switchover Copyright © 2024, Oracle and/or its affiliates 98

新しいオプション acfsutil repl switchover [-T timeout] [snap_shot@]mount_point 23cから追加されたオプションの確認 [grid@acfs23c-01 ~]$
acfsutil repl switchover -h Usage: acfsutil [-h] repl switchover [-T <minutes>] <snapshot>@]<mountpoint> [<snapshot>@]<mountpoint> - mount point or snapshot of standby [-T <minutes>] - wait <minutes> for primary to become available [grid@acfs23c-01 ~]$ ACFS Replication Switchover Copyright © 2024, Oracle and/or its affiliates 99

• ACFSレプリケーションのプライマリサイトとスタンバイサイトの間のトランスポートに、これまでのSecure Shell(SSH)に加えて、Secure Socket Layer(SSL)を選択できるように (OL8/x86プラットフォームのみ) • SSLベースのレプリケーションにより、新しい認証と安全なトランスポートメカニズムが提供 •
ホスト鍵とユーザ鍵の配布が不要となり構成が簡素化 ACFS SSH-less Replication （SSL-Based ACFS Replication） Copyright © 2024, Oracle and/or its affiliates 111

新しいオプション 23cから追加されたオプションの確認 [root@acfs23c-01 ~]# /sbin/acfsutil repl init -h Usage: acfsutil
[-h] repl init {primary | standby} - which site -u <user> - standby only, replication user [-p <primary_conn_string>]- primary only, primary connect string -s <standby_conn_string> - primary only, standby connect string {-C|-M|-i <interval>} - primary only, constant-mode, manual-mode replication or replication interval [-m [<snapshot>@]<mountpoint>] - primary only, standby mount point or snapshot [-T {ssl|ssh}] - transport method [-d {0..6}] - set trace level for debugging [-z {on|off}] - primary only, data transfercompression [<tagname> ...] - primary only, tags to be replicated [-o sshCmdPath=<ssh command path>] - primary only, path to ssh command [-o sshCipher=<cipher>] - primary only, ssh cipher [-o sshStrictKey={y|n}] - primary only, require ssh host key checking [-o sshOptions="<options">] - primary only, additional ssh options [-o {sslPermitCredentialSync | sslProhibitCredentialSync}] - SSL only, permit or prohibit credential syncing [-o sslCryptMethod={none|chacha20-poly1305|aesctr256}] - SSL only, ssl cipher [-o sslMacMethod={none|sha256}] - SSL only, message authentication code [-o svcPort=<port>] - SSL only, port on which the replication service will accept requests [<snapshot>@]<mountpoint> - mount point or snapshot for replication [root@acfs23c-01 ~]# ACFS SSH-less Replication （SSL-Based ACFS Replication） Copyright © 2024, Oracle and/or its affiliates 112

ACFS スナップショットでの RMAN スパース・バックアップおよびリストア ACFS 上に作成された PDBで、ACFS スナップショットを利⽤した SNAPSHOT COPY
PDB を作成することが出来るようになり、SNAPSHOT COPY PDB に対して、RMAN でのスパースバックアップ / スパースリストアができるようになった以下⼆つの新機能の組み合わせ 1. SNAPSHOT COPY PDB が ACFS スナップショット、ACFS fshare に対応 2. RMAN の Sparse Backup / Sparse RestoreがACFSスナップショット、ACFS fshare に対応 ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 120

ACFS スナップショットでの RMAN スパース・バックアップおよびリストア SNAPSHOT COPY PDB とは︖ • https://docs.oracle.com/cd/F82042_01/multi/cloning-a-pdb.html#GUID-
3E29F21E-FB48-408A-BE2F-3DE1F3AF6F62 • PDBクローン作成時に、「記憶域管理スナップショット（storage-managed snapshot）」を利⽤して SNAPSHOT COPY PDB を作成 • CREATE PLUGGABLE DATABASE ... FROM srcpdb ... SNAPSHOT COPY • 従来 Exadata Snapshotで利⽤可能 • （PDBスナップショット（CREATE PLUGGABLE DATABASE USING SNAPSHOT / ALTER PLUGGABLE DATABASE SNAPSHOT）とは異なる） ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 121 PDB1 PDB1 PDB1C PDB1 PDB1C PDB1CS1 (SNAPSHOT COPY PDB) PDBクローン ACFS スナップショットを利⽤して SNASHOT COPY PDB作成テスト・マスター(親)化 (Read only) テスト/開発⽤ (⼦) PDB (Read Write 可能) CDB CDB CDB CREATE PLUGGABLE DATABASE PDB1c FROM PDB1 CREATE PLUGGABLE DATABASE PDB1CS1 FROM PDB1C SNAPSHOT COPY

ACFS スナップショットでの RMAN スパース・バックアップおよびリストア RMAN Sparse Backup とは︖ • Oracle®
Database バックアップおよびリカバリ・ユーザーズ・ガイド 23c F73878-02(原本部品番号:F47003-02) 2023年10⽉ • RMANのBACKUPコマンドを使⽤して、スパース・データファイルのデータ・ブロック、スパース・データファイルが格納された表領域、スパース・プラガブル・データベース(PDB)、およびSparse PDBが格納されたマルチテナント・コンテナ・データベース(CDB)をバックアップ可能 • スパース・データファイルは、基本データファイル・オブジェクトのシャドウとして作成される論理Oracleオブジェクトで、デルタ領域として知られる物理記憶領域に格納される。 • 例︓ベース・データベースDBから作成された、スパース・データベースDB0について • スパース環境では、必ず、ベース・オブジェクトを読取り専⽤にする必要がある。 • ベース・データベースとは異なり、スパース・データベースは読取り/書込みが可能なデータベース。 • この例のDBは、読取り専⽤のデータベースで、5つのデータファイルで構成される。DB0は、これら5つの基本データファイルぞれぞれの論理バージョンを再作成し、各ファイル対して個別のデルタ記憶領域を割り当てる。 • スパース・データベースDB0がスパース・データファイルのいずれかのデータ・ブロックを更新すると、更新されたブロックだけが、変更されたデータファイルのデルタ領域に論理的に格納される。 • DB0でスパース・バックアップの実⾏を選択した場合、この操作では、データベースのデルタ記憶領域とスパース・データファイルのデルタ領域のデータのみがコピーされる。 • スパース・バックアップは、バックアップ・セット形式(デフォルト)またはイメージ・コピー形式のいずれかが可能。 • RMANは、スパース・バックアップのスパース・データファイルをリストアし、次にそれらをアーカイブ・ログおよびREDOログからリカバリする。スパース・データファイルでは完全リカバリまたはPoint-in-Timeリカバリを実⾏する。 ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 123

バックアップ・セットまたはイメージ・コピーとしてL0 Sparse・バックアップを作成するオプションデバイスごとのSparse・バックアップ・オプションの選択完全ではなくSparseとしてSparse・データベースをリストア通常のRMANコマンドオプションのサポート • TSPITR、DUPLICATE、DELETE、LIST、SHOW、CATALOGなど • Sparse Backup
Database, Tablespace, Datafiles, CDB, PDB • 完全データベースではなくSparse・データベースとして複製 COMPATIBLEパラメータを12.2以上に設定 Sparse・バックアップの使⽤には18c以降を推奨 https://www.oracle.com/jp/a/tech/docs/exadata-sparse-disk-snapshots-ja.pdf Sparse・データベースの効率的なバックアップとリカバリ Copyright © 2021, Oracle and/or its affiliates 124 バッキング・ファイル（読取り専⽤） Sparse・データベース/デルタ・ストレージ Sparse・バックアップ Sparse・リストア Sparse・バックアップ DUPLICATE DATABASE DB1 AS DB2 FROM SPARSE … RESTORE ..FROM {SPARSE|NONSPARSE} .. CONFIGURE DEVICE TYPE {SBT|DISK}..SPARSE ON|OFF; BACKUP AS SPARSE {BACKUPSET | COPY} …

• Oracle ACFS 23ai で⾮推奨となった機能 • acfsutil compress • acfsutil
snap remaster • Oracle ACFS 23ai でサポート対象外になった機能 • acfsutil repl reverse コマンドは、Oracle Database 23ai でサポートが終了 • acfsutil repl failover または acfsutil repl switchover を使⽤ ACFS 23ai ⾮推奨の機能 Copyright © 2024, Oracle and/or its affiliates 196

Oracle Database Technology Night #79 - Oracle D...

Oracle Database Technology Night #79 - Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS)

Video

More Decks by oracle4engineer

Other Decks in Technology

Featured

Transcript