Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Oracle Database Technology Night #79 - Oracle D...

Oracle Database Technology Night #79 - Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS)

2024年5月30日に実施した Oracle Database Technology Night #79 - Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS) でお話しした資料です。

oracle4engineer

May 30, 2024
Tweet

Video

More Decks by oracle4engineer

Other Decks in Technology

Transcript

  1. Oracle Database 23ai 新機能 Oracle Advanced Cluster File System (ACFS)

    Oracle Database Technology Night #79 Takeshi Maruyama / Hirotaka Yamamoto 2024/5/30
  2. • ACFS概要 • ExaDB-D での ACFS利⽤例 • DB23ai ACFS新機能 •

    ACFS Auto Resize Variable Threshold • ACFS Cross Version Replication • ACFS Encryption Migration from OCR to OKV • ACFS Replication Password-less SSH Setup Tool(SSH keys management for ACFS Replication) • ACFS Replication Switchover • ACFS SSH-less Replication(SSL-Based ACFS Replication) • ACFS Snapshots RMAN Sparse Backup and Restore • ACFS Sparse Backup and Restore of Snapshots • ACFSutil plogconfig Log Files Wrapping Info • PDB Snapshot Carousel ACFS Support • DB23ai ACFS ⾮推奨の機能 アジェンダ Copyright © 2024, Oracle and/or its affiliates 2
  3. 基盤となるエクステントベース のアーキテクチャによる⾼速 ファイル・アクセス。 スループット、レスポンスタイム は、ASMの優れたパフォーマン ス数値と同等 業界標準のPOSIX準拠、 Windows準拠のクラスタ・ ファイル・システム コマンドライン・インタフェース

    およびグラフィカル・ツールによる 簡単な管理 Oracle Clusterwareとの 統合により、⾃動起動、⾃動 マウントが可能 ACFSアーキテクチャにより、 停⽌からの迅速なリカバリが可 能 Oracle Clusterwareとの 統合により、ACFSはすべての クラスタ・メンバーシップと⾼可 ⽤性サービスを活⽤可能 Oracle ACFS - オラクル社の完全なストレージ・ソリューション 5 可⽤性 管理性 Enterprise Edition (EE) 性能 Copyright © 2024, Oracle and/or its affiliates
  4. 暗号化 スナップショット ⾃動 サイズ変更 レプリケーション ハング・ マネージャ タギング 圧縮 プラグイン

    HA-NFS & HA-SMB Oracle ACFS Oracle ADVM Oracle ASM Oracle Clusterware ASM Disk Group DB DatafilesのACFS上配置 汎⽤ファイルのACFS上配置 Database RAC Application, Middleware & General Files Application や Middleware のファイルを ACFS上に配置 Oracle ACFS – アーキテクチャ概要 6 Copyright © 2024, Oracle and/or its affiliates
  5. 各機能の特徴 • 暗号化 • アプリケーションから透過的に ACFS 領域のデータ暗号化が可能 • ファイル単位、ボリューム単位での指定 •

    キーストアとして、OKV、OCR をサポート • スナップショット • ACFS のポイント・イン・タイムコピー • 更新のあったファイルブロックのみキャプチャ (Copy On Write) • Oracle ACFSファイル・システムと単⼀ファイルの任意の時点の読取り/書込み可能なスパース・コピー、 または読取り専⽤のス パース・コピーを⽣成可能 • テスト環境と開発環境のプロビジョニング、データベースの テスト、ファイル・システムのバックアップ、プラガブル・データベースのスナッ プショット・コピー、カスタマイズされたVMイメージ等に利⽤可能 • 圧縮 • Oracle Database Advanced Compression を活⽤した圧縮 • (23c から⾮推奨) Advanced Cluster File System 概要 Copyright © 2024, Oracle and/or its affiliates 7
  6. 各機能の特徴 • レプリケーション • ACFSファイルシステムのネットワーク経由のレプリケーション • タギングとの組み合わせによりレプリケーション対象を柔軟に指定可能 • タギング •

    ネーミング属性を任意のファイルやファイルのグループに割り当てるタギング機能 • Oracle ACFSファイル・システム全体をレプリケートする代わりに、タグ付けされた グループだけをレプリケート可能 • プラグイン • ACFSプラグインの機能を使って、更新済みのファイル・システムとボリュームのメトリック情報を収集 • アクセラレータ・ボリューム • 特定の⾼パフォーマンス・ストレージ上にアクセラレータ・ボリュームを作成することで、パフォーマンスを 向上し、関連ファイル・シス テムのメタデータへのアクセス時間を短縮 • NAS Maximum Availability Extensions • NFSやSMBなどのネットワーク・プロトコルを使⽤して、 リモート・クライアントにOracle ACFSファイル・システムを提供可能 • Oracle ACFS NAS Max Extensionsにより、 Oracle RACクラスタ内で上記のプロトコルを⾼可⽤性モードで実⾏ Advanced Cluster File System 概要 Copyright © 2024, Oracle and/or its affiliates 8
  7. • Oracle® Advanced Cluster File System Administrator's Guide 23ai F46807-02

    May 2024 • Oracle® Advanced Cluster File System 管理者ガイド 23c F73862-01(原本部品番号:F46807-01) 2023年9⽉ • DB19c までは Automatic Storage Management Administratorʻs Guide の後半に Part III Oracle Automatic Storage Management Cluster File System として章があったが、DB 21c から、別マニュアルになり、製品名称も変更された ドキュメント Copyright © 2024, Oracle and/or its affiliates 9
  8. ExaDB-Dの利⽤例を⾒てみる [grid@kara-vpvao1 ~]$ df -Th Filesystem Type Size Used Avail

    Use% Mounted on devtmpfs devtmpfs 99G 0 99G 0% /dev tmpfs tmpfs 99G 11M 99G 1% /run tmpfs tmpfs 99G 0 99G 0% /sys/fs/cgroup /dev/mapper/VGExaDb-LVDbSys1 xfs 15G 9.1G 6.0G 61% / /dev/sda1 xfs 509M 118M 391M 24% /boot /dev/mapper/VGExaDbDisk.u01.20.img-LVDBDisk xfs 250G 9.0G 241G 4% /u01 /dev/mapper/VGExaDb-LVDbKdump xfs 20G 33M 20G 1% /crashfiles /dev/mapper/VGExaDbDisk.grid19.0.0.0.230418.img-LVDBDisk xfs 50G 12G 39G 24% /u01/app/19.0.0.0/grid /dev/mapper/VGExaDb-LVDbVar1 xfs 10G 1.9G 8.2G 19% /var /dev/mapper/VGExaDb-LVDbVarLog xfs 30G 1.2G 29G 4% /var/log /dev/mapper/VGExaDbDisk.u02_extra.img-LVDBDisk ext4 195G 118G 69G 64% /u02 /dev/mapper/VGExaDb-LVDbVarLogAudit xfs 3.0G 134M 2.9G 5% /var/log/audit /dev/mapper/VGExaDb-LVDbTmp xfs 10G 34M 10G 1% /tmp /dev/mapper/VGExaDb-LVDbHome xfs 4.0G 135M 3.9G 4% /home tmpfs tmpfs 197G 2.8G 194G 2% /dev/shm /dev/asm/acfsvol01-29 acfs 100G 52G 49G 52% /acfs01 tmpfs tmpfs 20G 0 20G 0% /run/user/1001 tmpfs tmpfs 20G 0 20G 0% /run/user/1000 tmpfs tmpfs 20G 0 20G 0% /run/user/0 tmpfs tmpfs 20G 0 20G 0% /run/user/2000 [grid@kara-vpvao1 ~]$ VMデプロイ時にで /acfs01 100GB が作成されてマウント済み OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 11
  9. ExaDB-Dの利⽤例を⾒てみる [root@kara-vpvao1 ~]# /u01/app/19.0.0.0/grid/bin/crsctl stat res ora.DATAC1.ACFSVOL01.advm -t -------------------------------------------------------------------------------- Name

    Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATAC1.ACFSVOL01.advm ONLINE ONLINE kara-vpvao1 STABLE ONLINE ONLINE kara-vpvao2 STABLE -------------------------------------------------------------------------------- [root@kara-vpvao1 ~]# [root@kara-vpvao1 ~]# /u01/app/19.0.0.0/grid/bin/crsctl stat res ora.datac1.acfsvol01.acfs -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.datac1.acfsvol01.acfs ONLINE ONLINE kara-vpvao1 mounted on /acfs01,S TABLE ONLINE ONLINE kara-vpvao2 mounted on /acfs01,S TABLE -------------------------------------------------------------------------------- 両ノードにマウントされている OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 12
  10. ExaDB-Dの利⽤例を⾒てみる [oracle@kara-vpvao1 ~]$ srvctl status filesystem ACFS file system /acfs01

    is mounted on nodes kara-vpvao1,kara-vpvao2 [oracle@kara-vpvao1 ~]$ ACFSのファイルシステムになっている [root@kara-vpvao1 ~]# acfsutil info storage Diskgroup Consumer Space Size With Mirroring Usable Free %Free Path DATAC1 4.78 1.59 1.05 65% ACFSVOL01 0.29 0.10 0.05 48% /acfs01 RECOC1 1.20 0.40 0.23 57% ---- unit of measurement: TB [root@kara-vpvao1 ~]# DATAC1ディスクグループ内にACFSVOL01の100GBのボリュームが作成されている OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 13
  11. ExaDB-Dの利⽤例を⾒てみる [grid@kara-vpvao1 ~]$ asmcmd volinfo --all Diskgroup Name: DATAC1 Volume

    Name: ACFSVOL01 Volume Device: /dev/asm/acfsvol01-29 State: ENABLED Size (MB): 102400 Resize Unit (MB): 64 Redundancy: HIGH Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs01 [grid@kara-vpvao1 ~]$ DATAC1ディスクグループ内に100GBのACFSVOL01、 /dev/asm/acfsvol01-29 のデバイス名で、/acfs01 にマウント OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 14
  12. ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01 total 256 drwxr-xr-x 7

    root root 32768 Mar 4 15:34 . drwxr-xr-x 23 root root 4096 Mar 14 12:49 .. drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 acfs drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 app_acfs drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 dbaas_acfs drwx------ 2 root root 65536 Mar 4 15:34 lost+found [root@saburo-5puyv1 ~]# ls -al /acfs01/* /acfs01/acfs: total 84 drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. /acfs01/app_acfs: total 84 drwxr-xr-x 2 oracle oinstall 20480 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. /acfs01/dbaas_acfs: total 128284 drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. -rwxrwxrwx 1 oracle oinstall 0 Mar 5 00:04 .serializeAgentUpgrades.lck drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 DB0313 drwxrwx--- 2 oracle oinstall 20480 Mar 14 14:52 DB0313_3k9_kix drwxr-xr-x 6 oracle oinstall 20480 Mar 5 00:11 cloud_images drwxr-xr-x 3 oracle oinstall 20480 Mar 4 15:44 dbagent drwxr-xr-x 5 oracle oinstall 20480 Mar 14 14:43 dbhomes 続き 続き drwxr-xr-x 5 oracle oinstall 20480 Mar 14 14:47 dbnid drwx------ 3 oracle oinstall 20480 Mar 4 16:51 dbsec drwxr-xr-x 6 oracle oinstall 28672 Mar 18 14:13 dbsystem_details drwx------ 6 oracle oinstall 20480 Mar 7 09:02 dtrs drwxr-x--- 3 oracle oinstall 20480 Mar 14 17:41 events drwxr-xr-x 2 oracle oinstall 20480 Mar 4 16:03 exachk drwxr-xr-x 3 oracle oinstall 20480 Mar 4 15:45 gihomes drwxr-xr-x 4 oracle oinstall 20480 Mar 4 15:44 grid drwxr-xr-x 4 oracle oinstall 20480 Mar 14 14:38 images drwxrwx--- 2 oracle oinstall 20480 Mar 4 16:56 info_components -rw-r--r-- 1 oracle oinstall 0 Mar 18 14:13 lock_get_release_lock_writable drwxr-xr-x 2 oracle oinstall 24576 Mar 14 14:56 ovm_template -rwxr-xr-x 1 oracle oinstall 124216408 Mar 4 15:09 ovm_template.tar.gz drwx------ 3 opc opc 20480 Mar 4 16:51 resourceprincipal drwxrwxrwt 3 oracle oinstall 20480 Mar 14 14:43 tmp -rw-r--r-- 1 oracle oinstall 31 Mar 12 12:19 upgrade- window.json -rw-r--r-- 1 oracle oinstall 0 Mar 4 16:55 upgradeWindow.lck drwxr-xr-x 3 oracle oinstall 20480 Mar 14 18:02 upgrade_backup /acfs01/lost+found: total 96 drwx------ 2 root root 65536 Mar 4 15:34 . drwxr-xr-x 7 root root 32768 Mar 4 15:34 .. OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 15
  13. ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01/dbaas_acfs/DB0313/* -rw-rw---- 1 oracle oinstall

    60 Mar 14 14:53 /acfs01/dbaas_acfs/DB0313/fd3d4810-e9cf-42c5-8a73- d5abfc53f50c.rec /acfs01/dbaas_acfs/DB0313/bkup: total 296 drwx------ 2 oracle oinstall 20480 Mar 14 14:55 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rwx------ 1 oracle oinstall 193504 Mar 14 14:55 obkup /acfs01/dbaas_acfs/DB0313/db_wallet: total 116 drwxrwx--- 2 oracle oinstall 20480 Mar 14 18:28 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw------- 1 oracle oinstall 4157 Mar 14 14:48 cwallet.sso -rw------- 1 oracle oinstall 0 Mar 14 18:28 cwallet.sso.lck /acfs01/dbaas_acfs/DB0313/opc: total 156 drwxr-x--- 3 oracle oinstall 20480 Mar 14 15:11 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. drwxr-x--- 5 oracle oinstall 20480 Mar 14 15:11 db /acfs01/dbaas_acfs/DB0313/spfile_backup: total 328 drwxr-xr-x 2 oracle oinstall 20480 Mar 18 01:00 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw-r----- 1 oracle asmadmin 98304 Mar 17 01:00 spfile.20240317010000 -rw-r----- 1 oracle asmadmin 98304 Mar 18 01:00 spfile.20240318010000 /acfs01/dbaas_acfs/DB0313/tde_wallet: total 116 drwxrwx--- 2 oracle oinstall 20480 Mar 14 18:28 . drwxrwx--- 7 oracle oinstall 20480 Mar 15 01:00 .. -rw-r----- 1 oracle oinstall 325 Mar 14 15:27 cdb_ocids.json -rw------- 1 oracle oinstall 2917 Mar 14 14:54 cwallet.sso -rw------- 1 oracle oinstall 0 Mar 14 18:28 cwallet.sso.lck -rw------- 1 oracle oinstall 2840 Mar 14 14:54 ewallet.p12 -rw------- 1 oracle oinstall 0 Mar 14 18:28 ewallet.p12.lck [root@saburo-5puyv1 ~]# Oracle Database Advanced Security ガイド より • RAC環境では共有ソフトウエアキーストアが必要 • RACではACFSが共有ウォレットの推奨される場所 OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 16
  14. ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# ls -al /acfs01/dbaas_acfs/dbnid/ total 272 drwxr-xr-x 5

    oracle oinstall 20480 Mar 14 14:47 . drwxr-xr-x 21 oracle oinstall 20480 Mar 18 14:13 .. drwx------ 2 oracle oinstall 20480 Mar 11 17:51 19.22.0.0.0 drwx------ 2 oracle oinstall 20480 Mar 14 14:47 OCT2023 lrwxrwxrwx 1 oracle oinstall 61 Mar 14 14:47 db11204_bits_EXA.zip -> /var/opt/oracle/dbaas_acfs/dbnid/OCT2023/db11204_bits_EXA.zip lrwxrwxrwx 1 oracle oinstall 65 Mar 11 17:51 db19000_bits_EXA.zip -> /var/opt/oracle/dbaas_acfs/dbnid/19.22.0.0.0/db19000_bits_EXA.zip lrwxrwxrwx 1 oracle oinstall 60 Mar 14 14:47 exadbf_11204.tar.gz -> /var/opt/oracle/dbaas_acfs/dbnid/OCT2023/exadbf_11204.tar.gz drwxrwx--- 2 oracle oinstall 20480 Mar 14 14:47 tmp [root@saburo-5puyv1 ~]# DBRUのリンク先 OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 17
  15. ExaDB-Dの利⽤例を⾒てみる [root@saburo-5puyv1 ~]# acfsutil info fs /acfs01/ /acfs01/ ACFS Version:

    19.0.0.0.0 on-disk version: 49.0 compatible.advm: 19.0.0.0.0 ACFS compatibility: 19.0.0.0.0 flags: MountPoint,Available,KiloSnap creation time: Mon Mar 4 15:34:01 2024 mount time: Thu Mar 14 12:50:45 2024 mount sequence number: 0 number of nodes: 3 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 89533837312 ( 83.38 GB ) file entry table allocation: 201850880 primary volume: /dev/asm/acfsvol01-81 label: state: Available major, minor: 251, 41473 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 89533837312 ( 83.38 GB ) metadata read I/O count: 85276 metadata write I/O count: 98216 total metadata bytes read: 1282301952 ( 1.19 GB ) total metadata bytes written: 1952346112 ( 1.82 GB ) ADVM diskgroup: DATAC2 ADVM resize increment: 67108864 ADVM redundancy: high ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: DISABLED compression status: DISABLED [root@saburo-5puyv1 ~]# OCI環境でのACFS利⽤例 Copyright © 2024, Oracle and/or its affiliates 18
  16. Copyright © 2024, Oracle and/or its affiliates 19 Oracle Advanced

    Cluster File System (ACFS) DB23ai 新機能
  17. • ACFS Auto Resize Variable Threshold • ACFS Cross Version

    Replication • ACFS Encryption Migration from OCR to OKV • ACFS Replication Password-less SSH Setup Tool(SSH keys management for ACFS Replication) • ACFS Replication Switchover • ACFS SSH-less Replication(SSL-Based ACFS Replication) • ACFS Snapshots RMAN Sparse Backup and Restore • ACFS Sparse Backup and Restore of Snapshots • ACFSutil plogconfig Log Files Wrapping Info • PDB Snapshot Carousel ACFS Support DB23ai ACFS新機能 Copyright © 2024, Oracle and/or its affiliates 20
  18. Copyright © 2024, Oracle and/or its affiliates 21 ACFS Auto

    Resize Variable Threshold ACFSファイルシステムのサイズの⾃動変更の可変しきい値
  19. 新しく追加されたオプション acfsutil size [-f] Table 6-77 Options for the acfsutil

    size command acfsutil size [-f n[K|M|G|T] ] ⾃動サイズ変更の空き領域の割合のしきい値を指定する。設定しない場合、Oracle ACFSファイル・システムではしきい 値として10%が使⽤されます。0および5-50の整数値を使⽤できます。0を指定すると、Oracle ACFSファイル・システム はデフォルトの10%を使⽤する +、- 、-aまたは-xオプションのうち少なくとも1つを指定する必要がある ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 23
  20. -f と⼀緒に使うためのオプション acfsutil size -a 空き領域の量が増分で指定された量を下回った場合に、⾃動サイズ変更によってファイル・システムが増加する増分を指 定します。負でない数値を指定する必要がある。オプションで、K (Kバイト)、M (Mバイト)、G (Gバイト)、またはT

    (テラ バイト)のあとに続けて、値をKバイト、Mバイト、Gバイト、またはテラバイトで指定することもできる。単位を省略した場合、 デフォルトはバイトが指定される。0の値を指定すると、⾃動サイズ変更が無効になります。最⼩許容増分は1G。 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 24
  21. ACFSの作成 BaseDB のデフォルトのACFSを確認 [grid@tm23 ~]$ df -Th Filesystem Type Size

    Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 936K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 172K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 290M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 402M 4.7G 8% /opt/oracle/dcs/commonstore →BaseDB のデフォルトのACFS tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 28
  22. ACFSの作成 BaseDB のデフォルトのACFSを確認 [grid@tm23 ~]$ /u01/app/23.0.0/grid/bin/crsctl stat res -t --------------------------------------------------------------------------------

    Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- 続く ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 29
  23. ACFSの作成 BaseDB のデフォルトのACFSを確認 続き Cluster Resources -------------------------------------------------------------------------------- ora.ASMNET1LSNR_ASM.lsnr(ora.asmgroup) 1 ONLINE

    ONLINE tm23 STABLE ora.DATA.dg(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.LISTENER_SCAN1.lsnr 1 OFFLINE OFFLINE STABLE ora.RECO.dg(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.asm(ora.asmgroup) 1 ONLINE ONLINE tm23 Started,STABLE ora.asmnet1.asmnetwork(ora.asmgroup) 1 ONLINE ONLINE tm23 STABLE ora.cdp1.cdp 1 OFFLINE OFFLINE STABLE ora.cvu 1 ONLINE ONLINE tm23 STABLE ora.db23tm_f99_nrt.db 1 ONLINE ONLINE tm23 Open,HOME=/u01/app/o racle/product/23.0.0 .0/dbhome_1,STABLE ora.db23tm_f99_nrt.db23tm_pdb1.paas.oracle.com.svc 1 ONLINE ONLINE tm23 STABLE ora.db23tm_f99_nrt.db23tm_pdb1.pdb 1 ONLINE ONLINE tm23 READ WRITE,STABLE ora.scan1.vip 1 OFFLINE OFFLINE STABLE ora.tm23.vip ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 30
  24. ACFSの作成 BaseDB のデフォルトのACFSを確認 空き容量を確認 [grid@tm23 ~]$ asmcmd lsdg State Type

    Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 242160 0 242160 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 222508 0 222508 0 N RECO/ 作成済みのADVM Volume の確認 [grid@tm23 ~]$ asmcmd ASMCMD> volinfo --all Diskgroup Name: DATA Volume Name: COMMONSTORE Volume Device: /dev/asm/commonstore-158 State: ENABLED Size (MB): 5120 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /opt/oracle/dcs/commonstore ASMCMD> ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 31
  25. ACFSの作成 DUMPSTORE ADVM を作成 100GB の ADVM volume を DATA

    ディスクグループに作成 ASMCMD> volcreate -G DATA -s 100g DUMPSTORE ASMCMD> lsdg State Type Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 139756 0 139756 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 222508 0 222508 0 N RECO/ ASMCMD> ASMCMD> volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 102400 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ★空欄 Mountpath: ★空欄 ASMCMD> 作成された ADVM volume のデバイス・パスの確認 [grid@tm23 ~]$ ls -al /dev/asm/* brwxrwx--- 1 oracle oinstall 250, 80897 Jun 12 12:31 /dev/asm/commonstore-158 brwxrwx--- 1 root asmadmin 250, 80898 Aug 23 16:44 /dev/asm/dumpstore-158 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 32
  26. ACFSの作成 DUMPSTORE ADVM を作成 ログ [grid@tm23 acfs02]$ less /u01/app/grid/diag/asm/+asm/+ASM1/trace/alert_+ASM1.log SQL>

    /* ASMCMD cguid:a7c0f5bffe95ffe9bf2d1052b253662f cname:dbSysuiucbp3a nodename:tm23 */alter diskgroup DATA add volume 'DUMPSTORE' size 100g 2023-08-23T16:44:10.265452+09:00 SUCCESS: /* ASMCMD cguid:a7c0f5bffe95ffe9bf2d1052b253662f cname:dbSysuiucbp3a nodename:tm23 */alter diskgroup DATA add volume 'DUMPSTORE' size 100g 2023-08-23T17:00:47.632872+09:00 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 33
  27. ACFSの作成 ADVMにmkfs、作成したファイルシステムをClusterware登録 以下 root で実施 [grid@tm23 ~]$ exit logout [opc@tm23

    ~]$ sudo su - Last login: Wed Aug 23 17:11:54 JST 2023 Last failed login: Wed Aug 23 17:14:37 JST 2023 from 116.204.182.53 on ssh:notty There were 5 failed login attempts since the last successful login. [root@tm23 ~]# ACFS ファイルシステム作成 [root@tm23 ~]# mkfs -t acfs /dev/asm/dumpstore-158 mkfs.acfs: version = 23.0.0.0.0 mkfs.acfs: on-disk version = 53.0 mkfs.acfs: volume = /dev/asm/dumpstore-158 mkfs.acfs: volume size = 107374182400 ( 100.00 GB ) mkfs.acfs: file system size = 107374182400 ( 100.00 GB ) mkfs.acfs: Format complete. [root@tm23 ~]# マウントポイント作成 [root@tm23 ~]# mkdir -p /acfs02 srvctl add filesystem でファイルシステムを Clusterware に登録 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl add filesystem -d /dev/asm/dumpstore-158 -g DATA -v DUMPSTORE -m /acfs02 -u grid [root@tm23 ~]# ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 34
  28. ACFSの作成 ADVMにmkfs、作成したファイルシステムをClusterware登録 結果確認 Local Resource に登録されたがまだ OFFLLINE [root@tm23 ~]# /u01/app/23.0.0/grid/bin/crsctl

    stat res -t -------------------------------------------------------------------------------- Name Target State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.DATA.DUMPSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.data.dumpstore.acfs OFFLINE OFFLINE tm23 STABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 35
  29. ACFSの作成 ファイルシステムリソースを起動(マウント) ファイルシステムリソースを起動(マウント) [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl start filesystem -d /dev/asm/dumpstore-158

    [root@tm23 ~]# マウントされたことが確認できる [root@tm23 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 291M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 402M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 /dev/asm/dumpstore-158 acfs 100G 578M 100G 1% /acfs02 [root@tm23 ~]# ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 36
  30. 起動されたファイルシステムリソースを確認 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/crsctl stat res -t -------------------------------------------------------------------------------- Name Target

    State Server State details -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.DATA.COMMONSTORE.advm ONLINE ONLINE tm23 STABLE ora.DATA.DUMPSTORE.advm ONLINE ONLINE tm23 STABLE ora.LISTENER.lsnr ONLINE ONLINE tm23 STABLE ora.chad ONLINE ONLINE tm23 STABLE ora.data.commonstore.acfs ONLINE ONLINE tm23 mounted on /opt/orac le/dcs/commonstore,S TABLE ora.data.dumpstore.acfs ONLINE ONLINE tm23 mounted on /acfs02,S TABLE ora.net1.network ONLINE ONLINE tm23 STABLE ora.ons ONLINE ONLINE tm23 STABLE ora.proxy_advm ONLINE ONLINE tm23 STABLE -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 37
  31. 起動されたファイルシステムリソースを確認 ステータス確認 [root@tm23 ~]# /u01/app/23.0.0/grid/bin/srvctl status filesystem ACFS file system

    /opt/oracle/dcs/commonstore is mounted on nodes tm23 ACFS file system /acfs02 is mounted on nodes tm23 [root@tm23 ~]# [grid@tm23 ~]$ acfsutil info storage Diskgroup Consumer Space Size With Mirroring Usable Free %Free Path DATA 256.00 256.00 136.48 53% DUMPSTORE 100.00 100.00 99.44 99% /acfs02 COMMONSTORE 5.00 5.00 4.61 92% /opt/oracle/dcs/commonstore RECO 256.00 256.00 217.28 84% ---- unit of measurement: GB [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 38
  32. ファイルシステムの確認 確認 [grid@tm23 ~]$ acfsutil info fs /acfs02 /acfs02 ACFS

    Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 106769051648 ( 99.44 GB ) ( 99.44% free ) file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続く 続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 106769051648 ( 99.44 GB ) ( 99.44% free ) metadata read I/O count: 1151 metadata write I/O count: 39 total metadata bytes read: 8122368 ( 7.75 MB ) total metadata bytes written: 634880 ( 620.00 KB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 39
  33. acfsutil size -a (⾃動拡張) 10GB の⾃動拡張を設定 [grid@tm23 ~]$ acfsutil size

    -a 10g /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 ~]$ [grid@tm23 ~]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 107374182400 ( 100.00 GB ) total free: 106769051648 ( 99.44 GB ) ( 99.44% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続く 続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 107374182400 ( 100.00 GB ) free: 106769051648 ( 99.44 GB ) ( 99.44% free ) metadata read I/O count: 1158 metadata write I/O count: 45 total metadata bytes read: 8155136 ( 7.78 MB ) total metadata bytes written: 663552 ( 648.00 KB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 40
  34. acfsutil size -a (⾃動拡張) acfsutil size -a 実施前 flags: MountPoint,Available,KiloSnap,GBMChksum

    acfsutil size -a 実施後 AutoResizeEnabled flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 41
  35. ⾃動拡張の確認 10GB のファイル作成 ⾃動拡張されない(しきい値に達していないため) [grid@tm23 acfs02]$ dd if=/dev/zero of=10gfile bs=1G

    count=10 10+0 records in 10+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 62.2425 s, 173 MB/s [grid@tm23 acfs02]$ df -hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 628K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 291M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 37M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 100G 11G 90G 11% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 42
  36. ⾃動拡張の確認 さらに81GB作成して91GB利⽤、100GBのファイルシステムのデフォルトのしきい値10%以下に達したため、設定された10GBの⾃動拡張が実施、ファイルシステムは110GBに拡張 [grid@tm23 acfs02]$ dd if=/dev/zero of=81gfile bs=1G count=81 81+0

    records in 81+0 records out 86973087744 bytes (87 GB, 81 GiB) copied, 545.98 s, 159 MB/s [grid@tm23 acfs02]$ df -hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 176K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 37M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 110G 92G 19G 84% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 43
  37. ⾃動拡張後の確認 ⾃動拡張された後の確認 [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS

    Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 19826302976 ( 18.46 GB ) ( 16.79% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 0 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 続き primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 19826302976 ( 18.46 GB ) ( 16.79% free ) metadata read I/O count: 2287 metadata write I/O count: 164 total metadata bytes read: 15998976 ( 15.26 MB ) total metadata bytes written: 7675904 ( 7.32 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 44
  38. ⾃動拡張後の確認 [grid@tm23 acfs02]$ acfsutil info storage Diskgroup Consumer Space Size

    With Mirroring Usable Free %Free Path DATA 256.00 256.00 126.37 49% DUMPSTORE 110.00 110.00 18.46 16% /acfs02 COMMONSTORE 5.00 5.00 4.62 92% /opt/oracle/dcs/commonstore RECO 256.00 256.00 216.44 84% ---- unit of measurement: GB [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ asmcmd volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 112640 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs02 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 45
  39. ⾃動拡張 しきい値の変更 -f のみ設定 -a 設定済み環境で、-f 単独での設定をした場合 [grid@tm23 acfs02]$ acfsutil

    size -f 20 /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 19826302976 ( 18.46 GB ) ( 16.79% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 20 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 19826302976 ( 18.46 GB ) ( 16.79% free ) metadata read I/O count: 2300 metadata write I/O count: 170 total metadata bytes read: 16056320 ( 15.31 MB ) total metadata bytes written: 7704576 ( 7.35 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 46
  40. ⾃動拡張 しきい値の変更 -f のみ設定 しきい値を 20% にしたが、84%の利⽤率でも⾃動拡張されない [grid@tm23 acfs02]$ df

    -hT Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 180K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 38M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 110G 92G 19G 84% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 47
  41. ⾃動拡張 しきい値の変更 成功パターン -fと同時に-aを設定 +、- 、-aまたは-xオプションのうち少なくとも1つを指定する必要があります。 -f と同時に -a を指定

    実施前 [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 118111600640 ( 110.00 GB ) total free: 17670426624 ( 16.46 GB ) ( 14.96% free ) auto-resize increment: 10737418240 ( 10.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 20 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 118111600640 ( 110.00 GB ) free: 17670426624 ( 16.46 GB ) ( 14.96% free ) metadata read I/O count: 2327 metadata write I/O count: 190 total metadata bytes read: 16281600 ( 15.53 MB ) total metadata bytes written: 7974912 ( 7.61 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 48
  42. ⾃動拡張 しきい値の変更 成功パターン -fと同時に-aを設定 -f と同時に -a を指定 [grid@tm23 acfs02]$

    acfsutil size -a 20G -f 25 /acfs02 acfsutil size: ACFS-03642: successfully updated auto-resize settings [grid@tm23 acfs02]$ [grid@tm23 acfs02]$ acfsutil info fs /acfs02 /acfs02 ACFS Version: 23.0.0.0.0 on-disk version: 53.0 compatible.advm: 23.0.0.0.0 ACFS compatibility: 23.0.0.0.0 flags: MountPoint,Available,AutoResizeEnabled,KiloSnap,GBMChksum creation time: Wed Aug 23 17:14:54 2023 mount time: Wed Aug 23 17:20:35 2023 mount sequence number: 1 number of nodes: 1 allocation unit: 4096 metadata block size: 4096 volumes: 1 total size: 139586437120 ( 130.00 GB ) total free: 39102660608 ( 36.42 GB ) ( 28.01% free ) auto-resize increment: 21474836480 ( 20.00 GB ) auto-resize maximum: 0 ( 0.00 ) auto-resize percent: 25 file entry table allocation: 262144 ( 256.00 KB ) ( 64 entries ) number of volume logs: 1 primary volume: /dev/asm/dumpstore-158 label: state: Available major, minor: 250, 80898 logical sector size: 512 size: 139586437120 ( 130.00 GB ) free: 39102660608 ( 36.42 GB ) ( 28.01% free ) metadata read I/O count: 4546 metadata write I/O count: 230 total metadata bytes read: 25432064 ( 24.25 MB ) total metadata bytes written: 8818688 ( 8.41 MB ) ADVM diskgroup: DATA ADVM resize increment: 67108864 ADVM redundancy: unprotected ADVM stripe columns: 8 ADVM stripe width: 1048576 number of snapshots: 0 snapshot space usage: 0 ( 0.00 ) replication status: Disabled compression status: Disabled storage interest tracking: Disabled [grid@tm23 acfs02]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 49
  43. ⾃動拡張 しきい値の変更 成功パターン -fと同時に-aを設定 [grid@tm23 ~]$ df -hT Filesystem Type

    Size Used Avail Use% Mounted on devtmpfs devtmpfs 16G 0 16G 0% /dev tmpfs tmpfs 16G 1.4G 15G 9% /dev/shm tmpfs tmpfs 16G 944K 16G 1% /run tmpfs tmpfs 16G 0 16G 0% /sys/fs/cgroup /dev/mapper/vg00-root ext4 9.6G 3.3G 5.8G 37% / tmpfs tmpfs 16G 596K 16G 1% /tmp /dev/mapper/vg00-home ext4 958M 180K 891M 1% /home /dev/mapper/vg00-opt ext4 38G 2.9G 34G 8% /opt /dev/mapper/vg00-var ext4 5.8G 573M 4.9G 11% /var tmpfs tmpfs 16G 24K 16G 1% /var/tmp /dev/mapper/vg00-var_log ext4 3.8G 292M 3.3G 8% /var/log /dev/sda2 ext4 974M 497M 411M 55% /boot /dev/mapper/vg00-var_log_audit ext4 1.9G 39M 1.8G 3% /var/log/audit /dev/sda1 vfat 128M 5.1M 123M 4% /boot/efi /dev/sdj ext4 196G 26G 161G 14% /u01 /dev/asm/commonstore-158 acfs 5.0G 391M 4.7G 8% /opt/oracle/dcs/commonstore tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/102 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/101 /dev/asm/dumpstore-158 acfs 130G 94G 37G 72% /acfs02 tmpfs tmpfs 3.1G 0 3.1G 0% /run/user/1000 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 50
  44. ⾃動拡張 しきい値の変更 成功パターン -fと同時に-aを設定 [grid@tm23 ~]$ asmcmd lsdg State Type

    Rebal Sector Logical_Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name MOUNTED EXTERN N 512 512 4096 4194304 262144 108924 0 108924 0 Y DATA/ MOUNTED EXTERN N 512 512 4096 4194304 262144 221632 0 221632 0 N RECO/ [grid@tm23 ~]$ [grid@tm23 ~]$ asmcmd volinfo -G DATA DUMPSTORE Diskgroup Name: DATA Volume Name: DUMPSTORE Volume Device: /dev/asm/dumpstore-158 State: ENABLED Size (MB): 133120 Resize Unit (MB): 64 Redundancy: UNPROT Stripe Columns: 8 Stripe Width (K): 1024 Usage: ACFS Mountpath: /acfs02 [grid@tm23 ~]$ ACFS Auto Resize Variable Threshold Copyright © 2024, Oracle and/or its affiliates 51
  45. Copyright © 2024, Oracle and/or its affiliates 52 ACFS Cross

    Version Replication 異なるバージョン間のACFSレプリケーション
  46. 23aiと19c間でACFS Replicationを構成 ACFS Replication構成の流れ 1. プライマリとスタンバイのノード間で相互にレプリケーションユーザのSSH等価性設定 2. スタンバイサイトで acfsutil repl

    init standby 実⾏ 3. プライマリサイトで acfsutil repl init primary 実⾏ ※転送⽅式にSSHを選択する場合は同⼀バージョン間でも同様の⼿順で構成可能 ACFS Cross Version Replication Copyright © 2024, Oracle and/or its affiliates 54
  47. Copyright © 2024, Oracle and/or its affiliates 63 ACFS Encryption

    Migration from OCR to OKV ACFS暗号化での暗号鍵をOCRからOKVへの移⾏
  48. 新しいオプション acfsutil keystore migrate -o <acfs_mountpoint> # acfsutil keystore migrate

    -o <acfs_mountpoint> 指定したACFSマウントポイントのACFS暗号化キーを、Oracle Cluster Registry (OCR)からOracle Key Vault (OKV)に移⾏ -o <acfs_mountpoint> オプションが指定されている場合、このコマンドを使⽤して、ACFSファイルシステム暗号化鍵をOCRから OKVに移⾏可能。このコマンドが実⾏されると、OCRに格納されているすべての暗号化キーがOKVに移⾏され、OCRにこれらのキーは 含まれなくなる。ほかのマウントポイントが存在する場合、その暗号化鍵は変更されない。コマンドが失敗した場合、コマンドを実⾏する前 の暗号化設定は保持される。問題の解決後にこのコマンドを再実⾏すると、移⾏が完了する可能性がある。 ノート: • キーストアをOCRからOKVに移⾏したあとは、操作を元に戻す⽅法はない。 • このコマンドは、互換性が23.0.0.0.0以上に設定されているファイル・システム、およびACFSソフトウェア・バージョンが23.0.0.0.0 以上に設定されているファイル・システムで使⽤可能 ACFS Encryption Migration from OCR to OKV Copyright © 2024, Oracle and/or its affiliates 70
  49. Copyright © 2024, Oracle and/or its affiliates 89 ACFS Replication

    Password-less SSH Setup Tool (SSH keys management for ACFS Replication) ACFSレプリケーション⽤のパスワードレスSSH設定ツール (旧 ACFSレプリケーション⽤のSSH鍵管理ツール)
  50. コマンドの例 [grid@ acfs23c-01 ~]$ acfsutil version acfsutil version: 23.0.0.0.0 23cから増えたコマンド

    [grid@acfs23c-01 ~]$ which acfsreplssh /u01/app/23.0.0/grid/bin/acfsreplssh [grid@acfs23c-01 ~]$ [grid@acfs23c-01 ~]$ acfsreplssh -h Usage: acfsreplssh { configure | verify | remove } [-v] - Runs in verbose mode: Shows details of the command's execution. [-m] - Runs in mockup mode: Shows what operations the command would perform if run normally, but does not execute any of the operations. May be used with -v to see more details of what would happen. [-p remote_password] [-V remote_vip] [-o sshStrictKey=ynvalue] { -c remote_cluster | remote_host1 [remote_hostn...] } [grid@acfs23c-01 ~]$ ACFS Replication Password-less SSH Setup Tool (SSH keys management for ACFS Replication) Copyright © 2024, Oracle and/or its affiliates 92
  51. SSH等価性設定の鍵構成 [repluser@acfs23c-01 ~]$ /u01/app/23.0.0/grid/bin/acfsreplssh configure -c acfs23c-02 Enter password for

    repluser: Remote cluster members: acfs23c-02 Backing up /home/repluser/.ssh to /home/repluser/.ssh.acfsreplssh.backup Ensuring /home/repluser has 755 permissions Creating public and private keys for repluser Checking current state of ssh to repluser@acfs23c-02 Verifying supplied user name and password to acfs23c-02. repluser home directory is /home/repluser on acfs23c-02 Set 755 permissions on /home/repluser on acfs23c-02 Configuring passwordless ssh to repluser@acfs23c-02 Create /home/repluser/.ssh on acfs23c-02 Adding repluser public keys to repluser@acfs23c-02 authorized_keys Verifying passwordless ssh configured to repluser@acfs23c-02. Passwordless ssh successfully configured to repluser@acfs23c-02. [repluser@acfs23c-01 ~]$ ACFS Replication Password-less SSH Setup Tool (SSH keys management for ACFS Replication) Copyright © 2024, Oracle and/or its affiliates 93
  52. Copyright © 2024, Oracle and/or its affiliates 97 ACFS Replication

    Switchover ACFSレプリケーションのスイッチオーバー
  53. ACFSレプリケーションのスイッチオーバー • 新しいコマンド acfsutil repl switchover により調整されたフェイルオーバーを⾏えるようになりました。 • ACFSレプリケーションのスタンバイサイトがプライマリ・サイトに接続できない場合、このコマンドは失敗します。 •

    ACFSレプリケーション管理の柔軟性の強化のために、この新しいコマンドが追加されました。 • 19.14より19cにもバックポートして実装済みです。 ACFS Replication Switchover Copyright © 2024, Oracle and/or its affiliates 98
  54. 新しいオプション acfsutil repl switchover [-T timeout] [snap_shot@]mount_point 23cから追加されたオプションの確認 [grid@acfs23c-01 ~]$

    acfsutil repl switchover -h Usage: acfsutil [-h] repl switchover [-T <minutes>] <snapshot>@]<mountpoint> [<snapshot>@]<mountpoint> - mount point or snapshot of standby [-T <minutes>] - wait <minutes> for primary to become available [grid@acfs23c-01 ~]$ ACFS Replication Switchover Copyright © 2024, Oracle and/or its affiliates 99
  55. Copyright © 2024, Oracle and/or its affiliates 110 ACFS SSH-less

    Replication (SSL-Based ACFS Replication) SSHレスのACFSレプリケーション (SSLベースのACFSレプリケーション)
  56. 新しいオプション 23cから追加されたオプションの確認 [root@acfs23c-01 ~]# /sbin/acfsutil repl init -h Usage: acfsutil

    [-h] repl init {primary | standby} - which site -u <user> - standby only, replication user [-p <primary_conn_string>]- primary only, primary connect string -s <standby_conn_string> - primary only, standby connect string {-C|-M|-i <interval>} - primary only, constant-mode, manual-mode replication or replication interval [-m [<snapshot>@]<mountpoint>] - primary only, standby mount point or snapshot [-T {ssl|ssh}] - transport method [-d {0..6}] - set trace level for debugging [-z {on|off}] - primary only, data transfercompression [<tagname> ...] - primary only, tags to be replicated [-o sshCmdPath=<ssh command path>] - primary only, path to ssh command [-o sshCipher=<cipher>] - primary only, ssh cipher [-o sshStrictKey={y|n}] - primary only, require ssh host key checking [-o sshOptions="<options">] - primary only, additional ssh options [-o {sslPermitCredentialSync | sslProhibitCredentialSync}] - SSL only, permit or prohibit credential syncing [-o sslCryptMethod={none|chacha20-poly1305|aesctr256}] - SSL only, ssl cipher [-o sslMacMethod={none|sha256}] - SSL only, message authentication code [-o svcPort=<port>] - SSL only, port on which the replication service will accept requests [<snapshot>@]<mountpoint> - mount point or snapshot for replication [root@acfs23c-01 ~]# ACFS SSH-less Replication (SSL-Based ACFS Replication) Copyright © 2024, Oracle and/or its affiliates 112
  57. Copyright © 2024, Oracle and/or its affiliates 119 ACFS Snapshots

    RMAN Sparse Backup and Restore ACFSスナップショットへのRMANスパース・バックアップ、リストアが対応
  58. ACFS スナップショットでの RMAN スパース・バックアップおよびリストア ACFS 上に作成された PDBで、ACFS スナップショットを利⽤した SNAPSHOT COPY

    PDB を作成することが出来る ようになり、SNAPSHOT COPY PDB に対して、RMAN での スパース バックアップ / スパース リストア ができるように なった 以下⼆つの新機能の組み合わせ 1. SNAPSHOT COPY PDB が ACFS スナップショット、ACFS fshare に対応 2. RMAN の Sparse Backup / Sparse RestoreがACFSスナップショット、ACFS fshare に対応 ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 120
  59. ACFS スナップショットでの RMAN スパース・バックアップおよびリストア SNAPSHOT COPY PDB とは︖ • https://docs.oracle.com/cd/F82042_01/multi/cloning-a-pdb.html#GUID-

    3E29F21E-FB48-408A-BE2F-3DE1F3AF6F62 • PDBクローン作成時に、「記憶域管理スナップショット (storage-managed snapshot)」を利⽤して SNAPSHOT COPY PDB を作成 • CREATE PLUGGABLE DATABASE ... FROM srcpdb ... SNAPSHOT COPY • 従来 Exadata Snapshotで利⽤可能 • (PDBスナップショット(CREATE PLUGGABLE DATABASE USING SNAPSHOT / ALTER PLUGGABLE DATABASE SNAPSHOT)とは異なる) ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 121 PDB1 PDB1 PDB1C PDB1 PDB1C PDB1CS1 (SNAPSHOT COPY PDB) PDBクローン ACFS スナップショット を利⽤して SNASHOT COPY PDB作成 テスト・マスター(親)化 (Read only) テスト/開発⽤ (⼦) PDB (Read Write 可能) CDB CDB CDB CREATE PLUGGABLE DATABASE PDB1c FROM PDB1 CREATE PLUGGABLE DATABASE PDB1CS1 FROM PDB1C SNAPSHOT COPY
  60. ACFS スナップショットでの RMAN スパース・バックアップおよびリストア RMAN Sparse Backup とは︖ • Oracle®

    Database バックアップおよびリカバリ・ユーザーズ・ガイド 23c F73878-02(原本部品番号:F47003-02) 2023年10⽉ • RMANのBACKUPコマンドを使⽤して、スパース・データファイルのデータ・ブロック、スパース・データファイルが格納された表領域、ス パース・プラガブル・データベース(PDB)、およびSparse PDBが格納されたマルチテナント・コンテナ・データベース(CDB)をバックアップ可 能 • スパース・データファイルは、基本データファイル・オブジェクトのシャドウとして作成される論理Oracleオブジェクトで、デルタ領域として知 られる物理記憶領域に格納される。 • 例︓ベース・データベースDBから作成された、スパース・データベースDB0について • スパース環境では、必ず、ベース・オブジェクトを読取り専⽤にする必要がある。 • ベース・データベースとは異なり、スパース・データベースは読取り/書込みが可能なデータベース。 • この例のDBは、読取り専⽤のデータベースで、5つのデータファイルで構成される。DB0は、これら5つの基本データファイルぞれぞれの論理バージョ ンを再作成し、各ファイル対して個別のデルタ記憶領域を割り当てる。 • スパース・データベースDB0がスパース・データファイルのいずれかのデータ・ブロックを更新すると、更新されたブロックだけが、変更されたデータファイ ルのデルタ領域に論理的に格納される。 • DB0でスパース・バックアップの実⾏を選択した場合、この操作では、データベースのデルタ記憶領域とスパース・データファイルのデルタ領域のデー タのみがコピーされる。 • スパース・バックアップは、バックアップ・セット形式(デフォルト)またはイメージ・コピー形式のいずれかが可能。 • RMANは、スパース・バックアップのスパース・データファイルをリストアし、次にそれらをアーカイブ・ログおよびREDOログからリカバリする。スパース・ データファイルでは完全リカバリまたはPoint-in-Timeリカバリを実⾏する。 ACFS Snapshots RMAN Sparse Backup and Restore Copyright © 2024, Oracle and/or its affiliates 123
  61. バックアップ・セットまたはイメージ・コピーとしてL0 Sparse・バックアップを作成するオプション デバイスごとのSparse・バックアップ・オプションの選択 完全ではなくSparseとしてSparse・データベースをリストア 通常のRMANコマンドオプションのサポート • TSPITR、DUPLICATE、DELETE、LIST、SHOW、CATALOGなど • Sparse Backup

    Database, Tablespace, Datafiles, CDB, PDB • 完全データベースではなくSparse・データベースとして複製 COMPATIBLEパラメータを12.2以上に設定 Sparse・バックアップの使⽤には18c以降を推奨 https://www.oracle.com/jp/a/tech/docs/exadata-sparse-disk-snapshots-ja.pdf Sparse・データベースの効率的なバックアップとリカバリ Copyright © 2021, Oracle and/or its affiliates 124 バッキング・ファイル(読取り専⽤) Sparse・データベース/デルタ・ストレージ Sparse・ バックアップ Sparse・ リストア Sparse・バックアップ DUPLICATE DATABASE DB1 AS DB2 FROM SPARSE … RESTORE ..FROM {SPARSE|NONSPARSE} .. CONFIGURE DEVICE TYPE {SBT|DISK}..SPARSE ON|OFF; BACKUP AS SPARSE {BACKUPSET | COPY} …
  62. • Oracle ACFS 23ai で⾮推奨となった機能 • acfsutil compress • acfsutil

    snap remaster • Oracle ACFS 23ai でサポート対象外になった機能 • acfsutil repl reverse コマンドは、Oracle Database 23ai でサポートが終了 • acfsutil repl failover または acfsutil repl switchover を使⽤ ACFS 23ai ⾮推奨の機能 Copyright © 2024, Oracle and/or its affiliates 196