RDS for Db2 データ移行編 - Part2:S3経由のバックアップ・リストアでデータ移行 /20241011-RDSforDb2-dojo

2024/10/11(金) オンライン開催 

RDS for Db2 データ移行編 - Part2: S3経由のバックアップ/リストアでデータ移行
https://ibm-developer.connpass.com/event/332754/
の資料です。

【内容】

・既存Db2環境からのデータ移行・データ連携の方法
・ RDS for Db2 データ移行編 - Part2: S3経由のバックアップ/リストアでデータ移行　
Db2のデータベース・バックアップをS3に作成し、それをリストアすることで移行してみましょう

Transcript

1. 2024年10月11日 RDS for Db2 データ移行編 – Part2: S3経由のバックアップ/リストアでデータ移行 IBM Database Dojo 2024年 Autumn編 Db2 11.5.9 平野 真弓 Mayumi Hirano 日本アイ・ビー・エム株式会社 テクノロジー事業本部 Data & AI Technical Sales 西戸 京子 Kyoko Nishito
2. 前回と、2024年6月-７月までの内容 RDS for Db2はじめの一歩：全３回 • #1 「作り方編」：6月28日（金）資料と録画公開済み • #2 「HA(高可用性)編」：7月12日（金）資料と録画公開済み • #3 「バックアップ編」：7月25日（木）資料と録画公開済み • Qiita記事 • 「RDS for Db2・はじめの一歩」3回 シリーズ 2 RDS for Db2 データ移行編：３回 • #1： 9月27日（金） 「S3からデータ・ロードしてみよう」<前回・資料公開済> • #2：10月11日（金）「S3経由のバックアップ/リストアでデータ移行」 <本日> • #3：10月25日（金）「Q レプリケーションでデータ連携」
3. オンプレミス / Amazon EC2など RDS Db2 AWS Cloud （補足） ・RDS for Db2へのLOADは、NONRECOVERABLEオプションとなる。 - RDS for Db2はDB2_LOAD_COPY_NO_OVERRIDEのパラメータの値がNONRECOVERABLEになっているため ・NONRECOVERABLE LOADでは、LOAD後すぐにデータにアクセスできるが、その後ストレージ障害等により、 NONRECOVERABLE LOAD以前のDBバックアップよりRESTOREしてROLLFORWARDすると、NONRECOVERABLE表は drop pendingとなる。よってLOAD後には手動でRDSスナップショットを取得するか、LOADジョブの最後にRDSの自動バッ クアップを設定する運用を推奨 Db2 (1) db2 CREATE EXTERNAL TABLE で直接S3へ書き出し または exportしたデータをS3へコピー SAMPLE (2) db2 create table xxx (db2look等で入手したDDLを実行) (3) db2 load from db2remote:xxx RDSTEST S3 3 /tmp/db2move_data/ db2move.lst tabnnn.ixf … • 復習：#1： 9月27日（金） 「S3からデータ・ロードしてみよう」<前回>のご質問より
4. 本日のAgenda 12:05〜12:45 ⚫ 既存Db2環境からのデータ移行・データ連携の方法 ⚫ RDS for Db2 データ移行編 - Part2: S3経由のバックアップ/リストアでデータ移行 Db2のデータベース・バックアップをS3に作成し、それをリストアすることで移行してみまし ょう 既存環境が Db2/Linux 11.1 もしくは 11.5 の場合は、既存バックアップイメージからのリス トアも利用可能です ⚫ 実際に見てみよう AWSのRDSとしてDb2が利用可能になっています。 今回は、既存オンプレ/IaaS環境にあるDb2からのデータ移行やデータ連携の方法について説明します。 実際にご覧いただきながら、どのような仕組みになっているのかを40分で説明、実演します。 Qiita)「Amazon RDS for Db2: S3経由のバックアップ/リストアでデータ移行」 -https://ibm.biz/s3backup-rdsdb2 4
5. Q&A • 質問があればチャットに宛先を「全員宛」で随時入れてください。 • 回答可能なのものはその場でチャットで回答します。 • 最後にQ&Aの時間がとれましたら、回答できなかったものはそこでも拾う予定です。 • 要調査または回答時間がなかった場合は、次回のRDS for Db2 Dojo等で、後日回答いたします。 アンケート • 最後にSlidoでのアンケートのurlをチャットにいれますので、ご回答お願いします！ 5
6. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 6 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略
7. 既存Db2環境からAmazon RDS for Db2へのデータ移行 環境や要件によって様々な方法があります マイグレーション タイプ Source OS 方法 使用するツールのタイプ ワンタイム・ マイグレーション Linux(64bit LE) Db2 v11.1〜11.5のみ バックアップを作成し、リストア ネイティブDb2ツール LUW, z/OS DDL出力 & export →テーブル作成 & import or load (Db2コマンド等の利用) ネイティブDb2ツール Linux, AIX Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt メタデータを抽出し、データをアンロード可能。抽出したメタデータを 使用してデータベースオブジェクトを作成し、その後 Db2MT を利用し て Amazon S3 から直接 Amazon RDS for Db2 にデータをロード可能 その他バックアップ/リストア機能もあり。 OSS ログレプリケーションによる 移行 (切替時間が短い) LUW, z/OS IBM Data Replication (Q レプリケーション) IBM Software LUW, z/OS (OSにより条件あり) AWS DMS (z/OSはワンタイムのみ) AWS Service Linux(64bit LE) Db2 v11.1〜11.5のみ Db2MT OSSのDb2 to RDS for Db2 支援ツールhttps://github.com/IBM/db2-db2mt Db2MT は定期的にログを直接 Amazon S3 にアーカイブし、データベー スをロールフォワードペンディングモードに維持して、ログを RDS for Db2 に適用する手順を提供 OSS *LUW: Linux, Unix, Windows 7 参考: Amazon Web Services ブログ Amazon RDS for Db2 へのデータマイグレーション戦略 ※本日の内容
8. ネイティブDb2ツール(バックアップ/リストア方式)による データ移行方法 • Db2のバックアップイメージをS3に置いてのリストア/ロールフォワードをサポート • Db2/Linux V11.1 or V11.5 のフル・オフライン・バックアップ・イメージからのリス トアをサポート • Db2/Linux V11.5 のフル・オンライン・バックアップ・イメージからのリストアとロ ールフォワードをサポート • イメージサイズは最大5TBまで • これ以上大きい場合はdb2 BACKUP時に分割を指定 - RDS for Db2ストアドプロシージャ「データベースの管理」 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/db2-sp-managing-databases.html 8
9. 参考：Db2用語のおさらい BACKUP DATABASE 障害 RESTORE DATABASE バックアップ イメージ BACKUP DATABASE 障害 RESTORE DATABASE ROLLFORWARD DATABASE バックアップ イメージ ログファイル ◼ ロールフォワード回復 • ログを適用しデータベスをある時点までの状態に戻す ◼ バージョン回復 • バックアップを使用してデータベースを回復する ◼ オフライン・バックアップ • データベースに他のアプリケーションが接続してい ない状態でバックアップを取得する方法 • データベース全体のバージョン回復の場合、ログフ ァイルがなくてもリカバリー可能 • 循環ロギングの時にはこのモードのみ選択可能 ◼ オンライン・バックアップ • データベースに他のアプリケーションが接続して いる状態でバックアップを取得する方法 • データベースはアーカイブ・ロギング方式である 必要がある • オンライン･バックアップからの回復時には、オン ライン・バックアップ取得終了時点までのログ・ ファイルのロールフォワードが必須 9
10. 実際に見てみよう：オフライン・バックアップからの移行 （バージョン回復） オンプレミス / Amazon EC2など RDS Db2 AWS Cloud Db2 (1)db2 backup db xxx （直接S3へ書き出し） または ローカルに取得した db2バックアップ・イメージを S3へコピー (2) db2 call rdsadmin.restore_database (xxx) RDSTEST S3 10 バックアップ イメージ - RDS for Db2ストアドプロシージャ「データベースの管理」 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/db2-sp-managing-databases.html
11. 実際に見てみよう：オンライン・バックアップからの移行 （ロールフォワード回復） オンプレミス / Amazon EC2など RDS Db2 AWS Cloud Db2 (1)db2 backup db ONLINE xxx （直接S3へ書き出し） または ローカルに取得した db2バックアップ・イメージを S3へコピー (2)アーカイブ・ログ・パスもS3に置 いておく、またはファイルをコピー (3) db2 call rdsadmin.restore_database (xxx) (4) db2 call rdsadmin.rollforward_database (xxx) RDSTEST S3 11 バックアップ イメージとログ - RDS for Db2ストアドプロシージャ「データベースの管理」 https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/db2-sp-managing-databases.html
12. 実際に バックアップから リストアしてみます Amazon RDS for Db2: S3経由のバックア ップ/リストアでデータ移行 https://ibm.biz/s3backup-rdsdb2 12
13. * 詳細・申込： ibm.biz/techxchange24 お申込みフォームの 「案内した社員」 の欄に、 姓「西戸京子」 名「平野真弓」 を入力して下さい *セッション参加後は 「 Technology Happy Hour (18-19 お食事と ドリンク付き)」で楽し みましょう ※IBM社員の方は別途案内をお待ちください（サイトからの申込をしないでください） 13
14. Data Management &watsonx.data in IBM TechXchange Japan ブレイクアウト・セッション watsonx ハンズオン 12:00-13:40 さわってみようベクトル・データ ベース watsonx.dataでRAG体験 生成AIの回答精度を向上させるために、自社内の データを活用しませんか。このハンズオンでは、 ベクトル・データーベースを使ったRAGの基本を 学びます。データとAIのためのオープンなデータ レイクハウス watsonx.dataに含まれるベクトル・ データベース Milvusを使って、生成AIで新しいデ ータ探索を体験してみましょう。 Room: 4F 清風、講師: IBM 西戸 京子 ブレイクアウト・セッション Data Management & watsonx.data 14:00-14:40 データ統合とAIのための watsonx.data入門 データのないAIはありません。生成AIの情報源と して自社データを使う時でもデータ・ストア・ソ リューションの重要性は高まっています。当セッ ションではデータ・ストア機能だけでなく、IBM メインフレームを含む多様なデータソースを仮想 統合でき、AI用データの準備もできる watsonx.dataの概要と最新情報をお届けします。 また、watsonx.dataと統合することで負荷をオフ ロードできるDb2やNetezzaファミリーの最新情報 にも触れます。 Room: 4F 孔雀、講師: IBM 國守 知成 ブレイクアウト・セッション Data Management & watsonx.data 15:00-15:40 生成AIでデータ・ファブリックと データ・ガバナンスを簡単に ビジネスのためのAIには、信頼できるデータとそ れを支えるデータ基盤が必要です。クラウド上の データやメインフレームを含む様々なデータを全 社的に活用することも重要です。IBMのデータ・ ファブリックとデータ・ガバナンスには生成AIが 組み込まれています。データの意味づけと検索処 理を強化し、簡単なデータ入手を支援する Semantic Automationで、AI開発者・データ分析者 の生産性を向上します。 Room: 4F 孔雀、講師: IBM 小澤 充明 日程: 2024/11/27(水) 12:00-15:40 会場: ホテル雅叙園東京(清風&孔雀）東京都目黒区下目黒1-8-1 対象 : 技術者の皆様 Data Management & watsonx.data 関連のセッションでは、以下のセッションやハンズオンを予定しております。 IBMデータベース製品関連の最新情報も、このイベントでご紹介いたします。お申し込みはこちらから→ ibm.biz/techxchange24 14
15. お薦めブログやQiita､コミュニティサイト情報 • IBM Japan Newsroomの発表レター「IBM、AWSとの協業によりAIワークロードのデータ管理を最適化 する新しいクラウド・データベースを提供開始」 • IBM Amazon RDS for Db2サイト: • https://www.ibm.com/jp-ja/products/db2/database/amazon-rds • IBMブログ • IBM Db2がAmazon RDSで利用可能になりました(翻訳) • AWS上のIBMデータベースでAIのデータ課題に挑む (翻訳) • Top 20 most-asked questions about Amazon RDS for Db2 answered (英語) • IBM Community: RDS for Db2情報を追加 https://ibm.biz/jpibmdb • Qiita記事 • Amazon RDS for Db2: AWSでフルマネージドDb2 データベースを作ってみた! • DBeaverからAmazon RDS for Db2にアクセスする • 「RDS for Db2・はじめの一歩」3回 シリーズ 15