クラウドネイティブなデータ連携の最新動向 / Latest trends in cloud-native data integration

JAWS DAYS 2024 スポンサーセッションの登壇資料です。
【B-8】クラウドネイティブなデータ連携の最新動向: AWSサービスアップデートで何が変わった？

Transcript

1. JAWS DAYS 2024 ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b JAWS DAYS 2024 ～AWSサービスアップデートで何が変わった？～ 株式会社セゾン情報システムズ 小杉 隼人 B-8 クラウドネイティブなデータ連携の最新動向
2. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 自己紹介 2 小杉 隼人 @hayaok3 株式会社セゾン情報システムズ 所属 2019-2023 Japan AWS Top Engineer AWS Community Builder (Dev Tools since 2020) 普段は事業部を横断した AWS 関連の技術支援と 技術者育成、Cloud CoE Lead などを担当しています。 JAWS DAYS は 2021 (Online) 以来の登壇です。 @hayao_k
3. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b セゾン情報システムズについて 3 データ連携・データ活用分野で 実績が豊富 商 号 株式会社セゾン情報システムズ 設 立 年 月 日 1970 年 9 月 1 日 代 表 取 締 役 社 長 葉 山 誠 事 業 内 容 ‣HULFTビジネス ‣データプラットフォームビジネス ‣流通ＩＴサービスビジネス ‣フィナンシャルＩＴサービスビジネス 従 業 員 数 715名（2023年3月末時点 連結） ※1．出典：株式会社富士キメラ総研「2004-2010パッケージソリューションマーケティング便覧」 「ソフトウェアビジネス新市場 2011-2023年版」 ＜ファイル転送ツール パッケージ・金額ベース＞ 2003年度実績～2022年度実績 ※2．アイティクラウド株式会社が運営する「ITreview」における表彰 ‐「ITreview Grid Award 2023 Fall」において、DataSpiderが受賞 「ITreview Grid Award」とは、ITreviewで投稿されたレビューをもとに四半期に一度ユーザーに支持された 製品を表彰する場です。満足度と認知度が共に高い評価を得ている製品が「Leader」として表彰されます。 ※1 導入実績 11,295社 Fortune Global 500 2023年版 111社採用 ※日本企業41社すべてに導入 次世代クラウド型データ連携プラットフ ォーム「HULFT Sqauare」提供開始 2023年 1970年 ㈱西武情報センター設立・創業 1981年 ㈱緑屋(現クレディセゾン)計算センターを吸収合併 1992年 ㈱セゾン情報システムズに商号変更 1993年 通信ミドルウェア「HULFT」販売開始 2005年 世存信息技術（上海）有限公司を設立 2010年 クラウド関連製品・サービス提供開始 2013年 ㈱アプレッソ株式を取得、子会社化 2015年 ASEAN拠点 HULFT Ｐｔｅ.Ｌｔｄ.設立 2016年 北米拠点 HULFT, Inc.を設立 2017年 EMEA拠点 ロンドンにEMEA事務所設立 本社機能を 東京都港区赤坂に移転 2019年 ㈱アプレッソを吸収合併 2020年 創立50周年 「HULFT DataCatalog」提供開始 株式会社セゾンテクノロジーへ商号変更 「HULFT10」提供開始 2024年 ※2
4. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b JAWS DAYS を全力で応援しています！ ◼ 4 つのセッションで弊社メンバーが登壇しています • 【E-1】CIer・SIer集まれ！！クライアントワークな私たちとAWSの良い関係を考えよう！ • 【E-6】生成AIで社内文書検索！Bedrockの新機能でRAGアプリを簡単に作ってみよう • 【B-8】クラウドネイティブなデータ連携の最新動向: AWSサービスアップデートで何が変わった？ • 【C-11】子育てエンジニアパネルディスカッション～コーディングとおむつ替えの狭間で～ ◼ スポンサーブースにもぜひ遊びにきてください！ 4
5. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b エンジニア育成や発信にも力を入れています ◼ 最近の弊社メンバーの JAWS-UG 登壇 • JAWS-UG AI/ML #19 • JAWS-UG東京 2023 ～Bedrock Night～ • Security-JAWS【第31回】 ◼ 2023 年の Qiita Organization 投稿件数: 222 5
6. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b エンジニア育成や発信にも力を入れています ◼社内外のエンジニアへの登壇機会となるようクラウド LT 大会を企画・実施 • 隔月ペースでやっています、初 LT の方も歓迎しています！ • LT 大会のコラボレーション、共催なども気軽にお声がけいただけると嬉しいです 6
7. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b エンジニア育成や発信にも力を入れています 7 ◼AWS re:Invent 2023 への参加 • 8 年ぶりの EXPO 出展のほか、20 名以上のエンジニアが現地参加 • 社内の参加報告会では 100 名以上が参加、視聴
8. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 4 月から社名が変わります 8 2024 年 4 月 1 日から セゾン情報システムズは セゾンテクノロジーへ
9. クラウドネイティブな データ連携の最新動向
10. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b セッション概要 10
11. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b クラウドおける代表的なデータ連携パターン ◼API 連携 • API Gateway、Amazon EventBridge API Destinations、Amazon AppFlow など ◼データ同期 • Amazon Aurora zero-ETL integration with Amazon Redshift など ◼メッセージキュー • Amazon SQS、Azure Queue Storage、Cloud Pub/Sub (Google) など ◼クラウドストレージ • Amazon S3、Azure Blob、Cloud Storage (Google) など ◼ファイル転送 • AWS Transfer Family、Cloud Storage Transfer Service (Google) など 11
12. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b クラウドおける代表的なデータ連携パターン ◼API 連携 • API Gateway、Amazon EventBridge API Destinations、Amazon AppFlow など ◼データ同期 • Amazon Aurora zero-ETL integration with Amazon Redshift など ◼メッセージキュー • Amazon SQS、Azure Queue Storage、Cloud Pub/Sub (Google) など ◼クラウドストレージ • Amazon S3、Azure Blob、Cloud Storage (Google) など ◼ファイル転送 • AWS Transfer Family、Cloud Storage Transfer Service (Google) など 12
13. API 連携
14. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon AppFlow 14 ◼ さまざまな SaaS アプリケーションや AWS サービス間でデータを簡単に転送できるサービス • e.g., サポート チケットを Zendesk から S3 バケットに転送するなど • データ変換、エラーロギング、ネットワーク接続の再試行などの処理が組み込まれている • 1 つのフロー当たり最大 100 GB の転送が可能 データソース 各種 SaaS 一部の AWS サービス 宛先 一部の AWS サービス 一部の SaaS 送信元、 送信先を選択 データのマッピング データの検証、 フィルタリング フローの実行 1 2 3 4 Amazon Redshift Amazon S3 Custom Connector SDK により 独自のコネクター開発も可能 (Java/Python)
15. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon AppFlow 15 ◼最近の AppFlow 関連のアップデートの傾向 • 対応コネクターの追加 • AWS サービスへの組み込み
16. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon AppFlow: 対応コネクターの追加 16 ◼ 2023/6/15 4 つの新しいデータコネクタを発表 • Adobe Analytics、Blackbaud Raiser’s Edge、Coupa、Google BigQuery を新たにサポート • サポートする SaaS / AWS サービスの合計は 80 に ◼ BigQuery から S3 の転送をやってみた例 • JSON 形式でデータ取得が可能 • 2023 年 7 月時点ではネストされたデータの取得は未サポートだった
17. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon AppFlow: AWS サービスへの組み込み 17 ◼ 2022/11/30 Amazon SageMaker Data Wrangler で 40 種類を超えるサードパーティ アプリケーションがデータソースとして利用可能に • SageMaker Data Wrangler : 複数のソースからデータをインポートし、機械学習データの前処理を行う ためのサービス ◼ 2023/4/3 Amazon SageMaker Canvas で 45 以上のソースからデータ取り込みをサポート • SageMaker Canvas: 機械学習モデルの作成や予測をノーコード・GUIで実行できるサービス AppFlow との連携によって、対応する SaaS からデータを取り込み、学習データとして使用可能に https://aws.amazon.com/jp/blogs/news/new-amazon-sagemaker-data-wrangler-supports-saas-applications-as-data-sources/ https://aws.amazon.com/jp/blogs/news/import-data-from-over-40-data-sources-for-no-code-machine-learning-with-amazon-sagemaker-canvas/
18. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Step Functions 18 ◼ 複数の AWS サービスを組み合わせて分散アプリケーションを作成できるサービス • ASL と呼ばれる JSON 形式の言語でワークフローを作成する必要がある • Workflow Studio を使用することでローコードでワークフローを作成可能 各サービス呼び出しに必要な パラメーター (リソース ID 等) を 選択して入力できる リトライやエラー処理 の定義も容易 AWS SDK 統合により220 以上の AWS サービスの API を使用可能
19. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Step Functions Call third-party APIs 19 ◼ 2023/11/26 Step Functions から外部 HTTPS Endpoint にリクエストを実行できるように • これまでは AWS Lambda 等を使用して、自分で実装する必要があった • 接続先の認証情報は Amazon EventBridge の API Destination の接続設定で管理する
20. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b こちらもぜひ 20 ◼ AWS Step Functionsの新機能「Call third-party API」を試してみた https://zenn.dev/kmiura55/articles/stepfunctions-thirdparty-api ◼ External endpoints and testing of task states now available in AWS Step Functions https://aws.amazon.com/jp/blogs/aws/external-endpoints-and-testing-of-task-states-now- available-in-aws-step-functions/
21. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Step Functions こんなアプデもあった 21 ◼ 2023/11/15 ワークフローの実行失敗地点からの再実行をサポート • 以前は途中終了していた場合も、再実行にはフローの最初から実行する必要があった • 過去14日間の標準ワークフローをの再開をサポート • Input やワークフロー自体を編集して再実行することはできない ◼ 2023/6/22 バージョンおよびエイリアスをサポート • バージョニングとエイリアスの導入によりプロダクション環境へのデプロイを管理しやすくなった • エイリアスは同じワークフローの最大2つのバージョンへのポインタとして機能し、トラフィックの 割合を指定したルーティングを定義できる マネジメントコンソールより引用
22. データ同期
23. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS re:Invent 2023 で 発表された zero-ETL 統合の拡張 23 機能 データ連携方式 タイプ Amazon Aurora MySQL zero-ETL integration with Amazon Redshift GA! Aurora ストレージ層から Redshift ストレージ層へ の CDC Streaming Data Ingestion Amazon Aurora PostgreSQL zero-ETL integration with Amazon Redshift New! Aurora ストレージ層から Redshift ストレージ層へ の CDC Streaming Data Ingestion Amazon RDS for MySQL zero-ETL integration with Amazon Redshift New! MySQL バイナリログ (binlog) に依存した CDC Streaming Data Ingestion Amazon DynamoDB zero-ETL integration with Amazon Redshift New! Limited Preview 中のため詳細不明 詳細不明 Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service New! OpenSearch Ingestion による Streaming OpenSearch Ingestion による Streaming Amazon OpenSearch Service zero-ETL integration with Amazon S3 New! OpenSearch Service から S3 への直接クエリ OpenSearch Service か ら S3 への直接クエリ ◼ 現状の zero-ETL 統合は従来の ETL プロセスのうち、データ移動の課題を解決するもの ◼ Fedrated Query も AWS の zero-ETL に定義として含まれる
24. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b ニアリアルタイムに連携する世界 24 ◼ Redshift, OpenSearch を中心としつつ、データ系サービスがニアリアルにつながる ストレージ層での データ同期 バイナリログに 依存した同期 S3 へ直接クエリを行う機能 (Fedrated Query) OpenSearch Ingestion による同期 Amazon Aurora MySQL / PostgreSQL Amazon RDS for MySQL Amazon DynamoDB Amazon Redshift Amazon OpenSearch Service Amazon S3 OpenSearch Ingestion AWS Glue Data Catalog CDC Streaming CDC Streaming ??
25. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b OpenSearch Ingestion て何だっけ？ 25 ◼ データの取り込み、変換、ルーティングを行うためのマネージドなデータコレクター • 2023/4/27 リリースされた機能 • OpenSearch ドメイン、Severless コレクションの両方をサポート • OpenSearch プロジェクトの Data Prepper がサーバーレスで提供されている ◼ サポートするデータソース • Amazon DynamoDB (zero-ETL Integration) • Amazon MSK, Amazon OpenSearch Service, Amazon S3, Amazon Security Lake • Fluent Bit, OpenTelemetry collector https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/ingestion.html
26. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Qiita にも書いてます ◼ Amazon OpenSearch Service と S3 の zero-ETL 統合の違和感の正体を探る https://qiita.com/hayao_k/items/04b6688afc694a0155e7 26
27. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b こちらもぜひ ◼ zero-ETLが金融業界にもたらすものとは？ https://speakerdeck.com/rrrraaaaa6/fin-jaws-zero-etl ◼ ゼロ ETL とは何ですか？ https://aws.amazon.com/jp/what-is/zero-etl/ 27
28. ファイル転送
29. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b ファイル転送によるデータ連携 ◼外部とのデータ連携は広く普及しているファイル転送が用いられることも多い • ファイルを経由することによる連携のしやすさが背景に • オンプレミスやクラウド間でのデータのやりとりなど • 一方でそれを自分たちで作りこむことはビジネス価値を生みずらい重労働となる ◼一般的なファイル転送の実装方法 • SFTP (Secure File Transfer Protocol) • 移行カテゴリのサービスを利用 (AWS Transfer Family、AWS DataSync など) • MFT (Managed File Transfer) 29
30. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b SFTP によるファイル転送 30 ◼一般的なメリット • SSH プロトコルを使用した暗号化による安全なファイル転送 • プロトコル自体の実績と、導入コストの低さ ◼一般的なデメリット • 自動化や、前処理/後処理などの周辺機能は作りこみが必要 • 監視などの管理機能がないため、転送失敗時の調査やリトライが必要 • クラウドのマネージドサービスを使用することでこれらの課題を部分的に解消できる ◼AWS サービスでの SFTP 実装例: AWS Transfer Family • Amazon S3/EFS へのファイル転送を SFTP/FTPS/FTP/AS2 で行うことができる • ログ出力、AD や 既存 ID プロバイダーとの統合によるアクセス制御、マネージドワーク フロー、SFTP コネクターなどの周辺機能
31. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Transfer Family 31 ◼紹介したいアップデート • マネージドワークフロー機能 (リリースは 2021 年だけど紹介したい) • SFTP Connector (2023/7/25) • Amazon EventBridge への AWS サービスイベントの Publish (2024/2/8)
32. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Transfer Family: ワークフローによる後処理 Invokes post-upload file-processing Archive Bucket ◼ マネージドワークフロー機能 • Transfer Family サーバーへファイルが転送されたあとに任意のワークフローを起動できる機能 • 事前定義されたフローはファイルのコピー、復号化、削除、タグ付けなど簡易的なもの • 複雑な処理を行うには AWS Lambda を使用してカスタムフローを実装する必要がある AWS Transfer Family SFTP Server AWS Cloud Stores file to S3 bucket Upload File Users and Clients Upload Bucket Workflow steps 1. Copy – Achive Bucket 2. Tagging – “Source: SFTP” 3. Custom – Antivirus Scan 32
33. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Transfer Family: SFTP Connector による転送 ◼マネージド型 の SFTP クライアント機能 • StartFileTransfer API を使用してインバウンド/アウトバウンドの転送を起動可能 • インターネット上のリモート SFTP サーバーへ接続が可能 • 2024/1/16 のアップデートで、SFTP Connector に静的 IP が提供されるように AWS Transfer Family SFTP Connector Amazon S3 AWS Cloud Get Objects Put Objects Remote SFTP Server Retrieve Files Send Files Application StartFileTransfer API 33
34. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon EventBridge への AWS サービスインベントの Publish ◼ サーバー/コネクターのファイル転送イベントが EventBridge に Publish される • 転送成功、失敗などのフィルタ条件をイベントルールに設定し、対応する任意のアクションを実行 • イベントにはステータスコードの他、クライアント IP やユーザー名、接続先 URL 等が含まれる AWS Transfer Family SFTP Server AWS Cloud Amazon EventBridge Default event bus Event Rule Users and Clients Rule { “source”: [“aws.transfer”], “detail-type”: [“SFTP Server File Upload Completed”] } Upload File { “source”: [“aws.transfer”], “detail-type”: [“SFTP Server File Upload Failed”] } AWS Step Functions Amazon SNS Target 34
35. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b Amazon EventBridge への AWS サービスインベントの Publish 35 ◼イベント例 (SFTP Server) • ファイルダウンロード失敗 { "version": "0", "id": "event-ID", "detail-type": "SFTP Server File Download Failed", "source": "aws.transfer", "account": "958412138249", "time": "2024-01-29T17:20:27Z", "region": "us-east-1", "resources": [ "arn:aws:transfer:us-east-1:958412138249:server/s-1234abcd5678efghi" ], "detail": { "failure-code": "PARTIAL_DOWNLOAD", "status-code": "FAILED", "protocol": "SFTP", "bytes": 4100, "client-ip": “xxx.xxx,xxx.xxx", "failure-message": "File was partially downloaded.", "end-timestamp": "2024-01-29T17:20:27.749749117Z", "file-path": "/fs-1234abcd5678efghi/user0/test-file", "server-id": "s-1234abcd5678efghi", "username": "test", "session-id": "session-ID", "start-timestamp": "2024-01-29T17:20:16.706282454Z" } }
36. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS Step Functions による オーケストレーションパターン ◼ Step Functions の AWS SDK 統合により任意の AWS サービスの API を呼び出す • AWS Gule による ETL で加工データを生成 • StartFileTransfer API で外部システムにファイルを転送 • 処理結果を通知する、といったワークフローを組むことができる ◼ コレオグラフィパターンとの組み合わせ例 • ファイル転送後に結果を EventBridge にパブリッシュ →外部システムがイベントをサブスクライブし、後続処理を起動 • 処理の最後にCall third-party API により外部 SaaS の API をキック 36
37. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 参考: サービス間の連携の実装パターン 37 ◼ コレオグラフィ • 各サービスが自律的に動作し、イベントを 発行・購読することで連携するアプローチ • ドメイン間のやりとりでの使用が効果的 • Amazon EventBridge などのイベントバス サービスを使用できる マイクロサービス マイクロサービス マイクロサービス コントローラー ◼ オーケストレーション • 中央のコントローラーを介し、サービス間の やりとりを行うアプローチ • 単一ドメイン内での使用が効果的 • AWS Step Functions などのワークフロー オーケストレーションサービスを使用できる これらを組み合わせて使用することもできる マイクロサービス マイクロサービス マイクロサービス コラボレーション
38. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS DataSync 38 ◼ オンプレミスや AWS ストレージサービス間でデータ転送を行うためのサービス • 並列、圧縮によるデータ転送、自動再送、組み込みのスケジュール機能による自動化などをサポート • オンプレミスから AWS へ、他のクラウドから AWS へ、AWS 内でといったユースケースに対応 Agent VMware/Hyper-V/KVM Corporate data center Other Cloud Provider Shared File System NFS/SMB/Object /HDFS Agent Objects Agent は AWS 上に配置することも可能 AWS DataSync Amazon FSx Amazon EFS Amazon S3 AWS Cloud Region AWS DataSync Amazon FSx Amazon EFS Amazon S3 Region
39. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS DataSync 39 ◼最近の DataSync 主要アップデート • 対応クラウドプロバイダーの強化 • DataSync Discovery の GA (2023/4/23)
40. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS DataSync: 対応クラウドプロバイダーの強化 40 ◼ 2022/5/24 Google Cloud Storage と Azure Files のサポート • Google Cloud Storage のオブジェクトタグのコピーは未サポート • Azure Files サポートは Agent から Azure Files を SMB でマウントして利用する ◼ 2023/7/15 Azure Blob Storage とのデータ転送が GA • ブロック BLOB、ページ BLOB、追加 BLOB をサポート (書き込みはブロック BLOB のみ) • オブジェクトタグのコピーをサポート ◼ 2023/8/9 データコピーのサポートを他クラウドにも拡張 • Digital Ocean Spaces, Wasabi Cloud Storage, Backblaze B2 Cloud Storage, Cloudflare R2 Storage, Oracle Cloud Storage のサポートを追加 • これらのサービスに対するオブジェクトタグのコピーは未サポート
41. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS DataSync: DataSync Discovery の GA 41 ◼ ファイルサーバーのパフォーマンスと使用状況を可視化 • 使用率、容量、構成情報など、ストレージ システム リソースに関する詳細なレポートを提供 ◼ AWS ストレージサービス に移行するための推奨事項と見積もりコストを提示する • Amazon EFS/ Amazon FSx for NetApp ONTAP/ Amazon FSx for Windows File Server をサポート https://aws.amazon.com/jp/blogs/news/simplify-and-accelerate-your-data-migration-using-aws-datasync-discovery/
42. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b MFT によるファイル転送 ◼ セキュリティ • ファイル転送プロトコル (SFTP や HTTPS) によるデータの暗号化やアクセス制御の実装が容易 ◼ データの一貫性と完全性の確保 • ファイル転送中のデータ破損や欠落を検出し、自動的に再送することが可能 ◼ マルチクラウド、ハイブリットクラウド構成でのデータ移動 • オンプレミスや異なるクラウドプロバイダー間でのデータ転送が容易 ◼ 監視機能、管理機能 • 転送状況の監視や、転送履歴のログなどの運用管理機能を提供 これらはオンプレミスとの連携だけではなく、クラウド上のデータ連携でも必要な要素 42
43. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b HULFT とは ファイル転送をベースに、業務システム間のデータ連携を実現するミドルウェア製品 非常にシンプルな仕組み 初期設定がとても簡単 大量データを 確実に転送 マルチプラットフォームに 対応 HULFT＝Harmonious Universal Link File Transfer Windows/PC ファイルサーバ LAN WAN ・インターネット ・公衆回線(ダイアルアップ) ・VPN/専用線等 クラウド メインフレーム UNIX/Linux オフコン ※ ※．出典：株式会社富士キメラ総研「2004-2010パッケージソリューションマーケティング便覧」 「ソフトウェアビジネス新市場 2011-2023年版」 ＜ファイル転送ツール パッケージ・金額ベース＞2003年度実績～2022年度実績43
44. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b HULFT のクラウドネイティブ対応 パフォーマンス向上 • 転送速度の向上 • 監査ログ対応 HULFT7からの 機能追加、性能向上 • 転送速度の向上 • セキュリティ強化 • サイレントインストールによる 運用コストの削減 • 運用支援機能の追加 HULFTをコンテナサービス化 • 必要な時に必要な分だけHULFTを利用 • スケーリング設定やAPI連携等の 新たな価値を提供 • インターネット経由での安全なファイ ル連携 ファイル連携の デファクトスタンダード クラウドリフト/ クラウドシフト対応 クラウドネイティブ 対応 2008年 2014年 オンプレミスから クラウド環境への連携 • クラウドストレージへの直接 連携によるセキュリティ向上 と運用負荷の軽減 2019年 2024年2月リリース 2024年 HULFT7 HULFT8 クラウドストレージオプション HULFT8 HULFT10 運用/導入の負荷軽減 DXのバラバラをスルスルに。 HULFTの「つなぐ」は進化を続けます。 HULFTは、1993年のリリース以来、時代の要求に応え続けました。 HULFTリリースから30周年を迎えた現在でも、 ファイル転送のデファクトスタンダードとして愛され続けています。 44
45. HULFT10 for Container Services のご紹介
46. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b HULFT10 for Container Servicesとは 転送コンテナ HULFTによるファイル転送をベースにしたデータ連携を実施します。 下位バージョンであるHULFT8との通信を保証します。 管理コンテナ HULFTの管理情報や履歴などを管理します。 Web APIによるジョブ連携や、転送コンテナの制御等を管理するWeb画面を提供します。 コンテナオーケストレーション技術を採用したHULFT 永続領域 HULFT10 for Container Services 転送コンテナ DB Storage クラウドサービス 閉域網 管理コンテナ HULFT10の管理画面 ※画面イメージは、今後変更になる可能性があります。 管理コンテナ・転送コンテナともにスケーリングに対応 46
47. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 管理コンテナ ◼ HULFTの管理情報や履歴などを管理します。APIによるジョブ連携や、転送コンテナの制御 等を管理するWeb画面を提供します。 ◼ 管理コンテナの特長 ブラウザベースの管理画面か ら、HULFTの設定や管理がで きます。 管理情報や履歴は、コンテナ から独立した永続領域に保存 され、別コンテナへの引継ぎ やバックアップが容易です。 外部サービスや業務アプリと の連携はAPIで簡単に接続す ることが可能です。 GUIによる設定管理 設定やログの外部保管 API連携 永続領域 HULFT10 for Container Services 管理コンテナ 転送コンテナ DB Storage クラウドサービス 外部サービス 業務アプリ 閉域網 管理者 47
48. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b HULFT10 for Container Servicesの操作 製品操作のインターフェースはWeb画面とWeb API ※画面イメージは開発中のものです Web API • ログイン • ログアウト • 配信要求 • 再配信要求 • 送信要求 • 再集信要求 Web画面 HULFTブランドデザイン の採用でイメージを一新 UI/UXも大幅に改善 48
49. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 転送コンテナ ◼ HULFTによるファイル転送をベースにしたデータ連携をします。 ◼ 転送コンテナの特長 永続領域 HULFT10 for Container Services 管理コンテナ 転送コンテナ DB Storage クラウドサービス 閉域網 転送負荷に応じて、自動で転 送コンテナが起動するため、 必要なリソースを柔軟に確保 します。 HULFT8との通信を保証して いるため、HULFT連携を利用 したデータ連携基盤を構築可 能です。 万が一、障害が発生した場合、 別コンテナが自動起動するた め、サービスの可用性と業務 継続性を確保します。 負荷への耐性 HULFTとの通信可能 障害への耐性 管理者 49
50. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b AWS アーキテクチャイメージ 50 AWS Secrets Manager AWS Cloud Users and Clients HULFT10 VPC EFS VPC Amazon EFS Application Load Balancer HULFT10 ECS Cluster EC2 managed with ASG Control Container Transfer Container Amazon Aurora Mount Network Load Balancer Existing VPC AWS Direct Connect On-premises Network Load Balancer Amazon Route 53 AWS Certificate Manager VPC Peering AWS Marketplace 従量課金のコンテナ製品として利用可能 環境構築用の CloudFormation テンプレートを提供
51. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 今後の展望 51 HULFT10 for Container Services 従来ラインナップのバージョンアップ Coming soon HULFT10 for Linux HULFT10 for Windows HULFT10 for zOS 動作環境 Marketplace公開 AWS以外のクラウドサービス AWS Marketplace 機能 クラウドストレージ Amazon ECS Amazon EKS Kubernetes AWS以外のクラウドサービス (凡例) 記載内容はあくまで展望で、確定事項ではありません。 対応済 対応予定/検討中 オンプレミスのコンテナ基盤に対応した製品も今後登場
52. © SAISON INFORMATION SYSTEMS CO.,LTD. 先着 限定 名 様 応募フォームをHULFT10で送って インタビューにお答えいただくだけ！ 無料トライアル版でもご応募いただけます キャンペーンの詳細と応募方法はこちら
53. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b 詳しく知りたい方へのご案内 53 HULFTの導入事例を ご紹介しています。 製品事例 技術情報をフランクに 投稿しています。 Qiita ハンズオンセミナー 無料トライアル HULFTの基本操作を 体験できる無料セミナー です。 フル機能を31日間 無料でお試しできます。 https://www.hulft.com/casestudies https://qiita.com/tags/hulft https://www.hulft.com/seminar/hands-on/HL019 https://aws.amazon.com/marketplace/pp/prodview-wvjfdgrcxlbac?_fsi=dIfhhbW5
54. ハッシュタグ：#jawsdays2024 #jawsug #jawsdays2024_b さいごに 54 ◼ データ連携の重要性: ビルディングブロックとしてのクラウドサービス • クラウドでは様々なサービス、機能が提供されており、それらをつなぐことが重要 ◼ クラウド上のデータ連携は様々なパターンがあり、更にサービスアップデートで日夜進化 ◼ 既存システムとの連携はファイル転送が採用されることも多いが、前後処理や再送などの 作りこみはビジネス価値を生みずらい作業 ◼ AWS Transfer Family などのマネージドサービスはファイル転送の機能だけでなく、 ワークフローや API 連携などの周辺機能も提供する 少しでも皆さんの参考になっていたら幸いです この後も JAWS DAYS 2024 楽しみましょう！！！