Would you THINK such a demonstration interesting ?

こういうデモ、面白いと思います？

#datatechjp No.7 in 2025/04/16 発表

Transcript

1. こういうデモって面白いと思います？ datatech-jp Casual Talks #7
2. 自己紹介 DataOps/Data Engineering/Data Intelligence/Data Integration系ソフトウェアの 技術営業をしています。 技術営業とは、製品の説明やデモ、ハンズオン等を行う、営業部門にいる技術要員の ことです。 製品の例としてはデータカタログ、ETL、ストリーミング、データレイクハウス、 データプロダクト等など、多岐にわたります。 なお、この資料の内容や主張は発表者本人のものであり、 所属する組織の意見を必ずしも代表しません。
3. 過去資料 データカタログのハンズオンなども過去（2023年度）に行っています。 資料は公開しているので、よろしければ御覧ください。 https://ibm.biz/BdKggQ
4. 背景 製品の機能のデモ等をよく実施するのですが、 datatechjpに参加している人の目から見て、面白いのかどうか、 ちょっと聞いてみたいな、と思った次第です。 今回はサンプルとなるようなデモ構成をお見せするので、 このあたりが面白い このあたりが面白くない こういうデモがあったらいいのに など、いろいろご意見をTwitter（現Ｘ）等で呟いていただけると幸いです。
5. 考え方 システム開発（特にウォーターフォール開発）の場合、 以下のように階層的に考えて、上位レイヤー（WHY）から 下位レイヤー（WHAT）に進める事が通常です。 WHY：なぜそれをするのか？といったビジネス要件など ↓ HOW：どのように実現するのか？といったアーキテクチャや設計など ↓ WHAT：何を使うのか？といった個別技術や製品の実装
6. 考え方 製品デモの場合も、お客様の業界、要件→設計→技術や製品、 という感じで考える事が一般的です。 （とはいえ、製品デモをして欲しい、というお話が来た時点で、 既にある程度、要件は大まかには決まっていることが多いです） WHY：なぜそれをするのか？といったビジネス要件など ↓ HOW：どのように実現するのか？といったアーキテクチャや設計など ↓ WHAT：何を使うのか？といった個別技術や製品の実装
7. 考え方 ただし、サンプルの製品デモを作る場合であれば、製品ありきになりますので、 流れが逆になり、まず製品から始まり、次にその使われ方（アーキテクチャ）、 最後に、それがあてはまりそうなお客様やユースケース、という感じで考える 事もあるかと思います。 WHY：なぜそれをするのか？といったビジネス要件など ↑ HOW：どのように実現するのか？といったアーキテクチャや設計など ↑ WHAT：何を使うのか？といった個別技術や製品の実装
8. 今回お見せするサンプルデモ構成 元々はストリーミングデータのデモで、金融取引データの リスク分析システムを想定しています。 ハイリスクであると判定された取引データを絞り込んでデータベースに格納して ダッシュボードに表示します。一方で、全量データについては安いオブジェクトス トレージに格納します。 以降の赤字部分は後付ですが、 データレイクハウスアーキテクチャを使用してPresto経由で検索・分析可能 データカタログにも登録しておくことで、利用者が簡易に検索・利用可能
9. デモのアーキテクチャー（概要） ストリーミングデータ 元 ストリーミングデータ処理 ハイレベルリスクDB Object Storage 捨てるデータ Severity=high Severity=low 各種加工と フィルタリング データレイクハウス SQLエンジン群 データカタログ データカタログ （部署別） データ分析用 コンテナ基盤 ダッシュボード リアルタイム 傾向分析 全量データ：ファイル形式 SaaS データフロー メタデータ データ照会 過去傾向 確認 メタデータストア ストリーミング データ基盤
10. デモのソフトウェア連携（詳細） Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter Add item Amend item All data （parquet） watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
11. デモのソフトウェア連携（詳細） Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter Add item Amend item All data （parquet） watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
12. ストリーミング（管理画面：SaaS/データ処理はLinuxローカル） 外部のObjectStorage
13. デモのソフトウェア連携（詳細） Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter Add item Amend item All data （parquet） watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
14. データレイクハウス 外部のObjectStorage
15. Object Storage
16. Parquetファイルの中身
17. デモのソフトウェア連携（詳細） Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter Add item Amend item All data （parquet） watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
18. データカタログ（データレイクハウスに格納されたparquetをHive経由でみたもの） 列情報 オントロジー 統計情報 品質情報
19. デモのソフトウェア連携（詳細） Kafka PostgreSQL Object Storage Garbage Bin Severity=high Severity=low Filter Add item Amend item All data （parquet） watsonx.data Catalog Presto IBM Knowledge Catalog Data Catalog # # # # Linux Openshift Cognos Dashboard リアルタイム 傾向分析 過去傾向 確認 データフロー メタデータ IBM Cloud StreamSets データ照会 Catalog Spark
20. ダッシュボード
21. まとめ 面白い、面白くない、という以外にも、こういうデモってできる？とか 等のご意見をいただけますと幸いです。
22. 次回予告 メタデータやデータリネージュといった、 最近データエンジニアリング界隈でよく聞かれる概念。 しかし我々人類は、大昔からそれを知っていた！ 次回、「鎌倉武士から読み解く、メタデータとリネージュと」 デュエルスタンバイ！
23. 宣伝 https://www.ibm.com/jp-ja/events/techxchange