Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Tableau + Pythonとデータのあり方
Search
Kazuya Araki
October 21, 2019
Technology
2
90
Tableau + Pythonとデータのあり方
Tableauデータサイエンス勉強会 第4回 - 画像認識技術とBIの巻-
登壇資料
https://techplay.jp/event/750555
Kazuya Araki
October 21, 2019
Tweet
Share
More Decks by Kazuya Araki
See All by Kazuya Araki
Tableau事例紹介 / Tableau Case Study of Eureka
kazuya_araki_tokyo
1
430
Tableau事例紹介 & 課題共有
kazuya_araki_tokyo
1
1.1k
統計とは? @ICUHS
kazuya_araki_tokyo
0
230
License Management @BizReach, Inc.
kazuya_araki_tokyo
0
41
Art and Science of Visual Analytics Episode 0
kazuya_araki_tokyo
0
35
Art and Science of Visual Analytics Episode 1
kazuya_araki_tokyo
1
96
Art and Science of Visual Analytics Episode 2
kazuya_araki_tokyo
0
35
Art and Science of Visual Analytics Episode 3
kazuya_araki_tokyo
0
28
株式会社ビズリーチの紹介@Data Analyst Meetup Tokyo vol.8
kazuya_araki_tokyo
0
64
Other Decks in Technology
See All in Technology
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
280
[JAWS-UG GameTech] 第6回 各種事例紹介_18TRIPにおけるAWSサービスを活用した負荷テスト・障害テスト
naoto_yasuda
0
120
GitHub Actions/Docker/Terraform/Renovate で最小限の Monorepo CD パイプラインを作る / Minimalistic Monorepo CD Pipeline with GitHub Actions, Docker, Terraform and Renovate
yuyatakeyama
4
350
OPENLOGI Company Profile
hr01
0
53k
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
3
1.5k
AWSへのNIST SP800-171管理策 導入に向けての整備/20240930 Mitsutoshi Matsuo
shift_evolve
0
160
【swonet.conf_】NOCメンバーが語るSTMの実態!! ~ShowNetから若者への贈り物~
shownet
PRO
0
230
Azure Verified Moduleを触って分かった注目ポイント/azure-verified-module-begin
mhrtech
1
180
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
260
XP matsuri 2024 - 銀河英雄伝説に学ぶ
kawaguti
PRO
3
520
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
260
【インフラエンジニアbooks】30分でわかる「AWS継続的セキュリティ実践ガイド」
hssh2_bin
4
1.3k
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1365
200k
Gamification - CAS2011
davidbonilla
80
5k
RailsConf 2023
tenderlove
28
840
Art, The Web, and Tiny UX
lynnandtonic
295
20k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.9k
How to Ace a Technical Interview
jacobian
275
23k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
7
560
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
125
18k
Designing Experiences People Love
moore
138
23k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Transcript
Tableau + Pythonと データのあり方 Tableau データサイエンス勉強会第4回
About Me 荒木 和也 Kazuya Araki Knight of Tableau DATA
Saber 受託開発 -> パッケージ開発 -> 某HR Tech & 個人事業 Engineer -> Data Analyst / Data Enginieer / Data Archtect Love: Data Hobby: J-Rock, Snow Sports, PC Game, Board Game etc(100+) https://www.facebook.com/kazuya.araki.tokyo @kazuya_araki_jp https://note.mu/jedi_trickstar https://public.tableau.com/profile/kazuya.araki#!/
お話しすること 最近考えている、思っていることについて語ってみます。 (サイエンスよりは、エンジニアリングの与太話となります) • データとTableau(Desktop)の関係 • TableauとPython
お話ししないこと 10分では足りないので。 • PythonのHow • TabPyの細かい話(本当は語りたい)
データとTableau(Desktop)の関係
基本はETL(データパイプライン)の考え方
Tableau(Desktop)は優秀
優秀すぎるが故の罠
優秀すぎるが故の罠 例: 計算フィールド多すぎ問題 • 単純にパフォーマンスが劣化する。 • メジャーの視認性が悪くなる。 • メジャー名を正しく定義しないと使うときに困る。 •
計算式が正しくなかった場合のレビューがとても難しい。 ◦ レビュワーもCreatorユーザーでなければならない。 etc...
優秀すぎるが故の罠
優秀すぎるが故の罠 例: カスタムSQL • SQLが実行できるデータソースで発生しうる。 ◦ データマート構築が進んでいない場合。 ◦ サービズデータを無加工でデータウェアハウスに格納して いる場合。
◦ 総じて、データエンジニアリングが未熟なフェーズ。 • Tableau Desktopのウインドウだと視認性が良くない。 • SQLが正しくなかった場合のレビューがとても難しい。 ◦ レビュワーもCreatorユーザーでなければならない。 ◦ 計算フィールドと複合していると原因特定に詰む。 ◦ SQLを書いた本人ですらわからない場合もある。 etc... (フォーマッターかけて) 800行超あるSQL
気をつけないと痛い目を見る
構成を考えてみる🤔
最近の推しの構成
最近の推しの構成
役割分担と構成管理
データ加工とデータ可視化を分けた方がよさそう • データ加工 = SQL / Python / Tableau Prep
Builder ◦ GitHubでコードを管理する。 ▪ データ定義を残す。 ▪ 再現性を担保する(= 誰が使っても同じ結果になる保証)。 ◦ SQLはデータベース、SQLでできないことはPythonに任せる。 ◦ API系はPython。 ◦ Tableau Prepは可能性しかない。今後に期待。 ▪ ただし、Prep Conductorまで使うには別途追加料金が必要。 • データ可視化 = Tableau Desktop ◦ Tableau側はデータについて関与しない。 ◦ Tableauはデータ可視化にだけ、注力するようにする。
TableauとPython
Python IDEの構成 from あらき
TabPyの登場
Tableau内でPythonが記述可能に TabPy
リプレース可能? TabPy 🤔
一人Zen問答したメモ at 2019/10/01 • TabPyの位置付けは計算フィールドと変わらないので、データパイプライン を考えると、役割分担ができない。 • 一方で、TabPyは構築さえできてしまえばTableau内で完結するので、楽とい えば楽。 •
どちらが優れているかは現時点では判断できない。 • 少なくとも、2人以上が関わるようになった場合は、Tableau内であれこれや るよりも、ちゃんと思考開示して共有できるようにしないと属人化は進むだ ろう。 ◦ Citizen Data Scientists向け? ◦ Data Engineerをかかえている組織であれば、分業した方が効率は良い?
もう少し、ざっくばらんに 議論したいです ※背景画像はイメージです
まとめ • データとTableau(Desktop)の関係 ◦ データパイプラインを意識する = ツールに適した役割分担をする。 ◦ データ定義はTableau(Desktop)内で行うべきではない(のが個人的見解)。 ◦
なんでもTableau(Desktop)で解決しようとしない。 • TableauとPythonTabPy ◦ データパイプラインを意識すると、TabPyの導入意義が薄れてしまう(のが個人的見解)。 ◦ もう少し深掘りしていきたいです🙇
None