Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Heroes Map 秘伝のレシピ
Search
Yasunori Kirimoto
October 28, 2024
Technology
2
200
AWS Heroes Map 秘伝のレシピ
MIERUNE 朝LT 発表資料
Yasunori Kirimoto
October 28, 2024
Tweet
Share
More Decks by Yasunori Kirimoto
See All by Yasunori Kirimoto
State of Open Source Web Mapping Libraries
dayjournal
0
410
State of Amazon Location Service
dayjournal
0
260
State of Amazon Location Service
dayjournal
1
470
MapLibreとAmazon Location Service
dayjournal
1
550
AWS re:Invent 2023 現地での体験
dayjournal
1
920
英語が苦手でも世界にアウトプットしている話
dayjournal
3
1.7k
FOSS4GとAmazon Location Serviceの親和性
dayjournal
0
780
MIERUNEの組織とカルチャー
dayjournal
0
300
AWSにおける地理空間情報活用
dayjournal
0
670
Other Decks in Technology
See All in Technology
駆け出しリーダーとしての第一歩〜開発チームとの新しい関わり方〜 / Beginning Journey as Team Leader
kaonavi
0
120
AWS re:Invent 2024 re:Cap Taipei (for Developer): New Launches that facilitate Developer Workflow and Continuous Innovation
dwchiang
0
130
チームが毎日小さな変化と適応を続けたら1年間でスケール可能なアジャイルチームができた話 / Building a Scalable Agile Team
kakehashi
1
210
Visual StudioとかIDE関連小ネタ話
kosmosebi
1
360
OPENLOGI Company Profile
hr01
0
58k
アジャイルチームが変化し続けるための組織文化とマネジメント・アプローチ / Agile management that enables ever-changing teams
kakehashi
3
3.2k
Copilotの力を実感!3ヶ月間の生成AI研修の試行錯誤&成功事例をご紹介。果たして得たものとは・・?
ktc_shiori
0
310
あなたの人生も変わるかも?AWS認定2つで始まったウソみたいな話
iwamot
3
810
PaaSの歴史と、 アプリケーションプラットフォームのこれから
jacopen
7
1.1k
20241125 - AI 繪圖實戰魔法工作坊 @ 實踐大學
dpys
1
460
技術に触れたり、顔を出そう
maruto
1
130
20241228 - 成為最強魔法使!AI 實時生成比賽的策略 @ 2024 SD AI 年會
dpys
0
350
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Rails Girls Zürich Keynote
gr2m
94
13k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
113
50k
The Pragmatic Product Professional
lauravandoore
32
6.4k
GitHub's CSS Performance
jonrohan
1030
460k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.2k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
192
16k
BBQ
matthewcrist
85
9.4k
Testing 201, or: Great Expectations
jmmastey
41
7.2k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Transcript
Yasunori Kirimoto 2024.10.28 - MIERUNE 朝LT AWS Heroes Map 秘伝のレシピ
Yasunori Kirimoto AWS DevTools Hero MapLibre Voting Member OSGeo Charter
Member Owner of dayjournal MapLibre User Group Japan Amplify Japan User Group Notion Sapporo dayjournal dayjournal_nori Co-Founder and COO of MIERUNE
©OpenStreetMap contributors 01|AWS Heroes Mapとは 02|秘伝のレシピ 03|今後に向けて Contents
©OpenStreetMap contributors 01 AWS Heroes Mapとは
© 地理院地図 全国最新写真(シームレス) AWS Heroesの公式サイトがある 💻 AWS Heroes Mapとは
© 地理院地図 全国最新写真(シームレス) これもっと見やすくならないかな? 🤔 地図で可視化したらおもしろいかも! AWS Heroes Mapとは
© 地理院地図 全国最新写真(シームレス) AWS Heroes Mapを作った 🎉 AWS Heroes Mapとは
© 地理院地図 全国最新写真(シームレス) Global AWS Heroes Summit 2024のJeff BarrのKeynoteで紹介された 🎉
AWS Heroes Mapとは
©Project PLATEAU / MLIT Japan さまざまなコメント • 公開してくれてありがとう! • これはとてもクールだ!こういうのが好き
なんだ! • これは魔法なのか?なぜ私が住んでいる場 所を知っているんだ君は! • あなたは文字通り私を地図に入れた。 素 晴らしい仕事だ! • もっとヒーローが必要だ!どこの国も! • どんな技術を使っているんだ? • 地図のビジュアライゼーションは本当にイ ンタラクティブだ! AWS Heroes Mapとは
©Project PLATEAU / MLIT Japan さまざまなコメント • 262名だけ? 400名以上いると思っていた ◦
公式サイトも人数は書かれていな い... • 私はすでに引っ越している ◦ 公式サイトが更新されていない... • 俺がいない! ◦ 同一地域は拡大すると見える • 拡大すると多くの人々が表示されるぞ! ◦ ぱっと見わかりづらい • 私が違う場所にいるようだ ◦ 住所情報が不十分で同一名称の他 地域に表示されているよ... AWS Heroes Mapとは
© 地理院地図 全国最新写真(シームレス) 可視化することでさまざまなことが見えてきた 💡 AWS Heroes Mapとは
©OpenStreetMap contributors 02 秘伝のレシピ
©Project PLATEAU / MLIT Japan 利用技術 • マップライブラリ ◦ MapLibre
GL JS • 背景地図 ◦ Amazon Location Service ◦ Open Data Style • ホスティング ◦ AWS Amplify • ドメイン ◦ Cloudflare • データ前処理 ◦ Python • 秘伝のレシピ
アプリケーション データ 今回はデータの準備が大変だった! 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) データ作成は260件くらいだし手動でもできるよな... 🤔 エンジニアなんだからテクノロジーで解決だ! 秘伝のレシピ
©Project PLATEAU / MLIT Japan スクレイピング • Pythonで公式サイトをスクレイピングし CSVを作成 •
候補の中からSeleniumを選択し実装したが すべてのデータが取れない... • ページング等でうまく取得できていなかっ た • Playwrightに切り替えて再実装 (Playwright はE2Eテストツールでも利用されている) • 一覧データをCSVに保存した ChatGPTで取得した一覧の例 秘伝のレシピ
©Project PLATEAU / MLIT Japan スクレイピング • 下記データを取得しCSV作成 • Hero
Category ◦ AWS DEVTOOLS HERO • Hero Name ◦ Yasunori Kirimoto • Hero Since ◦ Hero since 2022 • Location ◦ "Sapporo, Japan" • Photo Link • Detail Link • 秘伝のレシピ
©Project PLATEAU / MLIT Japan ジオコーディング • PythonでデータのLocationから対象地域の 中心座標を求めてCSVに追記 •
候補の中からGeoPyを選択し実装した • GeoPyはさまざまなジオコーディングAPI を利用できる • 今回は位置精度も市町村レベルまでで良い のでNominatim (OSM)を選択した • 経緯度データをCSVに追記した 秘伝のレシピ
©Project PLATEAU / MLIT Japan ジオコーディング • 下記データを取得しCSVに追記 • lat
◦ 37.557903 • lon ◦ 126.985945 • 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) よしこれでデータは完成だ! ん? なんか座標が取得できていないレコードある? 🤔 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 住所2つ入ってるやん⁉ 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 通常: Sapporo, Japan アレ: Vancouver, Canada /
Sydney, Australia これはイレギュラー対応だな... 😇 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) よしこれでデータは完成だ! ん? なんかレコード数多くない? 🤔 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 同じ人2名いるやん⁉ 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 秘伝のレシピ
©Project PLATEAU / MLIT Japan 重複データ削除 • PythonでデータのHero Nameの重複を削 除しCSVを再作成
• 候補の中からPandasを選択し実装した • AWSチームに重複データがあることを報 告し現在は公式サイトも修正済 • 重複データを削除しCSVを再作成した • 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) さすがにこれでデータは完成だよね? ん? なんか一部のアイコンが表示されてない? 🤔 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 同一地域で同一座標値で重なってるやん⁉ 秘伝のレシピ
©Project PLATEAU / MLIT Japan 同一座標データの調整 • Pythonでデータのlatとlonが同一のものを ランダムに調整しCSVを再作成 •
候補の中からNumPyとPandasを選択し実 装した • 同一座標データを調整しCSVを再作成した • 秘伝のレシピ
©Project PLATEAU / MLIT Japan GeoJSONに変換 • PythonでCSVデータをGeoJSONデータに 変換 •
候補の中からPandasを選択し実装した • CSVデータからGeoJSONデータを作成し た • 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) よしこれでデータは完成だ! 最後にマップアプリケーション構築だ! 秘伝のレシピ
©Project PLATEAU / MLIT Japan マップアプリケーション構築 • AWS Heroesの所在地と情報を可視化した マップアプリケーションを構築
• maplibregljs-amazon-location-service-start erを利用し構築した • Amazon Location ServiceのOpen Data Styleを背景地図で利用した • AWS AmplifyでホスティングしCloudflare のドメインを利用し連携した • データ更新時はGeoJSONファイルの入れ 替えのみ 秘伝のレシピ
© 地理院地図 全国最新写真(シームレス) 課題を一つずつ解決 • スクレイピング • ジオコーディング • 重複データ削除
• 同一座標データの調整 • GeoJSONに変換 • マップアプリケーション構築 秘伝のレシピ
©OpenStreetMap contributors 03 今後に向けて
© 地理院地図 全国最新写真(シームレス) データは大事です! みなさん登録情報は最新にしましょう! 今後に向けて
© 地理院地図 全国最新写真(シームレス) 今後に向けて 今後に向けて • データ部分のCI/CD化したい • 同一座標データの表現方法を改善したい •
これをサービス化したらおもしろいかも
© 地理院地図 全国最新写真(シームレス) 常にアンテナを立てることで見え方が変わる 📡 それらをテクノロジーで解決 💡
© 地理院地図 全国最新写真(シームレス) Thank you!! Yasunori Kirimoto dayjournal.dev