Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Digdag と Embulk と Athena で作る Gunosy の ELT基盤

Digdag と Embulk と Athena で作る Gunosy の ELT基盤

Civitaspo

July 31, 2019
Tweet

More Decks by Civitaspo

Other Decks in Technology

Transcript

  1. 株式会社 Gunosy Gunosy Tech Lab Data Reliability & MLOps Group

    中山貴博 2019年7月31日 Digdag と Embulk と Athena で作る Gunosy の ELT基盤
  2. (C) Gunosy Inc. All Rights Reserved. PAGE | 2 ▪

    中山貴博 (@Civitaspo) ▪ Gunosy Tech Lab Data Reliability & MLOps Group Manager ▪ 経歴 – DeNA -> Gunosy (2017/10 ~) – Hadoop の運用や ETL全般 ▪ Embulk/Digdag などの古橋ウェアが大好 き – Digdag Plugin公開数7個(総合1位) – Embulk Plugin公開数13個(総合3位) 自己紹介
  3. (C) Gunosy Inc. All Rights Reserved. PAGE | 3 株式会社Gunosy

    ギリシャ語で「知識」を意味する「Gnosis(グノーシス)」+「u(“you”)」 「”Gnosis” for “you”」あなたのための知識  =情報を届けるサービスを提供し続ける、という意味 ▪ 2012年11月創業 ▪ 2015年4月東証マザーズ上場 ▪ 2017年12月東証第一部に市場変更 ▪ 従業員数 215名 (2019年5月末現在 連結ベース) ▪ 事業内容 – 情報キュレーションサービスその他メディアの開発 及び運営 ▪ 提供サービス  グノシー、ニュースパス、LUCRA(ルクラ) 企業理念「情報を世界中の人に最適に届ける」
  4. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  5. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  6. (C) Gunosy Inc. All Rights Reserved. PAGE | 7 ▪

    Gunosy で ETL 基盤を構築するに至った経緯 ▪ いかに利用者/運用者双方のコストを下げてきたか ▪ 現在の ETL 基盤のお手軽さ – AWS 上で Digdag/Embulk を運用してるなら明日から導入できるレ ベルの導入コストの低さ – 複雑な処理は Plugin が解決してくれる – 主な処理を Athena に任せる運用レスな世界 Gunosy における ETL 基盤の目的と変遷、そして現在の ETL 基盤のお手軽さ 今日話すこと
  7. (C) Gunosy Inc. All Rights Reserved. PAGE | 8 ▪

    資料は SpeakerDeck に公開済みです – https://speakerdeck.com/civitaspo/ ▪ タイトルも構築した基盤もELT基盤なのですがETLかELTの違いが発表の 重要なポイントというわけではないのでETLに表記統一しています ▪ Digdag/Embulk/Athena の話を中心に行うので、その他の部分は意図的 に薄くしか書いていません。気になる点があれば懇親会などでお話させて ください。 ▪ この発表で説明する ETL 基盤で使われている Plugin は全て公開してい ますので興味を持っていただけたら利用してフィードバックいただけるとと 嬉しいです – https://github.com/civitaspo/embulk-output-s3_parquet – https://github.com/civitaspo/digdag-operator-athena おことわり
  8. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  9. (C) Gunosy Inc. All Rights Reserved. PAGE | 11 横断データ基盤

    / ETL基盤機運の高まり New? 実績 実績 実績 配信実績 ▪ 歴史的な事情からアプリ個別にデータ基盤・ETL基盤を持っていた ▪ 新アプリ毎に都度ロジック開発する負荷やコールドスタートを回避したい ▪ 都度チームを作って負荷が高まることやサイロ化を防ぎたい Gunosy 横断のデータ基盤 / ETL 基盤の必要性
  10. (C) Gunosy Inc. All Rights Reserved. PAGE | 12 ▪

    DRE = Data Reliability Engineering ▪ Gunosy のデータを集中管理し信頼性を担保する組織 – Gunosy Way “数字は神より正しい” – この “数字” の信頼性を担保する ▪ 具体的には – データ基盤・ ETL 基盤の統合 – 個別サービスでは必要のなかったデータの収集・生成 – サービス間のデータ組み合わせによるデータ資産価値向上 – 各サービスへのデータ配信 – ... DRE Team 爆誕 今日の発表ではこのETL基盤部分について取り扱います
  11. (C) Gunosy Inc. All Rights Reserved. PAGE | 13 ▪

    安定していること ▪ データデリバリーが高速であること ▪ 複数 AWS Account からのアクセス可能であること ▪ 様々なデータソース・フォーマットを扱えること ▪ データを必要する人が主体的に ETL Workflow を構築できること – “DRE だけがデータを作れる” とするとスケールしない – データを必要とする人 = 主にデータサイエンティスト • SQL がめちゃめちゃ書ける – DRE がレビューできること ▪ ... Gunosy の ETL基盤に求められること   ★ ETL Workflow は UI で作るよりもコード管理できることが重要   ★ SQL を中心とした ETL 開発ができると開発速度向上が見込める   ★ 入出力は様々なデータソース・フォーマットへ対応可能である必要がある
  12. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  13. (C) Gunosy Inc. All Rights Reserved. PAGE | 16 ▪

    これからお話する ETL 基盤では様々なデータソースからデータを抽出し、 S3 へデータを格納した後 Athena のテーブルとして利用できる状態にす るところまでにしか触れません。 – データ活用部分にまで触れちゃうと時間ガガガ… – すべてのデータを安定的に S3 に格納するまでの ETL 基盤をどう構 築したかという観点でご覧になってください ▪ あと Airflow を少し悪く書きますが、 Airflow の運用に知見のある人と構築 していたら違う結果になったかもしれません。 単なる1事例としてご覧に なってください 前提の共有
  14. (C) Gunosy Inc. All Rights Reserved. PAGE | 18 ETL基盤の変遷:

    v1 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon EMR Amazon Simple Storage Service (S3)
  15. (C) Gunosy Inc. All Rights Reserved. PAGE | 19 ETL基盤の変遷:

    v1 Airflow の選定理由 • Gunosy で利用される主要言語の1つである Python で Workflow を 記述できる • 開発コミュニティが大きい • GCP や AWS で Managed Service として提供されるなど大企業で の採用事例が多いため、スケーラビリティも高く、これからのスタン ダードになっていくだろうことが見込めた Presto の選定理由 • 分散SQL実行エンジン • データ処理で主にメモリを利用するため高速 • スケーラビリティが高い • Presto は様々なデータソースへ接続可能な Connector が存在 — 必要であれば Connector の自作もできる Airflow と Presto を採用し、SQL のみで ETL できる基盤を構築した
  16. (C) Gunosy Inc. All Rights Reserved. PAGE | 20 ETL基盤の変遷:

    v1 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon EMR Amazon Simple Storage Service (S3) 全てのテーブル情報は Glue Data Catalog に格 納 管理は Terraform で行っている
  17. (C) Gunosy Inc. All Rights Reserved. PAGE | 21 ETL基盤の変遷:

    v1 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon EMR Amazon Simple Storage Service (S3) Airflow Operator を自作(※)し、 SELECT 文を記 述するだけで既存テーブルの Partition としてデー タ格納できるようにした apas = Add a Partition As Select ※ https://github.com/civitaspo/airflow-plugin-glue_presto_apas
  18. (C) Gunosy Inc. All Rights Reserved. PAGE | 22 ETL基盤の変遷:

    v1 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon EMR Amazon Simple Storage Service (S3) 全てのデータソースに Presto から接続し、 SELECT 文のみでデータ抽出できるように
  19. (C) Gunosy Inc. All Rights Reserved. PAGE | 23 ETL基盤の変遷:

    v1 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon EMR Amazon Simple Storage Service (S3) INSERT…SELECT… でデータを格納
  20. (C) Gunosy Inc. All Rights Reserved. PAGE | 25 ETL基盤の変遷:

    v1 ETL 基盤の限界 Poison Pill 問題 • https://issues.apache.org/jira/browse/AIRFLOW-4514 • Taking the poison pill. とログに出たとき、 Airflow 上では Task が成 功しているが実際には何も実行されていない状態になる Scheduler Stuck 問題 • https://issues.apache.org/jira/browse/AIRFLOW-401 • 大量に再実行を走らせたときに発生 • Scheduler が全く Task を Schedule しなくなる Airflow を安定運用するコストが高い
  21. (C) Gunosy Inc. All Rights Reserved. PAGE | 26 ETL基盤の変遷:

    v1 ETL 基盤の限界 execution_date の仕様が直感的ではない問題 • execution_date は実際に schedule される時間の1つ前の時間が格 納されている — “0 1,13 * * *” という schedule だと 13時に実行される Task の execution_date には 1時が入っている • レビューでひたすら指摘する必要が… Python で自由度高く Workflow を記述できる反面、全体像を把握しにくい • UI で rendering されないと Dag が理解できない — 複数の branching や join があると読むのがかなり厳しくなる — `op1 >> op2 >> op3`, `op2 >> op4 >> op5`, `op4 >> op3`, ... Airflow を利用してもらうコストが高い 基盤の安定性・利用者の開発容易性の観点から Airflow を運用しつづけるのは妥当ではないと判断
  22. (C) Gunosy Inc. All Rights Reserved. PAGE | 27 ETL基盤の変遷:

    v1 ETL 基盤の限界 INSERT...SELECT...のエラーハンドリング難しい問題 • 公式が提供する presto-python-client は INSERT...SELECT...の結 果を SELECT が成功した時点で返すため、実際に S3 にデータが格 納されたことを保証しない — https://github.com/prestodb/presto-python-client/issues/58 • S3 上の Object 生成を確認したり SELECT COUNT(1) などでデー タ件数の確認をする必要がある EMR 費用が高い問題 • Spot Fleet を使えばある程度 Instance 代は抑えられるが… • Spot Fleet を利用すると代わりに Auto Scaling が出来ないので自前 で実装する必要がある Presto にも少し辛みが…
  23. (C) Gunosy Inc. All Rights Reserved. PAGE | 28 ETL基盤の変遷:

    v1 ETL 基盤の限界 EMR で複数の Connector を扱うのが難しい • EMR で追加できる Connector は 1種類につき1つのみ — 複数の MySQL Connector を使いたい場合は自前の bootstrap action を書く必要がある — MySQL を読みたい利用者と EMR の運用者の作業が密結合に MySQL 上で enum として定義したカラムを CAST AS VARCHAR すると全 ての値が enum の最大長までスペースで埋められる • a, bbb の2択だとすると取得結果は “a ”, “bbb” となる • SELECT 文で TRIM を入れてもらうなどデータソースごとに挙動の違 いを意識する必要がある Presto にも少し辛みが… Presto にも運用コスト・利用者の開発容易性に課題が出てきた
  24. (C) Gunosy Inc. All Rights Reserved. PAGE | 29 ETL基盤の変遷:

    v1 ETL 基盤 まとめ ▪ Airflow は基盤の安定性・利用者の開発容易性の観点から別の Workflow Engine に変える判断になった ▪ Presto も運用コスト・利用者の開発容易性の面で課題解決が必要になっ た Airflow/Presto で ETL 基盤を構築したが改善すべき点が多数出てきた
  25. (C) Gunosy Inc. All Rights Reserved. PAGE | 31 ETL基盤の変遷:

    v2 Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3)
  26. (C) Gunosy Inc. All Rights Reserved. PAGE | 32 ▪

    Treasure Data が開発する Workflow Engine ▪ YAML で Workflow を記述する – プログラミング言語で Workflow を記述でき ないので多少冗長になる一方、 Workflow から生成される処理量が比較的予測しや すい ▪ Plugin 機構や ScriptingOperators による拡張 性が高い ▪ 社内で大規模利用実績があり安定運用のノウ ハウがある 新 Workflow Engine に Digdag を採用 ETL基盤の変遷: v2 https://tech.gunosy.io/entry/introduce-digdag-plugins
  27. (C) Gunosy Inc. All Rights Reserved. PAGE | 33 ▪

    Treasure Data が開発する Bulkload Tool ▪ Plugin 機構により様々なデータソース・フォー マットのデータを Load することができる – 既に100以上の Plugin が存在するため大 抵のケースでは Plugin 開発無しにデータ の Load が可能 ▪ 前職で大規模利用の経験があり安定運用のノ ウハウがある Presto でクエリを実行するデータソースを統一するため S3 以外のデータソースは Embulk で一度 S3 に格納する方針に ETL基盤の変遷: v2 https://speakerdeck.com/civitaspo/embulknizu-rinai5tufalsekoto
  28. (C) Gunosy Inc. All Rights Reserved. PAGE | 34 ▪

    Amazon の Managed Query Service – Hive Connector で S3 に対してのみアクセ スできる Managed Presto だと思って良い ▪ データスキャン量によってのみ課金される – $5 / 1TB – CREATE TABLE などの DDLクエリは無料 – 正常に完了しなかったクエリは無料 ▪ 同時実行数は最大50まで上げられる – 50以上は AWS と相談が必要 ▪ 2018-10-11 から CTAS を Support し、データ 生成にも使えるようになった – v2 ETL 基盤の肝となる機能 データソースを S3 のみとしたので Presto は Amazon Athena に置き換え ETL基盤の変遷: v2
  29. (C) Gunosy Inc. All Rights Reserved. PAGE | 35 ETL基盤の変遷:

    v2 ETL 基盤 まとめ Digdag/Embulk/Athena で ETL 基盤を再構築した ▪ Workflow Engine は運用ノウハウのある Digdag となり安定した ▪ Dag の記述では実行開始時間と同値の session_time を使えるようにな り、また Digdag の DSL で記述するように変わり、運用者/利用者ともに 直感的に記述できるようになった(少なくとも僕たちにとっては) ▪ Presto on EMR を Athena という Full-Managed Service に変更したため EMR の運用コスト(金銭的/人的)が大幅に下がった ▪ S3 以外のストレージにあるデータは Embulk で事前に S3 に格納するた め利用者はストレージの種別を意識しながら SQL を書かなくて良くなった
  30. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  31. (C) Gunosy Inc. All Rights Reserved. PAGE | 38 Digdag/Embulk/Athenaで作るお手軽ETL基盤

    このパートでは構築した v2 ETL 基盤の詳細とお手軽ポイントについて話します ▪ データ格納までの流れ ▪ embulk-output-s3_parquet ▪ digdag-operator-athena
  32. (C) Gunosy Inc. All Rights Reserved. PAGE | 40 データ格納までの流れ

    Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3) k8s Job として Embulk を実行
  33. (C) Gunosy Inc. All Rights Reserved. PAGE | 41 データ格納までの流れ

    Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3) MySQL や DynamoDB を input とし Parquet File として S3 へ格納 格納と同時に input の schema 情報から Glue Data Catalog へ Schema 登録
  34. (C) Gunosy Inc. All Rights Reserved. PAGE | 42 データ格納までの流れ

    Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3) Athena CTAS を実行しデータを格納
  35. (C) Gunosy Inc. All Rights Reserved. PAGE | 44 Digdag/Embulk/Athenaで作るお手軽ETL基盤

    Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3) ココ
  36. (C) Gunosy Inc. All Rights Reserved. PAGE | 45 embulk-output-s3_parquet

    ▪ S3 上に Parquet File を出力する Embulk Output Plugin – https://github.com/civitaspo/embulk-output-s3_parquet ▪ 既に embulk-output-parquet という Plugin があるが AWS に特化して作 られている点で異なる – AWS の全ての認証に対応している • embulk-output-parquet は hadoop-aws というライブラリに依存 しているため ECS Task Role に対応していない – S3 固有の ACL 設定に対応している – catalog option がある embulk-output-parquet https://github.com/choplin/embulk-output-parquet
  37. (C) Gunosy Inc. All Rights Reserved. PAGE | 46 embulk-output-s3_parquet:

    catalog option ▪ 指定されると Glue Data Catalog に Table を作成する option ▪ Parquet File の作成に利用した Schema を元に Table 定義を自 動生成してくれる ▪ MySQL から Full-dump するだけ なら一切カラム定義を書かずに Athena にテーブルが作られる どんなデータソース、どんなフォーマットでも Embulk を1度実行するだけで 圧縮の効いた Athena Table としてアクセスできるようになった! お手軽!
  38. (C) Gunosy Inc. All Rights Reserved. PAGE | 48 Digdag/Embulk/Athenaで作るお手軽ETL基盤

    Data Catalog Amazon Simple Storage Service (S3) Amazon Aurora Amazon Elastic Container Service for Kubernetes Amazon Simple Storage Service (S3) Amazon Athena Amazon Simple Storage Service (S3) ココ
  39. (C) Gunosy Inc. All Rights Reserved. PAGE | 49 digdag-operator-athena

    ▪ digdag で athena を操作する Plugin – https://github.com/civitaspo/digdag-operator-athena ▪ 2019-07-30 時点で 10個の Operator をサポートしている – その中でもお手軽ポイントである2つを紹介する • athena.ctas> • athena.apas>
  40. (C) Gunosy Inc. All Rights Reserved. PAGE | 51 digdag-operator-athena:

    athena.ctas> ▪ Athena の CTAS (Create Table As Select) 機能を便利に使う Operator ▪ SELECT 文と出力先情報を記述するだけで CTAS 対応の CREATE TABLE 文を自動生成して実行してくれる – 多くの利用者は SELECT 文には慣れているが CREATE TABLE 文 には慣れていないという前提 – CTAS に必要な Format や Compression を事前に運用者側で定義 してあげることで利用者は出力したいデータと出力先に集中できる
  41. (C) Gunosy Inc. All Rights Reserved. PAGE | 52 digdag-operator-athena:

    athena.ctas> ▪ _export や param file などで フォーマットや圧縮形式、データ作 成時の挙動など運用者側で事前 に定義しておく ▪ SQL は dig ファイルに直接定義し ても良いし、SQL ファイルの Path を記述することもできる 利用者は database / table / location といった出力先と データを出力するための SELECT 文だけを気にすれば良い! お手軽!
  42. (C) Gunosy Inc. All Rights Reserved. PAGE | 53 digdag-operator-athena:

    athena.ctas> ▪ CTAS にはいくつかの制約がある – 既に Table が存在している場合は実行されないかエラーとなる – 出力先の Location が存在している場合エラーとなる – 必ず Table を作成しなければならない ▪ athena.ctas> Operator は save_mode / table_mode という2つの Option から事前事後処理を自動生成し上記制約を乗り越えている – save_mode: Table/Location が存在していた場合の挙動 • 上書きや存在していたら処理しないといった処理 – table_mode: Table/Location 作成時の挙動 • テーブル定義のみ取得したい場合に空テーブルを作ったり • 逆にデータしか作成しないということもできる CTAS を ETL として利用するために乗り越えたこと
  43. (C) Gunosy Inc. All Rights Reserved. PAGE | 54 athena.ctas>

    による多段 ETL ▪ 必要なテーブルを複数 作成後に最終的な出力 を得る技 ▪ 後で捨てるなら location を省略できる ▪ Query Timeout に引っ かかるような重いQuery を実行するときなどに使 える
  44. (C) Gunosy Inc. All Rights Reserved. PAGE | 56 digdag-operator-athena:

    athena.apas> ▪ Athena の CTAS (Create Table As Select) 機能を乱用して APAS (Add A Partition As Select) を実現する Operator ▪ SELECT 文と出力先情報を記述するだけで APAS に必要な処理を全て 自動生成してくれる – Locaiton や Format / Compression も Table 情報から自動で生成す るため SELECT 文と Partitioning の値のみ設定すればよい • Glue Data Catalog に正しく Table が定義されている必要はあ る • Locaiton や Format / Compression を明示することも可能 – SELECT 文によって生成されるカラム定義と Table の定義に差分が ないかの確認も行ってくれる
  45. (C) Gunosy Inc. All Rights Reserved. PAGE | 57 digdag-operator-athena:

    athena.apas> ▪ Location/format/compression は Table 情報から自動生成 ▪ SQL は dig ファイルに直接定義し ても良いし、SQL ファイルの Path を記述することもできる 利用者は database / table / partition 情報といった出力先と データを出力するための SELECT 文だけを気にすれば良い! お手軽!
  46. (C) Gunosy Inc. All Rights Reserved. PAGE | 58 digdag-operator-athena:

    athena.apas> 1. save_mode を元に事前処理実行: Partition/Location の存在を確認して エラーを発火したり削除を行ったり。 2. athena.ctas> operator の table_mode: empty で空テーブルを作成 a. CREATE TABLE AS SELECT WITH NO DATA 構文 b. Glue Data Catalog 上にテーブル定義が作られる 3. 作成した空テーブルと Partition 追加するテーブルのカラム情報を比較し diff があればエラーを発火 4. 作成した空テーブルを削除 5. athena.ctas> operator で partition location に table_mode: data_only でデータのみ出力する 6. athena.add_partition> operator で location とテーブルを紐付け athena.apas> が自動生成する Worklow について
  47. (C) Gunosy Inc. All Rights Reserved. PAGE | 59 Digdag/Embulk/Athenaで作るお手軽ETL基盤

    embulk-output-s3_parquet • AWS に特化して作ることで AWS 特有の機能を実装できた • catalog option は Athena 利用者にとって非常に便利 digdag-operator-athena • CTAS 機能を ETL として使うための Workflow 自動生成機能は複雑 な Workflow を考慮する必要がなくなり ETL 構築に強力なサポート を提供してくれる • 特に APAS 機能は時系列データの蓄積を Athena 上で行う際に非常 に楽に Workflow を構築することができる ETL 基盤 = Extract / Transform / Load することに集中できる基盤 • 複雑な前処理・後処理は意識したくない・させたくない • 処理を定型化して Plugin に隠蔽することで ETL Workflow 構築に集 中できるようにした このパートでは構築したETL基盤のお手軽ポイントについて話しました
  48. (C) Gunosy Inc. All Rights Reserved. もくじ はじめに Gunosy の

    ETL 基盤事情 構築したETL基盤の変遷 Digdag/Embulk/Athenaで構築するお手軽ETL基盤 おわりに 1 2 3 4 5
  49. (C) Gunosy Inc. All Rights Reserved. PAGE | 62 おわりに

    一緒に Gunosy で働こ う!!!!!