Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ活⽤のためならなんでもやるDataDirectionTeamの話 / The DataD...

Sansan R&D
November 10, 2023

データ活⽤のためならなんでもやるDataDirectionTeamの話 / The DataDirectionTeam does whatever it takes to make use of data

■イベント:Sansan R&D TECH SHOWCASE -ビジネスをドライブするR&Dのウラガワ大公開-
https://sansan.connpass.com/event/299113/

■登壇概要
タイトル: データ活⽤のためならなんでもやるDataDirectionTeamの話
発表者: 技術本部 研究開発部 Architectグループ 坂⼝ 遥

◉ 研究開発職 採用情報
https://media.sansan-engineering.com/randd

◉ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Sansan R&D

November 10, 2023
Tweet

More Decks by Sansan R&D

Other Decks in Technology

Transcript

  1. 写真が入ります 坂⼝ 遥 a.k.a hacchi Sansan株式会社 技術本部 研究開発部 Architectグループ ⼀橋⼤学経済学部経済学科修了。新卒で⼤⼿コンサルティン

    グファームに⼊社し、様々なプロジェクトに関わった後、⼤ ⼿IT会社に転職。新卒採⽤や⼈事データ基盤の構築に携わる。 その後、スタートアップにて事業企画やデータマネジメント などを経験し、2023年9⽉にSansanに⼊社。現在は全社横断 のデータ基盤の開発とデータ利活⽤の促進に従事。
  2. DataDirectionTeamとは - 全社横断データ基盤の構築 > 各プロダクトごとに保存しているデータ、ログを⼀つのデータ基盤に統合する > 名刺データ分析基盤のデータも含まれる - 名刺データ分析基盤の開発・保守 >

    主に名刺データ(会社名・⽒名・所属・名刺の所有者情報等のテキストデータ) > ニアリアルタイム同期(Amazon DynamoDB)と、週次同期(Amazon Athena) がある - データ利活⽤の促進 > データ利活⽤機会の発⾒からダッシュボードの構築 > 研究開発部の他チームと連携し、機械学習関連データのパイプライン構築など
  3. DataDirectionTeamのメンバー ⼤澤 秀⼀ Shuichi Ohsawa ⼤島 武徳 Takenori Oshima 坂⼝

    遥 Yo Sakaguchi a.k.a hacchi TL 出相 早織 Saori Deai 中村 崚 Ryo Nakamura 副部⻑ 折島 晋司 Shinji Orishima
  4. 統合データ基盤のアーキテクチャ Cloud Storage Amazon S3 Amazon Aurora Storage Transfer Service

    Cloud SQL Logging Cloud Composer Project データ基盤 Data lake BigQuery Project データ分析A BigQuery DWH BigQuery Data mart BigQuery Project データ分析B BigQuery Group A Group B データ基盤エンジニア その他 AWSリソース Azure Blob Storage SalesForce Airbyte
  5. ちなみに、、、、 - BigQueryストレージ量 > 48.99TB - BigQueryテーブル数 > 約1300 -

    取り扱っているデータの種類 > プロダクトのlog/OCRの結果/CRMなど、多種多様