Upgrade to Pro — share decks privately, control downloads, hide ads and more …

RubyとApache Arrow

hatappi
December 08, 2018

RubyとApache Arrow

Apache Arrow東京ミートアップ2018
https://speee.connpass.com/event/103514/
#ArrowTokyo

hatappi

December 08, 2018
Tweet

More Decks by hatappi

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 • Yusaku Hatanaka (@hatappi) • Red Data Tools のメンバー

    • Ruby, Go, TypeScript
 C, C++ • 煎り⼤⾖が好き
  2. Red Data Tools • Ruby⽤のデータ処理ツールを提供するプロジェクト • 基本はGitter上でやりとりをしている • https://gitter.im/red-data-tools/ja •

    毎⽉1回ミートアップしてる • 次回は12⽉11⽇ 来週⽕曜⽇
 https://speee.connpass.com/event/105238/

  3. Red Arrow • Apache ArrowのRuby binding • もともとはred-data-toolsのリポジトリで管理されていた が今はApache Arrow本体にある

    • GObject Introspectionを使⽤してbindingを実現している • Arrow側の関数情報が更新されていけばRed Arrowもそ の最新の機能を使うことができる
  4. ཁૉ਺ ࣮ߦ࣌ؒ T       

           JSONの読み書き
  5. ཁૉ਺ ࣮ߦ࣌ؒ T       

           Apache Arrowの読み書き 
  6. ࣮ߦ࣌ؒ (s) 0 1.5 3 4.5 6 ཁૉ਺ 10000 100000

    1000000 10000000 JSON Apache Arrow
  7. Apache Arrow ߦ਺ ࣮ߦ࣌ؒ T     

           
  8. ࣮ߦ࣌ؒ T      ߦ਺  

      DTW $DTW "QBDIF"SSPX
  9. ߦ਺ ࣮ߦ࣌ؒ T       

          CSV -> Arrow -> Parquet