pixivとThrift

Transcript

1. pixivͱThrift
2. ࣗݾ঺հ • ߴࢁ Թ @edvakf • pixivͷອըࣄۀͷ։ൃ੹೚ऀ • ීஈॻ͍ͯΔͷ͸Scala΍PHPɺͨ·ʹJS΍Ruby΍Go • ϦʔυΤϯδχΞ • ձࣾͷٕज़બ୒ʹ੹೚Λ࣋ͭ • ʮࣾ಺ͷΤϯδχΞ͕޾ͤʹಇͨ͘Ίʹ͸ʯΛߟ࣮͑ݱ͢Δۀ
3. Thrift
4. Thriftͱ͸ • RPCͷͨΊͷϑϨʔϜϫʔΫ • ಠࣗͷΠϯλʔϑΣΠεఆٛݴޠͰσʔλߏ଄ͱαʔϏεΠϯλʔϑΣ ΠεΛهड़ • ͦΕΛίϯύΠϧ֤ͯ͠ݴޠͷϥΠϒϥϦΛग़ྗ • ௨৴ϨΠϠʔ͸ಠࣗͷιέοτϓϩτίϧͷଞʹɺHTTPͳͲ΋બ΂Δ • ΍ΕΔ͜ͱ͸ࠓ೥Google͕ग़ͨ͠gRPCͱಉ͡ • pixivͰ͸PHP͔Βѻ͍΍͍͢ThriftΛબ୒
5. pixiv.git • pixiv.git͸PHP͚ͩͰ200ສߦҎ্ • ίʔσΟϯάن໿͸݁ߏ͔ͬ͠Γ͍ͯ͠ΔํͰɺ͍ͩͨ ͍Ͳ͜΋ಉ͡࡞๏Ͱॻ͔Ε͍ͯΔ • 1ՕॴΛ֮͑Ε͹ଞͷՕॴ͸͙͢ϝϯςͰ͖ΔΑ͏ʹ • ίʔσΟϯάن໿ʹ߹͍ͬͯͳ͍ݹ͍ίʔυΛॻ͖׵͑ ͨΓ͢Δͷʹ͸ͦΕͳΓͷखؒΛ͔͚͍ͯΔ
6. pixiv.git • தʹ͸΋ͪΖΜɺͦ͏͍͏࣌Ҏ֎ʹ͸৮ΒΕͳ͍Օॴ΋͋Δ • ͦ͏͍͏෦෼͸࣮ࡍ͸pixivͷࠜװͱ͸ૄ݁߹ʹͳ͍ͬͯΔ͜ͱ͕ ଟ͍ • ྫ͑͹Ϣʔβʔ৘ใͱΠϥετ৘ใ͙Β͍͔͠࢖͍ͬͯͳ͍ͱ͔ • Ϣʔβʔ৘ใͱΠϥετ৘ใ͙Β͍Λฦ͢APIͰपล෦෼ͱܨ͕ Δ͜ͱʹΑͬͯɺपล෦෼ΛผϦϙδτϦʹͯ͠ૣ͘ރΒ͍ͯ͠ ͚ͳ͍͔ • →ThriftΛ࠾༻
7. ThriftʹܾΊͨܦҢ • pixivʹ͸PHPҎ֎ʹ΋RailsͰॻ͔ΕͨαʔϏε͕͋ ΓɺݴޠΛ௒͑ͯ࢖͏Մೳੑ͕͋ͬͨ • ࠓ͸Go΍Scala΋͋Δ • PHPͰAPIαʔόʔΛ࡞Δ͜ͱʹͳΔͷͰɺHTTPʹ৐ͬ ͔ΕΔ΋ͷ͕ྑ͔ͬͨ
8. vs JSON • طʹ͋ͬͨɺJSONΛฦ͢εϚϗΞϓϦ༻APIͷ໰୊఺Λ ղܾ͔ͨͬͨ͠ • APIυΩϡϝϯτͷ੔උ͕์ஔ͞Ε͕ͪ • LLʹ͋Γ͕ͪͳɺܕʹ؁͍෦෼ΛؤுͬͯίʔυΛॻ ͍ͯରॲ͍ͯͨ͠ • →ThriftͰ͋Ε͹ɺAPIυΩϡϝϯτ͸ࣗಈͰ࡞ΒΕΔ ͠ɺPHPͰ΋ಛʹҙࣝ͠ͳͯ͘΋APIͷܕ͕͔ͬ͠Γ͢Δ
9. Thriftͷ࢖ΘΕํͱར఺ • ݱࡏɺ2ͭͷपลαʔϏε͔Βར༻ • ScalaͱRails • ThriftͷఆٛΛ࣋ͬͨϦϙδτϦ͸ɺcomposer.jsonͱbuild.sbtͱ gemspec͕ஔ͔Ε͍ͯΔ • HTTPͷར఺Λ׆͔ͯ͠ɺnginxͰϦόʔεϓϩΩγ • nginxΑΓઌ͸pixivͷී௨ͷϦΫΤετͷࡋ͔Εํͱಉ͡ • APIΛఆٛ͢Δͱ͖ʹσʔλߏ଄΍ܕ΋ؚΊ͔ͯͬ͠Γߟ͑ͯ࡞ΔͷͰɺม ͑ͨ͘ͳͬͨ͜ͱ͸ࠓͷͱ͜Ζແ͍
10. ར఺ʁ • ౰ॳͷ໨࿦ݟ௨ΓɺϢʔβʔ৘ใͱΠϥετ৘ใ͙Β͍ Ͱࣄ଍Γ͍ͯΔ • →ͱ͍͏ͷ͸൒෼ਖ਼͘͠ͳͯ͘ɺͦΕͧΕͷपลαʔ Ϗεઐ༻ͷAPI΋গ਺࡞Δ͜ͱʹͳͬͨ • ઐ༻෦෼͕ଟ͘ͳΕ͹ͳΔ΄Ͳɺʮ࣮͸पลαʔϏ ε͸ີ݁߹ͩͬͨʯͱ͍͏͜ͱʹͳΓɺRPCͰܨ ͕ͬͨͷ͸ؒҧ͍ͩͬͨͱ͍͏͜ͱʹͳΔ
11. ଞʹࠔͬͨ఺ • HTTP௨৴ΛThriftͷϥΠϒϥϦ͕Ӆṭ͢ΔͷͰɺੜͷϨεϙϯεΛ ֬ೝ͢Δͷ͕໘౗ • ͦ΋ͦ΋όΠφϦͳͷͰ಺༰Λݟͯ΋Θ͔Βͳ͍ • ʢ౰વ͚ͩͲʣ։ൃ͢Δͱ͖ʹɺAPIఆٛΛॻ͍ͯϒϥϯνʹϓο γϡͯ͠αʔόʔɾΫϥΠΞϯτͰ࢖͏Α͏ʹͯ͠…ͱ͍͏ϑϩʔ ͸໘౗ • εϚϗΞϓϦ༻ͷAPIʹ΋࢖͓͔ͱࢥ͕ͬͨɺॾʑͷཧ༝Ͱ٫Լͨ͠ • ී௨ʹJSONͷREST APIʹམͪண͍ͨ
12. ·ͱΊ • pixivͰ͸ࠓ೥͔ΒݴޠؒɾαʔόʔؒRPCͰThriftΛ࢖ ͍࢝Ί·ͨ͠ • ܕ͕͔ͬ͠Γ͍ͯ͠Δͱ͜ΖͱɺυΩϡϝϯτͷੜ੒͕ ΩϥʔͰͨ͠