編集業務の生産性向上へ向けたserverlessなアプローチ

2018年3月10日
JAWS DAYS 2018
朝日新聞社ではコンテンツのデジタル化に力を入れるとともに、編集作業の生産性向上に取り組んでいます。今回は、生産性向上の一環として開発した朝日新聞デジタルの編集者向け記事・画像検索システムについて、導入背景や内製でのサーバーレス開発で実践したことをご紹介します。また、朝日新聞社が現在行っている機械学習を取り入れた編集作業の効率化への取り組みについてもお伝えします。

Transcript

1. 編集業務の生産性向上へ向けた serverlessなアプローチ -JAWS DAYS 2018- 落合隆文 株式会社朝日新聞社 情報技術本部 開発部 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
2. 自己紹介 • 落合 隆文（おちあい たかふみ） • ２００７年４月入社 • 情報システム部、工程管理部で新聞製作システムの開発運用を担当し たのち、2015年に開発部へ異動 • 開発部ではデジタルサービスを担当。最近ではCMS（コンテンツ管理 システム）の開発や研究開発チーム「ICTRAD」でのプロトタイプ開 発を担当 • 趣味：スキー、散歩、python ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
3. 今日話すこと • 朝日新聞デジタルの編集者向けに開発したサー バーレスな記事・画像検索システムについて • その他、現在行っている機械学習を取り入れた編 集作業の効率化への取り組みについて ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
4. 朝日新聞デジタルの編集者向けに開発したサー バーレスな記事・画像検索システムについて ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
5. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
6. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. 今回はココの話をします
7. きっかけ ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. • 写真のない新聞記事をデジタル配信すると、 一覧に見出しだけで表示される • 写真のある記事の方が注目されやすいため、 写真をセットにして配信したい • しかし、探すのに手間がかかる という話を編集者から聞き、研究開発チームの 作業として、記事の内容を解析して写真を提案 するプロトタイプを開発
8. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. サービス化 • プロトタイプの評価を経て、編集者向けの記事と画像の検索システムとして 社内公開することに • プロトタイプはEC2で構築していたが、このタイミングでインフラについて 検討しはじめる • デジタル配信は24時間体制で行われている • 今後も色々なプロトタイプを製作し、ニーズのあるものはサービス化してい きたい。運用保守に時間を取られることは避けたかった
9. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. サービス化 • プロトタイプの評価を経て、編集者向けの記事と画像の検索システムとして 社内公開することに • プロトタイプはEC2で構築していたが、このタイミングでインフラについて 検討しはじめる • デジタル配信は24時間体制で行われている • 今後も色々なプロトタイプを製作し、ニーズのあるものはサービス化してい きたい。運用保守に時間を取られることは避けたかった →そこでサーバーレス
10. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. https://aws.amazon.com/jp/solutions/case-studies/asahi-shimbun/ 構成
11. 良かったこと① • 少人数でも機能開発に集中できる →フロントがマネージドサービスなので、運用負荷が低い →スケールに悩まない →インフラに使う時間が減り、機能開発に集中できる • 安い（フロント部分のコストはEC2の99％減） • 早い（2時間もあれば新環境をデプロイできる） • マイクロサービス化できる →記事検索APIを他のシステムにも機能提供するなど、柔軟な対応ができるよう になった ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
12. • 編集者のニーズをくみ取りながら一緒に機能を作っていく、提案型の業務 スタイルに変わってきた • 分析したデータを見ながらサービス改善の話ができるようになってきた • データ活用を念頭に置いて開発できた（クリックログがそのまま機械学習 用のデータにもなる、etc ） ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. 良かったこと②
13. 制約はあります きつかったもの • Lambdaの容量制限 • Elasticsearch Serviceで辞書を利用できない • 、、、etc →制約に合わせる必要はあるが、得られるメリットの方が大き いというのが実感 →推論部分の構成や運用はまだ試行錯誤の段階だが、機械学習 の活用でもサーバーレスのメリットを得られるようにしていき たい ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
14. 現在行っている機械学習を取り入れた編集作業 の効率化への取り組みについて ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
15. 研究への取り組み ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
16. ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. 今度はココの話をします
17. 自動校正の研究 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. • 日々の編集作業で蓄積された記事の修正履歴を学習 ＜同音異義語・動詞＞ 校正前：東京（品川）と名古屋の間は2027年に開業、名古屋から大阪までは45年に伸びる予定だ。 校正後：東京（品川）と名古屋の間は2027年に開業、名古屋から大阪までは45年に延びる予定だ。 ＜同音異義語・名詞＞ 校正前：県警は8日、熊谷署に100人体制の捜査本部を設置。 校正後：県警は8日、熊谷署に100人態勢の捜査本部を設置。 ＜助詞、他の名詞への代替案＞ 校正前：医療の進歩により、がんがなった後も以前と変わらぬ人生を送れる人が増えている。 校正後：医療の進歩により、がんになった後も以前と変わらぬ人生を送れる例が増えている。
18. 見出しの自動生成の研究 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. • 上と下、どちらが人間の書いた見出しでしょう？ 1．日比谷図書館を千代田区に移管 都教委が正式合意 2．「上司がパワハラ」海自事務官が提訴 3．子育て応援施設、空き店舗に移転 和歌山ぶらくり丁商店街 4．晩秋の風物詩「松の腹巻き」 鶴岡 1．都、区と正式合意 日比谷図書館の千代田区移管 2．海自事務官、パワハラ提訴佐世保「ストレスで休職」 3．空き店舗に子育て拠点 和歌山の商店街に明日オープン NPOの施設、移転 4．松も冬支度、幹に「腹巻き」 鶴岡
19. 研究体制 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. • 株式会社レトリバと共同研究（朝日新聞社のエンジニアを派遣） • 国際学会にも論文を投稿するなど、学術研究にも取り組んでいる 今後は研究成果の実用化もテーマになってくる
20. 研究体制 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company. • 株式会社レトリバと共同研究（朝日新聞社のエンジニアを派遣） • 国際学会にも論文を投稿するなど、学術研究にも取り組んでいる 今後は研究成果の実用化もテーマになってくる →そこでサーバーレス
21. その他の取り組み ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
22. 相撲力士認識アプリ • 「あれ、このスポーツ選手の名前何だっけ？」と 思ったとき、すぐ情報が得られたら面白いのでは ないかという会話からプロトタイプ開発がスター ト • 巡業や稽古に行って力士の写真30994枚を撮影。 30時間かけて分類し学習データを作成 • （Rekognitionが東京リージョンで使えていたら こんなに苦労しなかったかも・・・・） ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
23. クイズ生成 • 時事問題クイズにニーズがありそうだが、人手で問題を作るのが大変 で試せていないというビジネス部門の声を聞き、自動でクイズを作れ ないか実験 【例】 インターネットで音楽を配信する「ストリーミング」サービスの世界最大手、スポティ ファイは２８日、米証券取引委員会に上場申請したと発表した。______に上場する。最近 の取引から試算した株式時価総額は最大２２６億ドルで、写真・動画共有アプリを手がけ る米スナップ以来の大型上場となる。 ______に入るのは？ ①ナスダック ②ロンドン株式市場 ③シカゴ・マーカンタイル取引所 ④ニューヨーク証券取引所 ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.
24. まとめと今後 • 編集業務の生産性向上への取り組みとして記事画像検索システムをサー バーレスで開発。システム運用等の負荷が軽減され、少人数でも機能開 発に集中することができた • 推論部分の構成や運用はまだ試行錯誤の段階だが、機械学習の活用でも サーバーレスのメリットを得られるようにしていきたい • 学術研究からプロトタイプアプリの開発まで幅広く取り組んでいるが、 ニーズのあるものを素早くサービス化する為にも、サーバーレスを有効 に活用していきたい ochiai-t@asahi.com Copyright 2018 The Asahi Shimbun Company.