属人化したE2E自動テストを ひも解く

ソフトウェアテスト自動化カンファレンス2024で利用した資料となります。
https://testautomationresearch.connpass.com/event/333442/

Transcript

1. 属人化したE2E自動テストを ひも解く 2024/12
2. ©OPENLOGI Inc. 自己紹介 honamin 株式会社オープンロジ 技術開発部QAチーム QAエンジニア テスト自動化に 取り組んでいます🎶
3. ©OPENLOGI Inc. 3 会社概要・沿革 会社名 株式会社オープンロジ 設立 2013年12月25日 代表者 代表取締役社長 CEO　伊藤 秀嗣 資本金 1億円 住所 東京都豊島区東池袋1-34-5 いちご東池袋ビル9階 事業内容 物流フルフィルメント・プラットフォーム 「OPENLOGI」の開発、提供 取引銀行 みずほ銀行、りそな銀行、 日本政策金融公庫、商工中金、 あおぞら企業投資等 社員数 194名（2024年10月1日時点） 2013 12月 株式会社オープンロジ　設立 2014 10月 「OPENLOGI」リリース 2015 6月 0.6億円の資金調達 7月 海外発送開始 10月 ネクストエンジンとAPI連携 2016 5月 2.1億円の資金調達 2017 7月 7.3億円の資金調達 2018 5月 STORES.jpとAPI連携 　　　 6月 Yahoo!ショッピングとAPI連携 　　　 7月 ShopifyとAPI連携 2019 8月 週刊東洋経済「すごいベンチャー100」に選出 2020 10月 17.5億円の資本調達 　　　 2月 DHLとの輸送契約を締結 2021 3月 JVA「中小機構理事長賞」を受賞 　　　 11月 日本M&Aセンタースタートアップピッチ最優秀賞 2022 10月 FedExと輸送契約を締結 　　　 11月 ギフティとの業務提携 2023 2月 Global-eとの業務提携（日本の物流企業初） 2024　 2月 37.5億円の資金調達 　　　　 ecforceとAPI連携
4. ©OPENLOGI Inc. 沿革 / 各種推移 資 金 調 達 15年3月 16年5月 17年7月 20年10月 24年2月 0.6億円 シード 2.1億円 シリーズA 7.3億円 シリーズB 17.5億円 シリーズC 35.5億円 シリーズD 2014年10月 サービス ローンチ 導入アカウント数の推移 13,000+ 14/10 15/3 15/9 16/3 16/9 17/3 17/9 18/3 18/9 19/3 19/9 20/3 20/9 21/3 21/9 22/3 22/9 23/3 23/9 24/3 24/9 4 従業員数 194 エンジニア 組織の人数 58
5. ©OPENLOGI Inc. 物流パートナーをネットワーク化することで、ノンアセット型のフルフィルメントサービスを提供 倉庫や配送といったフィジカルなリソースを AWSのようなインフラに変革し、サービスから得られる データを分析/活用することで、社会課題である物流業界の非効率を解消します 荷主と物流パートナーを結ぶプラットフォーム 倉庫会社 マテハン 配送会社 資材会社 物流パートナー 5社 3社 荷主 6,100社 Eコマースを含む アパレル/雑貨/IPグッズ/ インフルエンサー/マット レス/越境など様々 データ分析/活用 ・需給予測 ・リスク評価 ・マッチング ・最適化 ネットワーク化 提携70社 （※準提携170社） 12社 （国内・海外） サービス提供 ソリューション 稼働率向上 庫内DX化 物流課題の解決 （コスト削減/効 率化・自動化/最 適拠点配置等） 5
6. ©OPENLOGI Inc. 物流の未来を、動かす Mission テクノロジーを使い、 サイロ化された物流をネットワーク化し データを起点にモノの流れを革新する Vision １．悩まない物流 荷主や倉庫が物流について 悩まなくても良い状態を作る ２．無駄のない物流 荷主-倉庫-配送が連携しムダの 少ない効率的な物流網を構築する ３．物流から商流へ 物流データを起点とした 新しい商流網を構築する 物流はこれから、テクノロジーがより浸透し ダイナミックに変化する これまでアナログだった物の流れがデジタルになり 高効率化された未来が到達する 物をつくる人とそれを欲しい人 その間の物流や配送が全てネットワーク化され 需要と供給が最適化される 物流の進化から、経済が新たに活性化する 次世代のインフラを作り、この時代の変革を 物流に関わる多くの情熱たちと共に成し遂げる 6
7. ©OPENLOGI Inc. オープンロジプラットフォーム 「物流版クラウドサービス」をコンセプトとしたオープンロジプラットフォームには以下のような機能が あり、物流の始まりから終わりまで、サプライチェーン全体を最適化するソリューションを提供します 荷主向け システム 倉庫向け システム 受注連携 システム 請求清算 システム 分析 ツール 荷主が操作する 入出庫管理システム ・商品登録 ・入庫処理 ・出庫処理 他 倉庫作業者が 操作する 倉庫管理システム ・入庫検品 ・出庫検品 ・ロケーション登録 他 Shopifyなどの ECモールと連携 商品の受注と連動し シームレスな 商品管理を可能に 荷主・倉庫 双方の請求情報を 管理するシステム ・各種料金管理 ・集計処理 ・決済処理 他 荷主向けの 分析ツール 特定期間における 様々なデータを 把握することが可能 経営的な判断を サポート オープンロジプラットフォーム 7
8. ©OPENLOGI Inc. ©OPENLOGI Inc. 今日話すこと
9. ©OPENLOGI Inc. 今日話すこと、話さないこと 話すこと • 課題が複雑化したE2E自動テストに どう向き合ったか • 今何に取り組んでいるか 話さないこと • E2Eテストの実装の詳細 • 属人化させないためのプラクティス • 取り組みの具体 9
10. ©OPENLOGI Inc. E2E自動テストの道のり
11. ©OPENLOGI Inc. 11 会社概要・沿革 会社名 株式会社オープンロジ 設立 2013年12月25日 代表者 代表取締役社長 CEO　伊藤 秀嗣 資本金 1億円 住所 東京都豊島区東池袋1-34-5 いちご東池袋ビル9階 事業内容 物流フルフィルメント・プラットフォーム 「OPENLOGI」の開発、提供 取引銀行 みずほ銀行、りそな銀行、 日本政策金融公庫、商工中金、 あおぞら企業投資等 社員数 194名（2024年10月1日時点） 2013 12月 株式会社オープンロジ　設立 2014 10月 「OPENLOGI」リリース 2015 6月 0.6億円の資金調達 7月 海外発送開始 10月 ネクストエンジンとAPI連携 2016 5月 2.1億円の資金調達 2017 7月 7.3億円の資金調達 2018 5月 STORES.jpとAPI連携 　　　 6月 Yahoo!ショッピングとAPI連携 　　　 7月 ShopifyとAPI連携 2019 8月 週刊東洋経済「すごいベンチャー100」に選出 2020 10月 17.5億円の資本調達 　　　 2月 DHLとの輸送契約を締結 2021 3月 JVA「中小機構理事長賞」を受賞 　　　 11月 日本M&Aセンタースタートアップピッチ最優秀賞 2022 10月 FedExと輸送契約を締結 　　　 11月 ギフティとの業務提携 2023 2月 Global-eとの業務提携（日本の物流企業初） 2024　 2月 37.5億円の資金調達 　　　　 ecforceとAPI連携 E2E自動テストツールの再選定→ Ghost Inspector（ノーコード） 初代E2E自動テストの導入→ CodeceptJS x Puppeteer（コードベース）
12. ©OPENLOGI Inc. 元々あった課題と目指した姿 12 コードベースのE2Eテスト • コーディング知識がある人がQA チーム内に限られていた • メンテナンスコストがかかり、あま り整備されなくなってしまった ノーコードツールを 利用したE2Eテスト • メンテナンスコストの増加を防ぎ たい • 機能に対するテストのカバレッジ をあげたい • QAチーム全体でメンテナンスを 行いたい
13. ©OPENLOGI Inc. ノーコードツールに変えて何が改善したか 13 • メンテナンスコストの増加を防ぎたい ◦ ◯ コードベースよりも実装に対する理解が進んだため、共通パーツが作りやすくなった • 機能に対するテストのカバレッジをあげたい ◦ △ 新しい機能に対してのテストが増やしやすくなった 一方、リグレッションテスト全体に対しての自動化率は40％強で手動テストの割合がまだ多い • QAチーム全体でメンテナンスを行いたい ◦ × メンテナンスできる人が限られている
14. ©OPENLOGI Inc. 現状を理解する
15. ©OPENLOGI Inc. オープンロジ入社時 15 「E2E自動テストがなんだかやばい」らしい ※やばい＝あまりうまくいっていない状態と理解
16. ©OPENLOGI Inc. オープンロジ入社時 16 「なんだかやばい」を判定しよう やばくない やばい
17. ©OPENLOGI Inc. なんだかやばいマップ 17 「なんだかやばい」 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？
18. ©OPENLOGI Inc. 18 「なんだかやばい」 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ
19. ©OPENLOGI Inc. 実行回数 19 やばくない Ghost Inspectorでの1ヶ月のテスト実行回数平均 やばい 4,000~5,000回/10,000回
20. ©OPENLOGI Inc. 20 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
21. ©OPENLOGI Inc. 実行時間 21 やばくない 最長のテストシナリオの実行時間 ※全体ではなく１シナリオ やばい 3:01:59
22. ©OPENLOGI Inc. 22 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
23. ©OPENLOGI Inc. カバレッジ率 23 やばくない リグレッションテストに対するカバレッジ率 やばい 42.77% ※2024/11月時点
24. ©OPENLOGI Inc. 24 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
25. ©OPENLOGI Inc. 運用体制 25 やばくない QAチーム9名に対してテストメンテができる人 ちょっとやばい 2人 ※2024/12月時点
26. ©OPENLOGI Inc. 26 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
27. ©OPENLOGI Inc. オンボーディング 27 やばくない E2E自動テストに対するオンボーディングフロー ちょっとやばい がすぐには困らない なし ※2024/4月時点
28. ©OPENLOGI Inc. 28 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
29. ©OPENLOGI Inc. 効果測定 29 やばくない E2E自動テストに対して効果測定できているか もったいない できていない ※2024/4月時点
30. ©OPENLOGI Inc. 30 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
31. ©OPENLOGI Inc. 価値のあるテスト 31 やばくない E2E自動テストで不具合検出できているか できている ※実行時にリグレッション観点の不具合が結構見つかる やばい
32. ©OPENLOGI Inc. 32 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
33. ©OPENLOGI Inc. メンテナンスコスト 33 やばくない １リグレッションテストあたりの修正時間平均 4~5h やばい ※1日あれば1人で見終わるくらい。0の時もある
34. ©OPENLOGI Inc. なんだかやばいマップ 34 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ 実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ 「なんだかやばい」
35. ©OPENLOGI Inc. 実装方法 35 やばくない メンテナンスしやすい実装がされているか やばいところはやばい xpath=//*[@id="hoge"]/div/div/div[1]/header/section[2]/div/dl/dd
36. ©OPENLOGI Inc. 36 実行回数？ 運用体制？ 実行時間？ カバレッジ率？ E2Eテストツール？ テストの実装方法？ メンテナンスコスト？ 価値のあるテスト？ 効果測定？ オンボーディング？ なんだかやばいマップ 「なんだかやばい」
37. ©OPENLOGI Inc. E2Eテストツール？ 37 やばくない そもそもツールは大丈夫なのか とてもやばい 1年以上アプデなし
38. ©OPENLOGI Inc. 課題分布 38 課題の温度感 実行回数 運用体制 実行時間 カバレッジ率 E2Eテストツール テストの実装方法 メンテナンスコスト 価値のあるテスト 効果測定 オンボーディング 低 中 高
39. ©OPENLOGI Inc. ©OPENLOGI Inc. 取り組み 39
40. ©OPENLOGI Inc. 今まさに取り組んでいること 40 • E2Eテストツールの再選定 ◦ いつサービス終了するかわからない ◦ 契約更新が迫っている ◦ XPath必須かつ英語サポートのみのツールは 現行のQAチームでは普及しなかった
41. ©OPENLOGI Inc. これから取り組むこと 41 • 運用体制の構築 ◦ QAチーム全体でE2E自動テストができていないのはツールの せいではない ◦ QA活動の１プロセスとして組み込む ことが大事 ◦ 将来的には開発チームにもE2E自動テストを気軽に使っても らえるような体制にしていく
42. ©OPENLOGI Inc. これから取り組むこと 42 • 自動テスト戦略の策定と普及 ◦ E2EやAPIだけにフォーカスしていても自動テスト全体のバ ランスは取れない ◦ オープンロジの自動テスト（テストプロセス全体も）をどの ような棲み分けで進めるか、開発チームとも相談の上で戦略 を練る
43. ©OPENLOGI Inc. これから取り組むこと 43 • リグレッションテストの自動化率向上＆いつでも気軽に回せるテストへ ◦ 繰り返すテストは9割自動化を目指す ◦ 実行時間を長くても1時間までに抑える ◦ 実装に次ぐ実装に次ぐ実装！
44. ©OPENLOGI Inc. まとめ 44 • 今ある課題を一つ一つ見える化しよう ◦ 分解することで、今何をすべきかが見えてくる • 将来の拡張を見据えておこう ◦ 早く前に進むためには属人化は必要不可欠だが、サービスが スケールするならQA活動もスケールする。その時に何が必要 か考えておく
45. ©OPENLOGI Inc. まとめ 45 • 恐れずに”今”を変えていこう ◦ 昔からこうだから、 慣れたツールだから、 今困っていないから、 現状維持でいいことはほぼない。 改善のサイクルを常に回し続ける
46. ©OPENLOGI Inc. お知らせ
47. ©OPENLOGI Inc. QAエンジニアとSRE募集中！ 47 https://corp.openlogi.com/recruit/
48. ©OPENLOGI Inc. アドベントカレンダー実施中！ 48 Advent Calendar 2024 https://qiita.com/advent-calendar/20 24/openlogi
49. ©OPENLOGI Inc. よかったらフォローしてください🙌 49 honamin 技術開発部QAチーム QAエンジニア https://x.com/hona_suke
50. ©OPENLOGI Inc. 物流の未来を、動かす