Magic Pod × Bitriseの活用事例 / nohana-case-study

Magic Pod × Bitriseの活用事例  2021/02/18  株式会社ノハナ　武田義之   Magic Pod×Bitrise  パートナーウェビナー 

武田義之  株式会社ノハナ  品質保証グループマネージャー  2006年に第三者検証会社に入社し、金融や業務システム等のプロジェクトで要件定義〜テスト〜運用(開発以外)を経験。   2015年にノハナに入社し、QAチームの立ち上げに尽力し、現在は開発チームのスクラムマスターも務める。  

Magic Podの活用事例 

機能テスト  変更した機能が正しく動作することを確認  開発プロセスにおけるテスト  リリース開発  機能テスト  回帰テスト  変更により既存機能に不具合がでていないことを確認  回帰テスト 
バグをみつける  コストをかけるべき  バグがないこと  コストをかけたくない  けど、かかっている現状😱  Magic Podの活用事例  

• 事前準備が必要なテストケース  • 事前準備が必要なテストケース  ◦ サービスアクティベーション、強制アップデート  • 重要な機能  ◦ 新規登録、写真アップロード、注文etc 
回帰テストケースの 30% を自動化し、実行時間(手動)を 40% 削減！！  ノハナノハナシにも掲載しています  回帰テストの自動化  Magic Podの活用事例  

• ノンプログラマーでも簡単にテストケースを作成できる  • さまざまなコマンドが用意されている  • クラウド環境でテストケース作成・実行できる  ◦ 外部クラウド環境で実行すること
も  • Bitriseと簡単に連携できる  PROS  Magic Podの活用事例   CONS(WANT)  • ローカル環境の構築でつまづく  • OSバージョンによってテスト結果が異なる  • 事前・事後処理を定義できない  • (Githubのように) テストケースをバージョン管理、レビューしたい  • テスト管理ツールと連携したい 

Magic Pod × Bitriseの活用事例 

• 簡易な動作確認を行ってアプリをアップロード  ◦ アプリがテストを開始できる品質になってない可能性  開発  テスト  開発プロセスでの人間の介入  Magic Pod ×
Bitriseの活用事例①   テストアプリ  アップロード  テスト実行  • 人間が回帰テスト(自動テスト)を実行  ◦ 誤ったバージョンのアプリで実行する可能性 

• CIで定期的にアプリをビルドして、自動テストを実行  ◦ 一定の品質を担保したアプリを提供可能  ◦ 回帰テストでは、自動化できていないテストケースのみ手動で実施  CIから回帰テストを実行  Magic Pod ×
Bitriseの活用事例①   テスト実行  テストアプリ  アップロード  開発 & テスト 

Dependabot  Magic Pod × Bitriseの活用事例②   • Androidアプリが依存するライブラリのアップデート検知にDependabotを採用している  ◦
アップデートを検知すると自動でPull Requestを作ってくれる  • ただし、ライブラリアップデートをテキトーにmergeするのも怖い  ◦ 破壊的な変更があるかもしれない  ◦ ビルドは通ってもアプリ上で正しく動作しない可能性もある  • 対象branchを手元でfetchして動作確認するのは大変  ◦ -> 大変なのでやらなくなる  ◦ -> 動作確認しないのでPull Requestが溜まる  ◦ -> Dependabotを導入した意味が無くなる 

Dependabot + bitrise + Magic Podで解決する  Magic Pod × Bitriseの活用事例②
  • 動作確認まで自動化する  ◦ CIで保証する部分だけでなく、実際のアプリの動作まで保証できる  • ここまで通れば安心してmergeができる  • また、Magic PodのあとにDeployGateなどで配布すれば、全体動作を保証した上で、不安なところだけ手元でも簡単に検証可能になる 

• 本番環境で定期的に自動テストを実行する  ◦ テスト結果をSlack等の目につく場所に通知する  • 外部サービスの障害等を早急に発見できる  ◦ データの扱いが難しい。。。  • バックエンドにさまざまなサービスを使っている 
◦ データベース、サーバー、SMS  • 外部サービスの障害等により、アプリの動作に影響を及ぼす  本番環境でのテスト実行  Magic Pod × Bitriseによる改善③  

• ノンプログラマーでも比較的簡単にワークフローを作成できる  • さまざまなステップが用意されている  • 専門知識(アプリ開発、CI他)も必要なので、開発者の協力が必要  • 実行環境(?)によってテスト結果が一
定ではない  PROS  Magic Pod × Bitriseの活用事例   CONS 

まとめ 

• Magic Pod、BitriseともにGUIから操作できるので、ノンプログラマーでも比較的簡単に進められた  • 常に同じテスト結果になるようにテストケース、ワークフローを改善する  • 回帰テスト以外にも自動テストの適用範囲を広げることで、人間が手を動かすべきテストに時間をかけれるように  まとめ 

ご清聴ありがとうございました 

Magic Pod × Bitriseの活用事例 / nohana-case-study

Magic Pod × Bitriseの活用事例 / nohana-case-study

andysumi

More Decks by andysumi

Other Decks in Technology

Featured

Transcript

Magic Pod × Bitriseの活用事例  2021/02/18  株式会社ノハナ　武田義之   Magic Pod×Bitrise  パートナーウェビナー

Magic Podの活用事例

機能テスト  変更した機能が正しく動作することを確認  開発プロセスにおけるテスト  リリース開発  機能テスト  回帰テスト  変更により既存機能に不具合がでていないことを確認  回帰テスト

• 事前準備が必要なテストケース  • 事前準備が必要なテストケース  ◦ サービスアクティベーション、強制アップデート  • 重要な機能  ◦ 新規登録、写真アップロード、注文etc

• ノンプログラマーでも簡単にテストケースを作成できる  • さまざまなコマンドが用意されている  • クラウド環境でテストケース作成・実行できる  ◦ 外部クラウド環境で実行すること

Magic Pod × Bitriseの活用事例

• 簡易な動作確認を行ってアプリをアップロード  ◦ アプリがテストを開始できる品質になってない可能性  開発  テスト  開発プロセスでの人間の介入  Magic Pod ×

• CIで定期的にアプリをビルドして、自動テストを実行  ◦ 一定の品質を担保したアプリを提供可能  ◦ 回帰テストでは、自動化できていないテストケースのみ手動で実施  CIから回帰テストを実行  Magic Pod ×

Dependabot  Magic Pod × Bitriseの活用事例②   • Androidアプリが依存するライブラリのアップデート検知にDependabotを採用している  ◦

Dependabot + bitrise + Magic Podで解決する  Magic Pod × Bitriseの活用事例②

• ノンプログラマーでも比較的簡単にワークフローを作成できる  • さまざまなステップが用意されている  • 専門知識(アプリ開発、CI他)も必要なので、開発者の協力が必要  • 実行環境(?)によってテスト結果が一

まとめ

ご清聴ありがとうございました