ゲームに見るエンターテインメントコンテンツへの人工知能技術の応用と課題

人工知能技術は以前から最適化を目的に使用されてきましたが、昨今のめまぐるしい発展と普及によりAIアシスタントに代表されるようにユーザーとのインターフェイスとしてキャラクター性を持たせるなど従来の最適化の範疇を超えた人を楽しませる人工知能の需要が増えています。
ビデオゲームの開発では以前からコンテンツをより面白くするという目的で人工知能技術が使われています。本セミナーでは、ゲーム開発での事例を紹介することでエンターテインメントコンテンツでの人工知能技術の応用可能性や課題について考察したいと思います。

Transcript

1. 株式会社バンダイナムコスタジオ 長谷 洋平 ゲームに見る
 エンターテインメントコンテンツへの
 人工知能技術の応用と課題 2018/10/25 コンピュータソフトウェア協会 AIセミナー
2. 自己紹介
   2009年、株式会社バンダイナムコゲームス（当時）入社
   エースコンバットシリーズ、鉄拳シリーズなどの開発に携わる
   現在は開発中のゲームタイトルにてリードAIプログラマをしつつ、
 最新の人工知能技術のリサーチも行う
   2015年～2018年のCEDECで計７件の登壇
   その他、人工知能学会誌への論文の寄稿など
3. 189 汎用ゲーム AI エンジン構築の試みとゲームタイトルでの事例 1．は　じ　め　に ビデオゲーム（以下，ゲーム）はグラフィック，物理 シミュレーション，ネットワークなどの高度な技術の上 に成り立つエンタテイメントコンテンツである．人工知 能もゲームを構成する技術の一つであり 代表的な使用 それを解決するためのゲーム AI エンジンの設計と実際 のゲームタイトルでの事例を紹介する． 2．エージェントアーキテクチャ ゲーム内のキャラクタを制御する AI をつくる場合， 周りから収集した情報を使って意思決定をし 実際に行 汎用ゲーム AI エンジン構築の試みと ゲームタイ トルでの事例 General-purpose Game AI Engine: Theory and Practice 長谷　洋平 株式会社バンダイナムコスタジオ Yohei Hase BANDAI NAMCO Studios Inc.     
          Keywords: behavior tree, HTN planning, BDI architecture, AI director, emotion. 「ゲーム産業における人工知能」 http://id.nii.ac.jp/1004/00008566/
4. バンダイナムコスタジオについて トイホビー ネットワークエンターテインメント 映像音楽プロデュース … ゲーム開発で培ったノウハウ・技術の提供
 （グループ会社との共同開発など） ゲーム開発 家庭用 業務用 PC、モバイル
5. ゲームAIの可能性 デジタルサイネージ ゲーム ＝ リアルタイム・インタラクティブ・デジタルエンターテインメント VTuber AIアシスタント コミュニケーションロボット ゲームAI など
6. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
7. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
8. 現在のゲーム開発について 大規模・高品質
   人員の増加では対応できない物量
   高品質を担保するための高度な技術 デバイス
   新しい技術への柔軟な対応 運営
   ランニングコストの増加 全体
   常に新しいものを求められる 大規模・高品質 デバイス 運営 家庭用 業務用 モバイル
9. ゲーム開発における人工知能の役割 クリエイターの創造性の最大化
   遊びの拡張：今まで実現できなかった遊びを提供できるようにする 例：戦略性の高い対戦、その人に合わせたプレイ体験の創出
   開発支援：よりクリエイティブなところに時間を使えるようにする 例：パラメータの自動調整、アセットの監修
10. ゲームの開発体制 プロデューサー ディレクター ゲームデザイナー アーティスト プログラマ サウンドクリエイター 仕様の策定
 レベルデザイン
 AIデザイン
 など 3Dモデル
 アニメーション
 UIデザイン
 など グラフィック
 アニメーション
 AI
 など 作曲
 効果音
 ボイス収録
 など 予算や人の管理 開発方針の決定
11. ゲームの開発体制 例：敵キャラクター AIデザイナ AIプログラマ アニメーター キャラクターモデラー 思考 サウンドクリエイター 仕組み セリフ、効果音 動き 外見 ゲームコンセプトに合うようにAIをデザインする（非エンジニア） AIの知識 ゲーム開発においてAI技術のエンドユーザーは（多くの場合）AIの知識を持っていない
12. ゲーム開発における人工知能の要件 ゲーム開発の現状 高度な技術を使用した製品開発が必要 AIに詳しくない人との共同作業 AIの知識を持たない人であっても容易に利用可能 エンターテインメントコンテンツ コンセプトに沿ったデザインを容易に実現可能 結果が予測可能
13. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
14. キャラクターAIの要件 ２種類のAI
    強いAI ： 人間の知能そのものをもつ機械を作る
    弱いAI ： 人間が知能を使ってすることを機械にさせる ゲームにおけるキャラクターAIは…
    限られた環境で動けばいいという点では弱いAI
    キャラクターに命を吹き込むという点では
 本当に知能を持っている（強いAI）ように見えなければいけない
15. キャラクターAIの要件
    ゲーム世界という管理された環境で知的に行動して欲しい
    演出上の都合などで開発者の意図通りに動いて欲しい場面も多い
    ゲームという舞台で与えられた台本に沿って動く舞台役者のようなAI
    ただし、ゲームには自由奔放に動くプレイヤーという役者がいるので
 あらゆるアドリブに対応できないといけない 理想像 ： アドリブにめっぽう強い舞台役者
16. キャラクターAIの仕組み
    ゲーム世界という環境の情報を身体を通して取得し、
 意思決定の結果、身体行動によって環境に影響を与える
    AI内部では複数のシステムが相互に機能することにより様々な出力を得る 身体 AI
17. ボードゲーム 入力
    盤面の状態
    進行度（序盤、終盤）
    持ち駒 出力
    次の手
18. FPS 入力
    敵の位置、状態
    レベルの構造 出力
    アニメーション
    ボイス
    武器の発射
19. エージェントアーキテクチャ Perception Brain Action Blackboard 環境 行動
20. エージェントアーキテクチャ Perception Brain Action Blackboard 環境 行動
21. HTNプランニング
    AI自身に戦略や行動計画を立てさせる自動計画の技術の一種
    抽象的なタスクをより具体的なタスクへ分割していくことで
 必要な行動とその順序を見つける
    タスクをどのように分割するかを事前に定義しておき、
 そのタスクネットワーク（Hierarchical Task Networks）を
 使って将来の状態の変化をシミュレートしながら問題を解く
    人が行動を計画する時の思考と似ているのでわかりやすい
22. HTNプランニング ドメイン ： 問題領域の定義
    複合タスク ： サブタスクへの分割方法の定義
    プリミティブタスク ： 前提条件、事後条件、アクション　のセット ドメイン ステート ゴール プランナ プラン
23. HTNプランニング 東京の家から福岡駅に行く 航空券を買う、羽田空港に行く、飛行機に乗る、福岡駅に行く 航空券を買う、羽田空港に行く、飛行機に乗る、福岡駅に行く 航空券を買う、東京駅に行く、切符を買う、電車に乗る、羽田空港に行く、
 　　　飛行機に乗る、福岡駅に行く 航空券を買う、東京駅まで歩く、切符を買う、電車に乗る、飛行機に乗る、切符を買う、電車に乗る … 分割 分割 プランに追加、所持金：100,000円 ‒ 50,000円 = 50,000円 ステート
 所持金：100,000円
24. HTNプランニング 東京の家から福岡駅に行く 福岡駅まで歩く 福岡駅まで歩く 分割 プランに追加、所持金は変化なし ステート
 所持金：100円
25. HTNプランニング メリット
    タスクネットワークにより計画の探索空間を大幅に削減できる → リアルタイムアプリケーションに向いている
    計画を定義された行動のシーケンスに固定できる → 予期せぬ振る舞いをしないのでコントロールしやすい デメリット
    演出的な行動を指定しにくい
    ドメインの構築にはHTNプランニングに関する深い知識が必要
26. Behavior Tree ノードベースのグラフィカルなツールを使用して
 キャラクターの意思決定を作成できるシステム 利点
    ノードをツリー状に組むだけなので
 AIの知識がなくても構築可能
    プリミティブな機能ごとにノードを
 作れば良いので再利用性が高くなる
27. Behavior Tree Task
    Behavior Tree におけるリーフノード
    主に条件判定やアクションの実行を行い、結果として成功か失敗を返す
    条件判定：ターゲットが生きているか？残弾数はあるか？
    アクション：射撃を行う、セリフを発話する Success Failure
28. Behavior Tree Composite
    子ノードの実行を制御するノード
    Sequence：子ノードを順番に実行することを目的としたノード
    Selector：子ノードの中から一つを選択することを目的としたノード Sequence Selector Success Failure Success Failure Success Failure
29. Behavior Tree Decorator
    子ノードを一つしか持てない特別なノード
    子ノードの動作をカスタマイズする
    x 回繰り返す、x 秒経過すると終了する repeat 3 射撃 timeout 5.0sec 隠れる
30. Behavior Tree 攻撃 巡回 近接 遠距離 周りに
 敵が
 いない 巡回地点
 を選択 移動 残弾数が
 十分か？ 射撃 移動 格闘
31. Behavior Tree ロドニー・ブルックスもロボット開発に利用 引用：Rethink Robotics
 http://mfg.rethinkrobotics.com/intera/Intera_Studio
32. Behavior Tree メリット
    AIの思考をグラフィカルに構築できる
    AIに関する知識の有無によらず構築が容易 デメリット
    複雑な思考を作ろうとするとツリーが巨大になる
33. ハイブリッドシステム Behavior Tree で決めた目標を達成するプランを
 HTNプランニングにより求める HTNプランナ タスクA タスクB タスクC 目標 成功 or 失敗 生成
34. ハイブリッドシステム HTNドメイン キャラクターのコンセプトや
 その時々の演出によって様々なツリーを作成 与えられた目標に対して最適な行動をとれるように
 キャラクターのタイプ（人や動物）ごとに作成 HTNプランニングの知識がある人が担当 AIの知識に関わらず誰でも担当可能
35. BDIアーキテクチャ
    「意図の理論」をベースとしたエージェントアーキテクチャ
    エージェント内部に信念、願望、意図を心的状態として保持 アルゴリズム 1. 信念と欲求から達成すべき目標（願望）を決め、達成手段の候補を求める 2. 達成手段の候補から実際に行う手段を熟考して決定 3. 決定した手段を意図として実行する 4. 外部からの知覚をもとに信念を更新する
36. BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 信念空間への投影 HTN Planner
37. BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 願望 HTN Planner 信念
38. BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 願望 HTN Planner 信念 意図
39. BDIアーキテクチャ 1. 信念と欲求から達成すべき目標（願望）を決め、
 達成手段の候補を求める
 2. 達成手段の候補から
 実際に行う手段を熟考して決定 3. 決定した手段を意図として実行する 4. 外部からの知覚をもとに信念を更新する Perception Brain Behavior Tree HTN Planner 合理性の高い、より人間（生物）らしいAIを
 AI技術にあまり明るくない人でも構築できる HTNドメイン
40. エージェントアーキテクチャ Perception Brain Action Blackboard 環境 行動
41. Influence Map
    動的に環境にタグ付けし、タグ情報をもとに現在の状況を分析する
    情報の種類ごとにレイヤーが作成され、複数のレイヤーを統合して判断する 近づくな 危険 危険 「ロスト・リーバース」©BANDAI NAMCO Entertainment Inc. 例：脅威度
42. Perception Tree
    ノードベースでキャラクターの環境認識を作成できるシステム
    Influence Map を含む複数の情報を統合して認識・判断を行う
    目的に応じて取得する情報や粒度をノードの種類やプロパティで制御する
43. 環境認識 タグ付けを行うルール Influence Map の作成 環境の評価 簡易なルールベース（AIデザイナ） 複雑なアルゴリズム（AIプログラマ） ノードベースによる設計（AIデザイナ） 高度な技術を制御するためのわかりやすいインターフェイスを用意して
 AIに明るくない人にもデザイン可能にすることが重要！
44. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
45. ゲームの面白さとは ゲームには緩急の波をつけると面白くなる
    「ハラハラする場面」と「落ち着ける場面」が適度に繰り返される 単調に感じ、すぐ飽きてしまう 感情が揺り動かされ、ゲームに引き込まれる
46. Three Act Structure（三幕構成）
    ハリウッド映画などで使われているストーリー構成法
    全体を「設定」「対立」「解決」の三幕に分け、それぞれを1:2:1で配置する
    それぞれの幕の中でもどこにどういうものを配置すべきか決まっている
    どこに盛り上げるポイントを持ってきて、どこに伏線を持ってくるか Act 1 Act 2 Act 3
47. Hero’s Journey
    世界中の神話を分析して導き出した
 ストーリー構成法
    細分化すると17の構成になるが
 大きく分けると3つのフェーズ
    ヒーローもののハリウッド映画では
 多くがこれに沿っている 旅立ち 試練 帰還 古代から人の興味を引く物語の感情の波はパターン化されている
48. コンテンツのパーソナライズ 演出家の役割をするAIがプレイヤーに合わせて動的にコンテンツを制御 作り手　　　コンテンツ　　　受け手 作り手　　　コンテンツ　　　受け手 プレイヤーはゲームの物語を主観的に体験することになるため、
 決まった波ではプレイヤーの感情と乖離することになる
49. Adaptive Level Control
    プレイヤーの行動に合わせてレベル（コンテンツ）を制御する パラメータを変化させてプレイヤーの感情の波を揺さぶる
    開発中のテストプレイのログデータから説明変数を抽出、 線形回帰による分析を行いプレイヤーの感情を推測するモデルを構築 「ロスト・リーバース」©BANDAI NAMCO Entertainment Inc.
50. Adaptive Level Control コンテンツを制御するAIのパラメータを
 設定して感情の波をデザイン ステージ全体を通したマクロな波 戦闘単位などのミクロな波 パラメータ設定をもとにAIが自動で
 感情の波をコントロール 人にデザインされた波に沿いつつ
 細部はAIにより飽きないようにコントロール
51. Adaptive Level Control
    推測した感情値を目標とする感情値に近づけるようにコンテンツを制御 例：敵の生成、敵の行動
    理不尽な難しさにしたり、あからさまな手加減をするとプレイヤーの 意欲を削ぐので、相手に気づかれないようなうまい加減をする必要がある 「ロスト・リーバース」©BANDAI NAMCO Entertainment Inc. ハラハラさせたい… 　安全な場所で戦って手強い行動をする 落ち着かせたい… 　あえて危険な場所に陣取って倒されやすくする なんとなく苦戦する、サクサク進める感じを演出
52. Adaptive Level Control 「ロスト・リーバース」©BANDAI NAMCO Entertainment Inc.
53. プレイヤーのモデリング
    コンテンツのパーソナライズにはプレイヤーを理解することが重要
    プレイヤーの行動を予測するモデルをニューラルネットワークを用いて学習 キャラクターの状態 周囲の状態 … キャラクターの行動
54. プレイヤーへの適応
    学習したプレイヤーのモデルを使用して
 ゲームロジックをシミュレーション
    次に出現させる敵の数や種類などの情報を遺伝子として表し、
 遺伝的アルゴリズムにより最適化
    最適化したパラメータを使用して動的にコンテンツを調整する 3 4 2 3 1 1 1 4 1 2 2 2
55. 面白さの演出
    プレイヤーのモデルは学習速度を上げ、少し過学習気味にする → 過学習した部分が隙となって攻略につながる
    遺伝的アルゴリズムは一定程度改善した段階で一度止める → 段階的に最適化することで急な難易度上昇を避け、ゲームプレイの波を作る 学習の途中結果を使うことでプレイ体験を演出できる
56. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
57. 乗り物の運転 「タイムクライシス５」©BANDAI NAMCO Entertainment Inc.
58. 乗り物の運転 「タイムクライシス５」©BANDAI NAMCO Entertainment Inc.
    乗り物は物理シミュレーションで駆動
    個々のAIに移動目標を指定してデザイン 利点 レベルデザイナーは乗り物の動きの自然さは 考えずにゲームプレイの演出だけに集中して デザインすれば良い 課題 乗り物の精密なコントロールが必要
59. PID制御 P Vehicle D I LPF 出力値 速度
 角度 目標値 速度
 角度 （　　　　： 制御パラメータ） u(t) = Kp e(t) + Ki ∫ t 0 e(τ)dτ + Kd de(t) dt 操作量（アクセル、ハンドル） Kp , Ki , Kd 細かな調整が必要
60. パラメータのオートチューニング パラメータさえ適切に設定すれば、PID制御により精密なコントロールが可能 そこで…
    AI自身に練習コースを何周もさせてアクセルやハンドルの加減を覚えさせる
    パラメータの最適化には Simulated Annealing を使用 人手で適切な調整をするのが難しく時間がかかる 演出の都合で乗り物の挙動特性が変わると調整し直し
61. パラメータのオートチューニング スタート ゴール 練習コース
62. パラメータのオートチューニング 最適化前 アクセルやハンドルの加減がわからず
 フラフラしてすぐコースアウト 最適化後 レベルデザイナーの設定したターゲット にきちんと追従しコースアウトもせずに 乗り物を運転できている
63. アジェンダ ゲーム開発と人工知能 キャラクター制御 コンテンツ制御 開発支援 まとめ
64. まとめ デザイン用のAI技術 高度なAI技術 目的に応じて様々なAI技術を活用 シンボルによる容易なデザイン ハイパーパラメータの調整 学習データを変えて再度学習 ◦ × ×
65. 今後 現状：制御のしやすさから古典的AIが中心に使われている シンボリズムとコネクショニズムのより深い融合 例 ： アテンション ＋ セグメンテーション による意図の理解 現状：クリエイティブでない作業をAIが肩代わり AIによるクリエイティブな作業の支援