ゲームに見るエンターテインメントコンテンツへの人工知能技術の応用と課題

株式会社バンダイナムコスタジオ長谷洋平ゲームに見る  エンターテインメントコンテンツへの  人工知能技術の応用と課題 2018/10/25 コンピュータソフトウェア協会 AIセミナー

自己紹介 2009年、株式会社バンダイナムコゲームス（当時）入社エースコンバットシリーズ、鉄拳シリーズなどの開発に携わる現在は開発中のゲームタイトルにてリードAIプログラマをしつつ、  最新の人工知能技術のリサーチも行う 2015年～2018年のCEDECで計７件の登壇
その他、人工知能学会誌への論文の寄稿など

189 汎用ゲーム AI エンジン構築の試みとゲームタイトルでの事例 1．は　じ　め　にビデオゲーム（以下，ゲーム）はグラフィック，物理シミュレーション，ネットワークなどの高度な技術の上に成り立つエンタテイメントコンテンツである．人工知能もゲームを構成する技術の一つであり代表的な使用
それを解決するためのゲーム AI エンジンの設計と実際のゲームタイトルでの事例を紹介する． 2．エージェントアーキテクチャゲーム内のキャラクタを制御する AI をつくる場合，周りから収集した情報を使って意思決定をし実際に行汎用ゲーム AI エンジン構築の試みとゲームタイトルでの事例 General-purpose Game AI Engine: Theory and Practice 長谷　洋平株式会社バンダイナムコスタジオ Yohei Hase BANDAI NAMCO Studios Inc. Keywords: behavior tree, HTN planning, BDI architecture, AI director, emotion. 「ゲーム産業における人工知能」 http://id.nii.ac.jp/1004/00008566/

バンダイナムコスタジオについてトイホビーネットワークエンターテインメント映像音楽プロデュース … ゲーム開発で培ったノウハウ・技術の提供  （グループ会社との共同開発など）ゲーム開発家庭用業務用
PC、モバイル

ゲームAIの可能性デジタルサイネージゲーム＝リアルタイム・インタラクティブ・デジタルエンターテインメント VTuber AIアシスタントコミュニケーションロボットゲームAI など

アジェンダゲーム開発と人工知能キャラクター制御コンテンツ制御開発支援まとめ

現在のゲーム開発について大規模・高品質人員の増加では対応できない物量高品質を担保するための高度な技術デバイス新しい技術への柔軟な対応運営
ランニングコストの増加全体常に新しいものを求められる大規模・高品質デバイス運営家庭用業務用モバイル

ゲーム開発における人工知能の役割クリエイターの創造性の最大化遊びの拡張：今まで実現できなかった遊びを提供できるようにする例：戦略性の高い対戦、その人に合わせたプレイ体験の創出開発支援：よりクリエイティブなところに時間を使えるようにする例：パラメータの自動調整、アセットの監修

ゲームの開発体制プロデューサーディレクターゲームデザイナーアーティストプログラマサウンドクリエイター仕様の策定  レベルデザイン  AIデザイン 
など 3Dモデル  アニメーション  UIデザイン  などグラフィック  アニメーション  AI  など作曲  効果音  ボイス収録  など予算や人の管理開発方針の決定

ゲームの開発体制例：敵キャラクター AIデザイナ AIプログラマアニメーターキャラクターモデラー思考サウンドクリエイター仕組みセリフ、効果音
動き外見ゲームコンセプトに合うようにAIをデザインする（非エンジニア） AIの知識ゲーム開発においてAI技術のエンドユーザーは（多くの場合）AIの知識を持っていない

ゲーム開発における人工知能の要件ゲーム開発の現状高度な技術を使用した製品開発が必要 AIに詳しくない人との共同作業 AIの知識を持たない人であっても容易に利用可能エンターテインメントコンテンツコンセプトに沿ったデザインを容易に実現可能結果が予測可能

キャラクターAIの要件２種類のAI 強いAI ：人間の知能そのものをもつ機械を作る弱いAI ：人間が知能を使ってすることを機械にさせる
ゲームにおけるキャラクターAIは… 限られた環境で動けばいいという点では弱いAI キャラクターに命を吹き込むという点では  本当に知能を持っている（強いAI）ように見えなければいけない

キャラクターAIの要件ゲーム世界という管理された環境で知的に行動して欲しい演出上の都合などで開発者の意図通りに動いて欲しい場面も多いゲームという舞台で与えられた台本に沿って動く舞台役者のようなAI ただし、ゲームには自由奔放に動くプレイヤーという役者がいるので  あらゆるアドリブに対応できないといけない
理想像：アドリブにめっぽう強い舞台役者

キャラクターAIの仕組みゲーム世界という環境の情報を身体を通して取得し、  意思決定の結果、身体行動によって環境に影響を与える AI内部では複数のシステムが相互に機能することにより様々な出力を得る身体 AI

ボードゲーム入力盤面の状態進行度（序盤、終盤）持ち駒出力
次の手

FPS 入力敵の位置、状態レベルの構造出力アニメーション
ボイス武器の発射

エージェントアーキテクチャ Perception Brain Action Blackboard 環境行動

HTNプランニング AI自身に戦略や行動計画を立てさせる自動計画の技術の一種抽象的なタスクをより具体的なタスクへ分割していくことで  必要な行動とその順序を見つけるタスクをどのように分割するかを事前に定義しておき、  そのタスクネットワーク（Hierarchical Task
Networks）を  使って将来の状態の変化をシミュレートしながら問題を解く人が行動を計画する時の思考と似ているのでわかりやすい

HTNプランニングドメイン：問題領域の定義複合タスク：サブタスクへの分割方法の定義プリミティブタスク
：前提条件、事後条件、アクション　のセットドメインステートゴールプランナプラン

HTNプランニング東京の家から福岡駅に行く航空券を買う、羽田空港に行く、飛行機に乗る、福岡駅に行く航空券を買う、羽田空港に行く、飛行機に乗る、福岡駅に行く航空券を買う、東京駅に行く、切符を買う、電車に乗る、羽田空港に行く、  　　　飛行機に乗る、福岡駅に行く航空券を買う、東京駅まで歩く、切符を買う、電車に乗る、飛行機に乗る、切符を買う、電車に乗る … 分割分割
プランに追加、所持金：100,000円 ‒ 50,000円 = 50,000円ステート  所持金：100,000円

HTNプランニング東京の家から福岡駅に行く福岡駅まで歩く福岡駅まで歩く分割プランに追加、所持金は変化なしステート  所持金：100円

HTNプランニングメリットタスクネットワークにより計画の探索空間を大幅に削減できる → リアルタイムアプリケーションに向いている計画を定義された行動のシーケンスに固定できる → 予期せぬ振る舞いをしないのでコントロールしやすい
デメリット演出的な行動を指定しにくいドメインの構築にはHTNプランニングに関する深い知識が必要

Behavior Tree ノードベースのグラフィカルなツールを使用して  キャラクターの意思決定を作成できるシステム利点ノードをツリー状に組むだけなので  AIの知識がなくても構築可能プリミティブな機能ごとにノードを 
作れば良いので再利用性が高くなる

Behavior Tree Task Behavior Tree におけるリーフノード主に条件判定やアクションの実行を行い、結果として成功か失敗を返す
条件判定：ターゲットが生きているか？残弾数はあるか？アクション：射撃を行う、セリフを発話する Success Failure

Behavior Tree Composite 子ノードの実行を制御するノード Sequence：子ノードを順番に実行することを目的としたノード Selector：子ノードの中から一つを選択することを目的としたノード Sequence
Selector Success Failure Success Failure Success Failure

Behavior Tree Decorator 子ノードを一つしか持てない特別なノード子ノードの動作をカスタマイズする x 回繰り返す、x
秒経過すると終了する repeat 3 射撃 timeout 5.0sec 隠れる

Behavior Tree 攻撃巡回近接遠距離周りに  敵が  いない巡回地点 
を選択移動残弾数が  十分か？射撃移動格闘

Behavior Tree ロドニー・ブルックスもロボット開発に利用引用：Rethink Robotics  http://mfg.rethinkrobotics.com/intera/Intera_Studio

Behavior Tree メリット AIの思考をグラフィカルに構築できる AIに関する知識の有無によらず構築が容易デメリット複雑な思考を作ろうとするとツリーが巨大になる

ハイブリッドシステム Behavior Tree で決めた目標を達成するプランを  HTNプランニングにより求める HTNプランナタスクA タスクB タスクC 目標
成功 or 失敗生成

ハイブリッドシステム HTNドメインキャラクターのコンセプトや  その時々の演出によって様々なツリーを作成与えられた目標に対して最適な行動をとれるように  キャラクターのタイプ（人や動物）ごとに作成 HTNプランニングの知識がある人が担当 AIの知識に関わらず誰でも担当可能

BDIアーキテクチャ「意図の理論」をベースとしたエージェントアーキテクチャエージェント内部に信念、願望、意図を心的状態として保持アルゴリズム 1. 信念と欲求から達成すべき目標（願望）を決め、達成手段の候補を求める 2. 達成手段の候補から実際に行う手段を熟考して決定
3. 決定した手段を意図として実行する 4. 外部からの知覚をもとに信念を更新する

BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 信念空間への投影 HTN Planner

BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 願望 HTN Planner 信念

BDIアーキテクチャ Perception Brain Behavior Tree Blackboard 願望 HTN Planner 信念
意図

BDIアーキテクチャ 1. 信念と欲求から達成すべき目標（願望）を決め、  達成手段の候補を求める  2. 達成手段の候補から  実際に行う手段を熟考して決定 3. 決定した手段を意図として実行する 4.
外部からの知覚をもとに信念を更新する Perception Brain Behavior Tree HTN Planner 合理性の高い、より人間（生物）らしいAIを  AI技術にあまり明るくない人でも構築できる HTNドメイン

エージェントアーキテクチャ Perception Brain Action Blackboard 環境行動

Inﬂuence Map 動的に環境にタグ付けし、タグ情報をもとに現在の状況を分析する情報の種類ごとにレイヤーが作成され、複数のレイヤーを統合して判断する近づくな危険危険「ロスト・リーバース」©BANDAI
NAMCO Entertainment Inc. 例：脅威度

Perception Tree ノードベースでキャラクターの環境認識を作成できるシステム Inﬂuence Map を含む複数の情報を統合して認識・判断を行う目的に応じて取得する情報や粒度をノードの種類やプロパティで制御する

環境認識タグ付けを行うルール Inﬂuence Map の作成環境の評価簡易なルールベース（AIデザイナ）複雑なアルゴリズム（AIプログラマ）ノードベースによる設計（AIデザイナ）高度な技術を制御するためのわかりやすいインターフェイスを用意して 
AIに明るくない人にもデザイン可能にすることが重要！

ゲームの面白さとはゲームには緩急の波をつけると面白くなる「ハラハラする場面」と「落ち着ける場面」が適度に繰り返される単調に感じ、すぐ飽きてしまう感情が揺り動かされ、ゲームに引き込まれる

Three Act Structure（三幕構成）ハリウッド映画などで使われているストーリー構成法全体を「設定」「対立」「解決」の三幕に分け、それぞれを1:2:1で配置するそれぞれの幕の中でもどこにどういうものを配置すべきか決まっている
どこに盛り上げるポイントを持ってきて、どこに伏線を持ってくるか Act 1 Act 2 Act 3

Hero’s Journey 世界中の神話を分析して導き出した  ストーリー構成法細分化すると17の構成になるが  大きく分けると3つのフェーズヒーローもののハリウッド映画では 
多くがこれに沿っている旅立ち試練帰還古代から人の興味を引く物語の感情の波はパターン化されている

コンテンツのパーソナライズ演出家の役割をするAIがプレイヤーに合わせて動的にコンテンツを制御作り手　　　コンテンツ　　　受け手作り手　　　コンテンツ　　　受け手プレイヤーはゲームの物語を主観的に体験することになるため、  決まった波ではプレイヤーの感情と乖離することになる

Adaptive Level Control プレイヤーの行動に合わせてレベル（コンテンツ）を制御するパラメータを変化させてプレイヤーの感情の波を揺さぶる開発中のテストプレイのログデータから説明変数を抽出、線形回帰による分析を行いプレイヤーの感情を推測するモデルを構築「ロスト・リーバース」©BANDAI
NAMCO Entertainment Inc.

Adaptive Level Control コンテンツを制御するAIのパラメータを  設定して感情の波をデザインステージ全体を通したマクロな波戦闘単位などのミクロな波パラメータ設定をもとにAIが自動で  感情の波をコントロール人にデザインされた波に沿いつつ 
細部はAIにより飽きないようにコントロール

Adaptive Level Control 推測した感情値を目標とする感情値に近づけるようにコンテンツを制御例：敵の生成、敵の行動理不尽な難しさにしたり、あからさまな手加減をするとプレイヤーの意欲を削ぐので、相手に気づかれないようなうまい加減をする必要がある「ロスト・リーバース」©BANDAI
NAMCO Entertainment Inc. ハラハラさせたい… 　安全な場所で戦って手強い行動をする落ち着かせたい… 　あえて危険な場所に陣取って倒されやすくするなんとなく苦戦する、サクサク進める感じを演出

プレイヤーのモデリングコンテンツのパーソナライズにはプレイヤーを理解することが重要プレイヤーの行動を予測するモデルをニューラルネットワークを用いて学習キャラクターの状態周囲の状態 … キャラクターの行動

プレイヤーへの適応学習したプレイヤーのモデルを使用して  ゲームロジックをシミュレーション次に出現させる敵の数や種類などの情報を遺伝子として表し、  遺伝的アルゴリズムにより最適化最適化したパラメータを使用して動的にコンテンツを調整する 3
4 2 3 1 1 1 4 1 2 2 2

面白さの演出プレイヤーのモデルは学習速度を上げ、少し過学習気味にする → 過学習した部分が隙となって攻略につながる遺伝的アルゴリズムは一定程度改善した段階で一度止める → 段階的に最適化することで急な難易度上昇を避け、ゲームプレイの波を作る学習の途中結果を使うことでプレイ体験を演出できる

乗り物の運転「タイムクライシス５」©BANDAI NAMCO Entertainment Inc. 乗り物は物理シミュレーションで駆動個々のAIに移動目標を指定してデザイン利点
レベルデザイナーは乗り物の動きの自然さは考えずにゲームプレイの演出だけに集中してデザインすれば良い課題乗り物の精密なコントロールが必要

PID制御 P Vehicle D I LPF 出力値速度  角度目標値
速度  角度（　　　　：制御パラメータ） u(t) = Kp e(t) + Ki ∫ t 0 e(τ)dτ + Kd de(t) dt 操作量（アクセル、ハンドル） Kp , Ki , Kd 細かな調整が必要

パラメータのオートチューニングパラメータさえ適切に設定すれば、PID制御により精密なコントロールが可能そこで… AI自身に練習コースを何周もさせてアクセルやハンドルの加減を覚えさせるパラメータの最適化には Simulated Annealing を使用
人手で適切な調整をするのが難しく時間がかかる演出の都合で乗り物の挙動特性が変わると調整し直し

パラメータのオートチューニングスタートゴール練習コース

パラメータのオートチューニング最適化前アクセルやハンドルの加減がわからず  フラフラしてすぐコースアウト最適化後レベルデザイナーの設定したターゲットにきちんと追従しコースアウトもせずに乗り物を運転できている

まとめデザイン用のAI技術高度なAI技術目的に応じて様々なAI技術を活用シンボルによる容易なデザインハイパーパラメータの調整学習データを変えて再度学習 ◦ × ×

今後現状：制御のしやすさから古典的AIが中心に使われているシンボリズムとコネクショニズムのより深い融合例：アテンション＋セグメンテーションによる意図の理解現状：クリエイティブでない作業をAIが肩代わり
AIによるクリエイティブな作業の支援

ゲームに見るエンターテインメントコンテンツへの人工知能技術の応用と課題

ゲームに見るエンターテインメントコンテンツへの人工知能技術の応用と課題

More Decks by Bandai Namco Studios Inc.

Other Decks in Technology

Featured

Transcript