全身による体験を中心としたエンタテイメントシステムの長期展示を通したコンテンツの客観評価手法

白井暁彦，安藤歩美，「全身による体験を中心としたエンタテイメントシステムの長期展示を通したコンテンツの客観評価手法」ITを活用した教育研究シンポジウム2015 - 神奈川工科大学

Transcript

1. 全身による体験を中心とした エンタテイメントシステムの 長期展示を通した コンテンツの客観評価手法 神奈川工科大学 情報学部 情報メディア学科 白井暁彦・安藤歩美
2. はじめに マンガ没入型VRエンタテイメントシステム 「Manga Generator」のプレイヤデータの集合知化を目的 コンテンツの嗜好 複合ペルソナに注目したコンテンツのデータマイニング 姿勢データ 必殺技ポーズデータの分類
4. マンガストーリー 1「この壁を越えて…」:「壁」 2「隕石落下！」:「隕石」 3「The visit to Laval」:「Laval」 4「あゆコロちゃんと大冒険！」:「あゆコロ」 5「女子の力で森を救え！」:「女子力」 6「横浜中華街での出会い」:「横浜」 タイトル：略称 1「壁」 2「隕石」 3「Laval」 4「あゆコロ」5「女子力」6「横浜」
5. TEPIA先端技術館における長期展示 TEPIA先端技術館 東京の北青山にある展示施設 2014年度の開館期間は267日 入場者数は41,525人 2014年4月より常設展示 2015年4月より無人運用化している 長期展示「TEPIA先端技術館」
6. 萌芽的研究：コンテンツの客観評価手法 コンテンツの評価：画質評価手法は多いが， インタラクティブなエンタテイメントシステムの評価？ アンケートのような主観評価は制限が多い 不特定多数の体験者に同意を得た上で， 自然な体験を通してデータを取得し，PDCAサイクル．
7. エンタテイメント体験の主たる体験者に“子供”がいるが，子供に客観評価は難しい(二瓶:2003)  じっとしていないため，安定した生理的・心理的・神経学的データを取ることが難しい  副作用の有無にかかわらず，倫理的問題をクリアすることが難しい 客観評価手法  脳血液動態(NIRS)：快・不快，好き・嫌い，緊張・リラックスなど (坂本ら:2013)  L-pod：加速度センサを用いて体験者の動きを推測(北田ら:2013) 手軽であるが展示型評価には不向き 測域センサやKinectを利用したコミュニケーション場の評価  ResBe：「プレイしないプレイヤ」もシステムが把握可能(岩楯ら:2010) 高額，キャリブレーション必要  Kineco：ResBe安価版でKinect v1を採用．キャリブレーション必要なし 6人までしか取得できないという弱点が存在  これらの手法は遊戯空間全体の量的評価であるため個人の詳細なデータを判断することは難しい 7 背景・客観評価手法 二瓶健二. バーチャルリアリティは子供に何ができるか. 日本バーチャルリアリティ学会誌． 阪本清美ら. TV 視聴コンテンツの種類が感情状態の生理心理計測に及ぼす影響(コミュニケーション支援, 一般). 電子情報通信学会技術研究報告. 北田ら．スマートフォンの加速度センサを用いた微小不随意運動検出による動画視聴時の笑い評価手法 岩楯翔仁ら. Resbe: エンタテイメントシステム周囲のコミュニケーション場に対する遠隔評価手法の提案. 第15 回日本バーチャルリアリティ学会大会論文集. 田所康隆ら． エンタテイメントシステム展示を対象とした質的評価ツールの提案. エンタテインメントコンピューティングシンポジウム2013論文集.
8. W. James 1842- 1910 8 背景・笑顔研究の歴史 「人は幸福であるがゆえに笑うのではなく， 笑うがゆえに幸福である」 (W. James : 1895) 笑いが人体に良い影響があることが明らかに 「医療 看護の場でのユーモアの意味と効用 ; 「笑い療法」を中心に」(中川 : 1989) 「健康における笑いの効果の文献学的考察」(三宅ら : 2007) “感情”と“表情”の結びつき FACS(Facial Action Coding System)(P. Ekman : 1978) 笑顔の訓練が活発化・トレーニングシステム登場 「笑顔促進支援システム : Happiness Counter」(辻田，暦本ら : 2011年)] 個人認証やセキュリティに利用 USJ年間パスポート(NEC「NeoFace」) Lenovo「VeriFace」，「FastAccess」(2011) Microsoft「Window Hello」(2015) 製品として普及 SONY「Cyber – Shot スマイルシャッター」(2007) Intel RealSense, Kinect v2, Omron HVC-C(2014) 笑顔は微笑み(smile)と笑い(laughter)に大別 「目と口の動きの追跡による笑顔の分類」(片岡ら : 2001年) 表情・喉・腹に着目した笑い測定システムを用いて8パターンに類型化(森下ら :2008年) 笑顔の物理評価・笑顔を計測する試み 「魅力的な笑顔に表れる幾何学的特徴」表情矩形の縦横比が黄金比(井口ら : 2007年) 「リアルタイム笑顔度推定」事前登録を必要としない高速な笑顔認識を実現(小西ら : 2008年) 笑顔の哲学 笑顔を計測する 製品化・一般へ普及 哲学から心理学・医学の分野へ 哲学的・心理学的・医学的 技術的 1900年以前 1970-1990年頃 2000年代 2010年代
9. 従来のエンタテイメント体験評価には多くの問題 主観評価(質的) ： 実験者の恣意が入る恐れがある 客観評価(質的) ： 子供には難しい 生理計測/ResBe： センサが高価 Wara-L(加速度)： 展示型評価には不向き ResBe・Kineco ： 量的評価であるため質的評価不可 笑顔認識技術に着目した非接触・非装着かつ，子供にも体験が可能であり， 一人ひとりの体験者の評価が可能な展示型評価向きの評価システムが必要 9 過去の研究事例
10. 笑顔は分類可能であるが，意識的かどうかについて議論されていない(森下 ら：2008) 「conscious(意識的)な笑顔」，「unconscious(無意識的)な笑顔」と定義 「consciousな笑顔」 笑ってくださいという呼びかけ → 笑う 「unconsciousな笑顔」 意識していない・自然発生的 !(unconscious) = conscious 10 関連：笑顔の分類と定義
11. 受付設置型笑顔認識システムのメリット エンタテイメント体験の有無にかかわらず評価が可能 ネガティブデータの評価が容易になる エンタテイメント体験をしない体験者の評価も可能 複数の笑顔認識システムの特性を調査 「Intel RealSense」，「Face++」を併用 11 開発事例・笑顔認識によるエンタテイメント体験評価 *津田良太郎, 鈴木百合彩, 安藤歩美, 鈴木久貴, 白井暁彦. 複数の笑顔認識デバイスの同時使用によるVR エンタテイメントシステムの評価. 第20回日本バーチャルリアリティ学会 大会論文集, 4pages, 2015. 笑顔認識デバイス 顔の特徴点78点を認識し， 0~100で笑顔値を算出 笑顔の閾値が高く，日本人の笑顔 では0が出やすいという特性がある． 笑顔認識ツール[Webサービス] 画像から顔情報を推定，特徴点認 識し，0~1の値域で笑顔値を算出 笑顔の閾値は低く，真顔でも 0が算出されることは少ない
12. 複合ペルソナに 注目したコンテンツの データマイニング
13. 複合ペルソナ 「複合ペルソナ」とは複数人 を対象にしたユーザモデル ミュージアムなどで見られる， 親子連れ，カップル，または女 子高生グループなどの単独では ないペルソナ ∗ *白井暁彦． 白井博士の未来のゲームデザイン． ワークスコーポレーション， 2013．
14. 想定された複合ペルソナ タイトル：想定された複合ペルソナ 1「壁」 2「隕石」 3「Laval」 4「あゆコロ」5「女子力」6「横浜」 「あゆコロ」:小学生ファミリー 「女子力」:女子高生グループ 「横浜」:男兄弟とその友人 「壁」:男兄弟とその友人 「隕石」:男兄弟とその友人 「Laval」:国際
15. 単日イベント「科学のひろば」で使用した マンガストーリーとその設計 単日イベント「科学のひろば」
16. 単日イベント・体験方式 体験者はオペレーターの 指示に従い体験開始，以後自由． オペレーターは体験者の観察 体験終了後，IDが記載された スタンプカードにスタンプを押し 同一体験者は1回目のデータを使用 単日イベント「科学のひろば」
17. 単日イベント・体験者の性別と年齢層 実験参加者73名 男性54名，女性19名 平均年齢9歳 10歳が最も多い 単日イベント「科学のひろば」
18. 体験者の年齢と選ばれたマンガ 本イベントで一番多い 小学生ファミリーを 対象として設計された あゆコロは6歳～10歳に プレイされた 女子力も 小学生ファミリーを対象と した設計であったが 著しく数が少なかった 男：女＝54：19 “女子”が響く年齢に特徴？ 単日イベント「科学のひろば」
19. 複合ペルソナ「小学生ファミリー」 体験者の観察から 最も多く見られたペルソナは 「小学生ファミリー」 （親子連れ）であった 実際に体験する人と 連れてくる人が異なる 連れてくる人
20. 「小学生ファミリー」の様子 体験するのは子供のみ 体験の始まりは子供の興味と親の勧め 子供だけでなく親にも興味を持ってもらう設計， 親が体験させたいと思う設計が必要 子供（プレイヤ） 子供（プレイヤ） 親 親 単日イベント「科学のひろば」
21. TEPIA先端技術館長期展示で 使用しているマンガストーリー 2015年6月4日～7月7日を集計 1,204回の体験 長期展示「TEPIA先端技術館」
22. 長期展示の選ばれたマンガ 単日イベントとの違い 女子力：女性の方が多い 家族連れが100組以上 大人も子供と一緒に体験 無人化することで 大人も恥ずかしくない？ 0 50 100 150 200 2 女子力 3 あゆコロ 4 壁 5 隕石 長期展示「TEPIA先端技術館」
23. 結果の比較 展示形態 選ばれたマンガ順位，回数 メインのペルソナ 一日当たりの規模 科学のひろば <単日展示> オペレータあり 1．あゆコロ(26) 2．隕石(19) 3．壁(12) 4．横浜(10) 5．女子力(3) 小学生ファミリー 親は見ているだけ 約70回 TEPIA先端技術館 <長期展示> オペレータなし (無人化NUI) 1．隕石(375) 2．あゆコロ(293) 3．Laval(213) 4．女子力(293) 5．壁(143) 1男兄弟とその友人 2小学生ファミリー 親が一緒に体験 約40回
24. 前に体験している人の体験を見て， 同じストーリーを選ぶ傾向がある 姿勢により描画が変わる機能のため？ NUIによる操作で選びにくいマンガがある 左手で選ぶ操作により画面右下のマンガが 選びにくい？ ほかの要素と整理して追実験が必要 実験から考慮すべき要素
25. 複合ペルソナとコンテンツ:まとめ 約1,200 件程度のナチュラルデータでマイニングを実現 複合ペルソナの中の非プレイヤの存在も明らかになった 非プレイヤを含めて体験をして頂けるような設計が必要 常設展示のManga Generator は単日イベントに比べ 多種類の複合ペルソナが体験 各マンガごとに多様なポーズが見受けられた 与えられたマンガのコマに対し， 体験者はどのようなポーズをとるのか
26. 必殺技ポーズデータの 分類と集合知の活用
27. 必殺技の定義 必殺技とは敵に大打撃を与える技のこと Manga Generator のマンガストーリーは A4 用紙1 枚で完結する必要があり， 1 枚の中に起承転結がある 起承転結の「転」(見せ場のコマ)でとる ポーズを「必殺技」と定義 自然なプレイヤデータから姿勢データの 分類を行った TEPIA先端技術館でのデータを使用 (2015/7/8-7/15) 見せ場のコマ
28. 集合知の活用事例 集合知を活用するためのコンポーネント(*Satnam Alag 2009～) 1. ユーザーに行動させる． 2. ユーザーから学んで集約する． 3. ユーザーの行動履歴と集約データを用いて コンテンツをパーソナライズする． 本研究では「Manga Generator」の展示から得られた プレイヤデータを集合知化し， Manga Generatorの発展(PDCA化)に貢献することを目標とした *Satnam Alag， 堀内孝彦， 真鍋加奈子， 真鍋和久(訳)「集合知イン・アクション」 ソフトバンククリエイティブ株式会社， 2009．
29. 骨格情報の可視化 長期展示から抽出した体験データを用いて， 体験者の骨格情報の可視化を試みた 体験者が与えられたマンガの 見せ場のシーンに対して どのような姿勢をとっているか
30. 骨格情報の可視化 プレイヤのコマごとの骨格情報をCSVファイルに 保存する仕組みをManga Generatorに追加 骨格情報のCSVファイルを読み込み， データを可視化するアプリケーションを開発
31. 教師データに対する類似度の算出 マスター ターゲット cos θ V1 V2 cos θ (-1～1) 角度θ(度) 0 30 60 90 120 150 180 cos θ 1.0 0.87 1.0 0 -0.5 -0.87 -1.0 ∙ = cos cos = ∙ = 1 1 + 2 2 + 3 3 1 2 + 2 2 + 3 2 1 2 + 2 2 + 3 2 = 1 , 2 , 3 = 1 , 2 , 3 ∙ = 1 1 + 2 2 + 3 3
32. 比較する6つのベクトル [10]WristRight-[9]ElbowRight [9]ElbowRight-[8]SholderRight [6]WristLeft-[5]ElbowLeft [5]ElbowLeft-[4]SholderLeft [1]Spine-[2]SholderCenter [1]Spine-[0]HipCenter cosθ -1～1 閾値4.5
33. 実験 TEPIA先端技術館展示の2015年7月8日から 7月15日のデータを使用 242回分の体験データを取得 各マンガストーリーの必殺技コマのポーズを比較，考察
34. 「壁」 31名が体験
35. 「隕石」 70名が体験
36. 「Laval」 42名が体験
37. 「あゆコロ」 62名が体験
38. 「女子力」 37名が体験
39. 考察 特定の必殺技が多く表現されている という結果からそのストーリーが良 いとは一概には言えない 「隕石」のマンガでは比較的ポーズの分 類結果が四散→プレイヤが自由な発想で 自然な体験を行えていると言える 「Laval」や「あゆコロ」のような半数 弱が同じポーズをとっているマンガは， 世界観があり分かりやすいストーリーで あることが考えられる Laval あゆコロ 隕石
40. 必殺技分類:まとめ 集合知としての「必殺技」を分類 ストーリーの作者の意図通りにプレイヤがポーズを とるか否かが容易に判断することができた 描かれた背景で特定のポーズを誘導することが可能であった 「あゆコロ」のパンチ 「女子力ビーム」などの架空の名称の必殺技を与えた場合の ポーズも把握することが可能 マンガストーリー製作に役立つ
41. システム展開の可能性
42. 新しいManga Generatorの開発へ 今回取得した242件の データを教師データと して利用し，プレイヤ がとったポーズを自動 で分類する 分類器
43. Manga Generator Visualizationの開発 非プレイヤへのアプローチの実現 多重化不可視技術「ExPixel」を用いている
44. Manga Generator Visualization 眼鏡側の映像(プレイヤ向け) Manga Generatorのプレ イ画面 裸眼側の映像(非プレイヤ向け) 写真のスライドショー
45. Manga Generator Visualization 眼鏡側の映像(プレイヤ向け) Manga Generatorのプレ イ画面 裸眼側の映像(非プレイヤ向け) シルエット画像の表示 あらかじめ用意したデータ とプレイヤがとったポーズ が一致した場合シルエット 画像を表示する
46. Manga Generator Visualization 非プレイヤへ アプローチ 非プレイヤへ アプローチ 教師データの 利用 教師データの 利用 必殺技分類 Manga Generator Visualization
47. Manga Generator Visualization ポーズデータのCSVファイルはそれぞれ一 致するポーズごとにフォルダ分けして保存 される 一致するポーズが無い場合，そのポーズを 新しいポーズとして記憶する 次に同じポーズデータを読み込んだ場合， 新しくフォルダが作成され分類される
48. Manga Generator Visualization 本システムによって姿勢の分 類だけでなく，「非プレイヤ を含む家族全員」のような複 合ペルソナにアプローチする ことが可能となった
49. 結論 Manga Generatorの プレイヤデータの集合知化を達成 →Manga Generatorにおける集合知 複合ペルソナ/コンテンツの嗜好 姿勢データ 集合知を利用した新しいManga Generatorの開発により， プレイしない人への アプローチを実現，PDCAが可能に
50. 今後の展望 一般的なポーズ  珍しいポーズ 統計的なデータを表示したい
51. Case1:TEPIA先端技術館から 新しいコンテンツの製作を依頼された場合 1. 複合ペルソナに注目し，来館している複合ペルソナのター ゲットを決める． マジョリティな複合ペルソナ マイノリティな複合ペルソナ 2. Manga Generator が取得しているRGB 画像を用いて顔認識や 身長推定を行い，プレイヤの複合ペルソナの分類をすること で，ターゲットにした複合ペルソナに嗜好されているコンテ ンツを洗い出す．
52. Case2:マンガ出版社から コラボレーション依頼をされた場合 1. マンガをどの複合ペルソナにプロモーションするのかを決め る． 例：少年誌のマンガであれば「男兄弟とその友人」の複合ペルソナ 2. その複合ペルソナが嗜好しているコンテンツや，表現してい るポーズなどを分析してコンテンツの内容を決めて企画する．
53. Case3:動的なマンガストーリーを 製作する場合 必殺技コマでのポーズが「棒立ち」であると 戦いに敗れる結末となり， 「元気なポーズ」であると戦いに勝利する結末となるような， プレイヤのポーズによってストーリーが変化するストーリー プレイヤの必殺技ポーズを認識し， それに応じてストーリーが変化するマルチエンディング， 動的なマンガストーリーを作ることができる
54. Manga Generatorの今後 “Manga Generator Pro” 株式会社プログマインド ◦ T2V(Text to Vision)技術 ◦ 卒業生が4名在籍 http://www.progmind.jp/  R&Dを白井研究室で継続  社会へのDeployを企業と協力して推進  広告メディア技術 ◦ SNSとの連携 ◦ モバイル化