Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys37-Balus
Search
株式会社レヴィ
April 03, 2025
Business
0
2
SocSys37-Balus
株式会社レヴィ
April 03, 2025
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
1k
株式会社レヴィ会社紹介
levii
0
230
Sample-se-one-day-training
levii
0
840
SocSys34-Balus
levii
0
110
20230323TechDLT-vol9
levii
0
400
levii-buzzword-2022
levii
0
390
FIT2022_levii
levii
0
700
20220915modelingLT
levii
4
820
20220910SSDM
levii
0
730
Other Decks in Business
See All in Business
Company Deck
chipee
0
310
DWANGO(旧KADOKAWA Connected)|事業紹介資料
kadokawaconnected
4
77k
VISASQ: ABOUT US
eikohashiba
15
490k
「仮説行動」で学んだ、仮説を深め ていくための方法
yudai00
2
750
株式会社EventHub 会社紹介資料
eventhub
1
35k
アシスト 会社紹介資料
ashisuto_career
3
110k
家族アルバム みてね 事業紹介 / Our Business
familyalbum
4
34k
インキュデータ会社紹介資料
okitsu
3
39k
Sales Marker Culture Book(English)
salesmarker
PRO
2
4.5k
(10枚)目標設定から計画立案の基本 ガントチャートを使ったフェーズ管理、マイルストーン管理について
nyattx
PRO
1
1.8k
株式会社スカイロジック 会社説明資料
support01
0
380
FERMENSTATION Impact report
fermenstation
0
1k
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
33
6.5k
Unsuck your backbone
ammeep
670
57k
The Invisible Side of Design
smashingmag
299
50k
Writing Fast Ruby
sferik
628
61k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
BBQ
matthewcrist
88
9.6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
RailsConf 2023
tenderlove
30
1.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Transcript
三浦 政司(JAXA), 矢倉 大夢(MPI), 南部 陽介(株式会社レヴィ), 呉 長憶, 林 萍萍,
小木曽 望(大阪公立大学) SocSys037/ショート発表 2025.3.15 システムモデルに基づく コラボレーションツール の評価実験
発表概要 対話型モデリングツール「Balus」の有効性を評価することを目的に、サバイ バルタスクと呼ばれるグループワークを軸とした評価実験を実施した。その 結果, Balusの利用が精神的負荷を軽減し, 効果的なコミュニケーションにつ ながることを示唆する結果が得られた。 発表内容 • 背景・目的
• 評価実験のデザイン • 実験結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン:概要 • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
ターンテイキングの数 • 発話者の偏り アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • コードスイッチング測定尺度 *Wu & Yama(2024) 発話分析の例
評価実験のデザイン:コードスイッチングを含む仮説モデル コードスイッチング コミュニケーションにおいてコンテキスト(共有される背景知識)高依存スタイルと コンテキスト低依存スタイルを切り替えること *zakaria(2017) • コンテキスト高依存スタイル:間接的・暗黙的な表現が多い • コンテキスト低依存スタイル:直接的・明示的な表現が多い
実施概要 • 実施日:2024年12月15日(日)、2025年1月11日(土) • 被験者:複数の大学から募集した大学生・大学院生 計17名 • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/ツールなしの 3回のワークを実施
グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・なし 砂漠での生存・Balus 冬季での生存・Docs C 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus D 冬季での生存・Balus 月での生存・Docs 砂漠での生存・なし E 冬季での生存・なし 月での生存・Balus 砂漠での生存・Docs 各ワークの流れ:
実験結果
Decision Making Quality Scale Green & Taber(1980) 要因分散分析の結果、ツール間の有意差はなかった。 パフォーマンス(正答率)、認識の一致度も同様に有意差なし。
認知負荷測定スケール:NASA-TLX Hart & Staveland(1988) 要因分散分析の結果、Balusを使ったコミュニケーションは Docsを使ったコミュニケーションより精神的負荷が有意に小さい。 ** p < .01
* p < .05 + p < .10
発話分析 グループB: Balus グループB: Docs グループB: なし 要因分散分析の結果、Docsやツールなしと比較して Balusは有意に発話時間が短かった。 **
p < .01 * p < .05 + p < .10
その他・コミュニケーションの質に関する評価 DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートにおいて、 1位に選ばれた回数: 各ツールの良さを自由記述する アンケートより抽出: Balusの良さ: 視覚的がいい、選択肢のグループ化、 階層構造や因果関係を明記するのに向 いている、など。
Docsの良さ: 表を作れる、慣れる、文章で記述する のに向いている、箇条書きできる、な ど。 ツールなしの良さ: 慣れる、表情を見れる、など。
Balusの利用とコミュニケーションの質 ここまでの結果より、モデリングツール(Balus)を使用することが、 コミュニケーションの質を高めると言える。 • DocsよりBalusの方が精神的負荷が有意に小さい • 効率性、公平性、容易さなどの項目でBalusが1位に選ばれた回数が多い • 短い発話時間で同じパフォーマンス、合意形成の質を実現できた
ツール利用とコードスイッチング コードスイッチング測定尺度アンケートの結果(右表)、 事前の測定(日常生活におけるスイッチング)に対して スコアが上がったが、ツール間での有意な差はなかった 事前 Balus Doc なし 4.45 4.99
4.83 4.99
コードスイッチングとコミュニケーションの質 コードスイッチング測定尺度のスコアとコミュニケーション の質に関するスコア(DQMおよびNASA-TLX)の間の相関関係 を網羅的に比較した結果、Docsとなしの場合はコミュニケー ションの質がコードスイッチングの強度に依存しているが、 Balusの場合はそうではないことがわかった。
結果のまとめ モデリングツール(Balus)を使用することが、 コミュニケーションの質を高める 口頭表現上でコードスイッチングする 代わりに、Balus上のモデルで意図を 表現しているなど、コミュニケーショ ンに影響を与えている可能性がある
今後の計画・展望 • データの蓄積、分析結果の整理 • システムモデリングがより有用となる タスクを用いた評価 • 他のコミュニケーションツール (特にリモート環境向けツール) の評価への適用
株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!