Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys37-Balus
Search
株式会社レヴィ
April 03, 2025
Business
0
1
SocSys37-Balus
株式会社レヴィ
April 03, 2025
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
1k
株式会社レヴィ会社紹介
levii
0
230
Sample-se-one-day-training
levii
0
820
SocSys34-Balus
levii
0
110
20230323TechDLT-vol9
levii
0
400
levii-buzzword-2022
levii
0
380
FIT2022_levii
levii
0
690
20220915modelingLT
levii
4
820
20220910SSDM
levii
0
720
Other Decks in Business
See All in Business
Nstock 採用資料 / We are hiring
nstock
27
290k
味噌汁作り あるいは仕事の学び
usuyuki
0
940
シンデレラなんかになりたくない~裸足で歩く自分だけの道~
nomizone
5
1.1k
開発者ブログを3年半運営した振り返り / Running a Developer Blog: Lessons from 3.5 Years and Tips for You
nttcom
0
750
CompanyDeck 2025
immedio
0
660
ドコドア_採用ピッチ資料_20250318
docodoor_hr
3
10k
ポート株式会社_会社紹介資料(2025/03/07更新)
portpr
1
1.7k
株式会社ハイクリ 採用デッキ
hicrea123
0
520
(29枚)採用力アップトレーニングプログラムの詳細と3つの特徴
nyattx
PRO
0
260
CSオンボーディング改善におけるCRE的アプローチ / CRE approach to improving CS onboarding
woody_kawagoe
0
340
(7枚)STAR法を活用した事例の書き方
nyattx
PRO
2
190
株式会社ハイパー 会社紹介資料
hypermarketingteam
0
220
Featured
See All Featured
Designing for humans not robots
tammielis
250
25k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
The Invisible Side of Design
smashingmag
299
50k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
BBQ
matthewcrist
88
9.5k
Building a Modern Day E-commerce SEO Strategy
aleyda
39
7.2k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.5k
Writing Fast Ruby
sferik
628
61k
Transcript
三浦 政司(JAXA), 矢倉 大夢(MPI), 南部 陽介(株式会社レヴィ), 呉 長憶, 林 萍萍,
小木曽 望(大阪公立大学) SocSys037/ショート発表 2025.3.15 システムモデルに基づく コラボレーションツール の評価実験
発表概要 対話型モデリングツール「Balus」の有効性を評価することを目的に、サバイ バルタスクと呼ばれるグループワークを軸とした評価実験を実施した。その 結果, Balusの利用が精神的負荷を軽減し, 効果的なコミュニケーションにつ ながることを示唆する結果が得られた。 発表内容 • 背景・目的
• 評価実験のデザイン • 実験結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン:概要 • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
ターンテイキングの数 • 発話者の偏り アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • コードスイッチング測定尺度 *Wu & Yama(2024) 発話分析の例
評価実験のデザイン:コードスイッチングを含む仮説モデル コードスイッチング コミュニケーションにおいてコンテキスト(共有される背景知識)高依存スタイルと コンテキスト低依存スタイルを切り替えること *zakaria(2017) • コンテキスト高依存スタイル:間接的・暗黙的な表現が多い • コンテキスト低依存スタイル:直接的・明示的な表現が多い
実施概要 • 実施日:2024年12月15日(日)、2025年1月11日(土) • 被験者:複数の大学から募集した大学生・大学院生 計17名 • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/ツールなしの 3回のワークを実施
グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・なし 砂漠での生存・Balus 冬季での生存・Docs C 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus D 冬季での生存・Balus 月での生存・Docs 砂漠での生存・なし E 冬季での生存・なし 月での生存・Balus 砂漠での生存・Docs 各ワークの流れ:
実験結果
Decision Making Quality Scale Green & Taber(1980) 要因分散分析の結果、ツール間の有意差はなかった。 パフォーマンス(正答率)、認識の一致度も同様に有意差なし。
認知負荷測定スケール:NASA-TLX Hart & Staveland(1988) 要因分散分析の結果、Balusを使ったコミュニケーションは Docsを使ったコミュニケーションより精神的負荷が有意に小さい。 ** p < .01
* p < .05 + p < .10
発話分析 グループB: Balus グループB: Docs グループB: なし 要因分散分析の結果、Docsやツールなしと比較して Balusは有意に発話時間が短かった。 **
p < .01 * p < .05 + p < .10
その他・コミュニケーションの質に関する評価 DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートにおいて、 1位に選ばれた回数: 各ツールの良さを自由記述する アンケートより抽出: Balusの良さ: 視覚的がいい、選択肢のグループ化、 階層構造や因果関係を明記するのに向 いている、など。
Docsの良さ: 表を作れる、慣れる、文章で記述する のに向いている、箇条書きできる、な ど。 ツールなしの良さ: 慣れる、表情を見れる、など。
Balusの利用とコミュニケーションの質 ここまでの結果より、モデリングツール(Balus)を使用することが、 コミュニケーションの質を高めると言える。 • DocsよりBalusの方が精神的負荷が有意に小さい • 効率性、公平性、容易さなどの項目でBalusが1位に選ばれた回数が多い • 短い発話時間で同じパフォーマンス、合意形成の質を実現できた
ツール利用とコードスイッチング コードスイッチング測定尺度アンケートの結果(右表)、 事前の測定(日常生活におけるスイッチング)に対して スコアが上がったが、ツール間での有意な差はなかった 事前 Balus Doc なし 4.45 4.99
4.83 4.99
コードスイッチングとコミュニケーションの質 コードスイッチング測定尺度のスコアとコミュニケーション の質に関するスコア(DQMおよびNASA-TLX)の間の相関関係 を網羅的に比較した結果、Docsとなしの場合はコミュニケー ションの質がコードスイッチングの強度に依存しているが、 Balusの場合はそうではないことがわかった。
結果のまとめ モデリングツール(Balus)を使用することが、 コミュニケーションの質を高める 口頭表現上でコードスイッチングする 代わりに、Balus上のモデルで意図を 表現しているなど、コミュニケーショ ンに影響を与えている可能性がある
今後の計画・展望 • データの蓄積、分析結果の整理 • システムモデリングがより有用となる タスクを用いた評価 • 他のコミュニケーションツール (特にリモート環境向けツール) の評価への適用
株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!