Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SocSys34-Balus
Search
株式会社レヴィ
March 13, 2024
Research
0
63
SocSys34-Balus
株式会社レヴィ
March 13, 2024
Tweet
Share
More Decks by 株式会社レヴィ
See All by 株式会社レヴィ
2024-06-25 ソフトウェア設計における思考と学び方を考える 〜増田さんの思考を構造的に見える化してみる〜
levii
4
910
株式会社レヴィ会社紹介
levii
0
180
Sample-se-one-day-training
levii
0
510
20230323TechDLT-vol9
levii
0
330
levii-buzzword-2022
levii
0
330
FIT2022_levii
levii
0
590
20220915modelingLT
levii
4
780
20220910SSDM
levii
0
620
20220629oolt
levii
0
93
Other Decks in Research
See All in Research
Tietovuoto Social Design Agency (SDA) -trollitehtaasta
hponka
0
2.1k
尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)
litalicolab
0
320
20240719_第2回熊本の交通を語る会
trafficbrain
0
510
KDD論文読み会2024: False Positive in A/B Tests
ryotoitoi
0
170
熊本から日本の都市交通政策を立て直す~「車1割削減、渋滞半減、公共交通2倍」の実現へ~@公共交通マーケティング研究会リスタートセミナー
trafficbrain
0
120
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
3k
3次元点群の分類における評価指標について
kentaitakura
0
320
第60回名古屋CV・PRMU勉強会:CVPR2024論文紹介(Vision Transformer)
waka_90b
1
200
ヘルプデスクの事例で学ぶAIエージェント
masatoto
14
8.4k
Y.Morita_20240726_JBUG_Fukuoka#18
ymorita613
0
270
テキストマイニングことはじめー基本的な考え方からメディアディスコース研究への応用まで
langstat
1
110
Kaggle役立ちアイテム紹介(入門編)
k951286
13
4.5k
Featured
See All Featured
Building Your Own Lightsaber
phodgson
102
6.1k
How to Think Like a Performance Engineer
csswizardry
19
1.1k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Making Projects Easy
brettharned
115
5.9k
Happy Clients
brianwarren
97
6.7k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
The Cost Of JavaScript in 2023
addyosmani
45
6.6k
How to Ace a Technical Interview
jacobian
275
23k
Automating Front-end Workflow
addyosmani
1365
200k
Transcript
三浦 政司(宇宙航空研究開発機構)、矢倉 大夢(筑波大学)、 南部 陽介(株式会社レヴィ)、小木曽 望(大阪公立大学) SocSys034/ショート発表 2024.3.13 システムモデルに基づくコラボレーションツール の評価実験検討
発表概要 オンラインで対話しながらシステムモデルを描くことでチームのコラボレー ションを促進することができるツール「Balus」の有効性を評価する実験を 設計し、予備的な試行を行った。 発表内容 • 背景・目的 • 評価実験のデザイン •
予備実験の結果 • 今後の計画 本研究はGo-Tech事業JPJ005698の支援による 「AI搭載のモデリング特化型コラボレーション ツールの開発による製造業の製品・サービス設計 の高度化」の一部です。
対話型モデリングツール「Balus」 •シンプルなUIで素早く システムモデルを描く •オンラインで同時に、 対話しながらモデル構築 •ビュー(視点)を意識した モデリングを自然に実践 •AIによるモデリング支援 Balusのコンセプトや対話型モデリングのフレームワークに関連する研究発表 ▪
三浦政司, "システムデザインのための対話型モデリングツール-コンセプトと実践例の紹介-," 計測自動制御学会 第31回社会システム部会, 2023 ▪ 三浦政司, 南部陽介, 山舖智也, "しなやかな問題解決を実現するための対話型モデリング手法 「システミング」の提案," 第21回情報科学技術フォーラム, 2022
目的 Balusはこれまでに • システム設計 • 業務課題分析 • 事業企画 など様々な場面に適用され、チームによる意思決定や問題解決を支援する という面で多くの成果を挙げている。
ref) https://levii.co.jp/works (株式会社レヴィ-実績) 効果の定量的な評価はできていない <本研究の目的> • Balusを利用することの効果、有用性を定量的に示す • ツールがチームの意思決定に与える影響を評価する方法を構築する (特にリモート環境での意思決定やチーム活動に焦点)
評価実験のデザイン 評価方法のデザインにもBalusを活用
評価実験のデザイン • 被験者グループがサバイバルタスクに取り組み、その過程や結果を評価 • Balusを使った場合、Googleドキュメントを使った場合、ツールを使わ なかった場合(口頭のみのコミュニケーション)を比較 NASA Moon Survival Task
*Hall(1989) あなたは、月面にいる母船とランデブーする予定だった宇宙 船のクルーの一員です。 しかし、機械の故障のため、あなたの宇宙船はランデブー地 点から約300 km離れた地点に着陸せざるを得ませんでした。 ~中略~ 約300 kmの移動において最も重要なアイテムを選 択する必要があります。~中略~ 以下の15個のアイテムは、着陸後に損傷していなかったもの です。~中略~ アイテムを順位付けをしてください。また、 その決断をした理由の説明も準備してください。 アイテムリスト(一部) • マッチ箱 • 約15mのナイロンロープ • パラシュートの布 • 45口径ピストル 2丁 • 粉末ミルク 1ケース • 酸素タンク(約45kg)2本 • 磁気コンパス • 水20リットル • … ※類似タスクとして「砂漠での生存」と「冬季での生存」も用意
評価実験のデザイン:評価・分析方法 ワークのアウトプットを評価 • パフォーマンス(正答率) • 認識の一致度 発話(音声)の分析 • 発話時間 •
発話の偏り • ターンテイキングの数 被験者アンケート • 意思決定の質:Decision Making Quality Scale *Green & Taber(1980) • 認知負荷:NASA-TLX *Hart & Staveland(1988) • 自由記述のテキスト分析 発話分析の例
予備実験 • 実施日:2024年2月18日(日) • 被験者:大阪公立大学小型宇宙機システム研究センターの学生9名/2グループ ※超小型衛星開発のシステム設計でBalusを活用しており、 Balusの基本的な操作や機能を十分に知っている学生ら • 各グループともサバイバルタスクのテーマを変えながらBalus/Google Docs/
ツールなしの3回のワークを実施 グループ ワーク(1) ワーク(2) ワーク(3) A 月での生存・Balus 砂漠での生存・Docs 冬季での生存・なし B 月での生存・Docs 砂漠での生存・なし 冬季での生存・Balus 各ワークの流れ:
予備実験の結果:DMQ scale DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートの結果
予備実験の結果:DMQ scale DMQ因子の一つ「意思決定スキームの満足度」を 定義する項目に関するアンケートの結果
予備実験の結果:NASA-TLX ツールなしは精神的負荷が高い? ツールを使うと時間的圧迫が高い?
予備実験の結果:認識の一致度 ◯位のアイテムは? それを◯位に選んだ理由を説明して下さい 理由項目の抽出(実験者) 上着 夜間の防寒のため 防寒 上着 身を守るのに必要だから 身を守る
上着 避暑と防寒が必要だから 防寒、避暑 上着 夜間の防寒に役に立つため 防寒 ◯位のアイテムは? それを◯位に選んだ理由を説明して下さい 理由項目の抽出(実験者) 新聞紙 燃やすものの着火剤として 着火 新聞紙 1火をつけるため,またそれ自身でも体に巻いたり することにより防寒になるため 着火、防寒 新聞紙 着火や防寒にしようできるため 着火、防寒 新聞紙 着火剤 着火 完全一致:1点 部分一致:0.5点 不一致:0点 部分一致:0.5点 ※アイテム不一致の場合は 理由に関わらず0点 平均スコア ツール間の差は見られなかった 1位アイテムの認識一 致度は高いが、 2位/最下位アイテムの 認識一致度は低い
予備実験の結果:発話分析 グループA/Balus
予備実験の結果:発話分析 グループA/Googleドキュメント
予備実験の結果:発話分析 グループA/Googleドキュメント 各自で情報を記入する 時間は対話なし。 Balus使用時は最初か らノードを貼りながら 対話していた。
課題と今後 予備実験で抽出された課題 • タスク難易度の正規化 • ワーク時間の最適化 • ワークやツールに慣れる機会の必要性 • 被験者数の確保
• …(抽出途中) 今後の計画 • 予備実験データの分析 • 予備実験結果を踏まえた実験設計の改善 • 本実験(2024年度) 株式会社レヴィ Balus 2ヶ月間無料 トライアル実施中!