Share
Embed
Transcript
43 slides
-
背景 2/4 3 本研究の対象:対話型駄洒落 わたくしー2. 誰がタクシー に乗るの? あら,かわいいよ2! 荒川の女の子 はどう?
Your eye, dear[1]. What is the brightest idea in the world? 2. DajareStationとダジャレナビのデータを修正したものである. [1] Meri Giorgadze. Linguistic features of pun, its typology and classification. European Scientific Journal, ESJ, Vol. 10, No. 10, 2014. -
背景 3/4 4 対話型駄洒落 対話型駄洒落を生成することができれば,雑談対話システムが人 間のように自然で面白い会話を再現できると考えている. 「元気で素直な子が多い イメージだよ3.」 「荒川の女の子はどう?」 「あら,可愛いよ.
」 「荒川の女の子はどう?」 一般的な対話 3. ChatGPTによって生成されたテキストである. -
背景 4/4 5 5 対話型駄洒落の生成と評価に関する研究は少ない. [2]南智仁, 清雄一, 田原康之, 大須賀昭彦. 日本語の仮名表記を学習した言語モデルを用いた文章の言い換えによる駄洒落の生成.第38
回人工知能学会 全国大会, 2G5–GS–6–03, pp. 1–4, 2024. [3] 花房竜馬, 荒木健治. 駄洒落を含む対話における可読性と面白さの相関分析. 言語処理学会 第29回年次大会, 2023: 1063-1068. 駄洒落を含む対話に対して, 可読性と 面白さの評価を行った. 駄洒落を含む対話における 可読性と面白さの相関分析[3] 日本語の仮名表記を学習した 言語モデルを用いた文章の言い換え による駄洒落の生成[2] 日本語の読み方を学習したモデルを用 いて駄洒落の自動生成手法を提案した. -
用語の定義 7 1. 駄洒落対象語 発話文から抽出される単語(荒川「あらかわ」,女の子「おんなのこ」). 本研究では名詞, 動詞, 形容詞, 形容動詞を対象とする. 2.
音類似フレーズ 駄洒落対象語と音韻(発音)が類似する単語やフレーズ(唐川「からかわ」, 「あら,かわいい」). 発話文:「荒川の女の子はどう?」 返答文:「あら,かわいいよ.」 -
提案手法 8 発話文 「荒川の女の子はどう?」 駄洒落対象語 (あらかわ)(おんなのこ) 「あら,かわいいよ!」 「唐川さんのことも気になるね! 」 音類似フレーズ
(からかわ)(あら,かわいい) 返答文 「あら,かわいいよ!」 ①検索 ②生成 ③ランキング -
1.検索 出力 n個の駄洒落対象語 入力 10 音類似フレーズの候補 10件の音類似フレーズ 発話文 ① ②
③ 目的:音素の類似性による発話文において駄洒落対象語は, それに 対応する音類似フレーズを見つける. -
1.検索 1/3 11 n個の駄洒落対象語 発話文 形態素解析ツールMeCab[4]を用いて発話文に含まれる名詞,動詞, 形容詞,形容動詞のうち,モーラ数が3以上のものを全て駄洒落対象 語として抽出する. モーラとは,音節量を測るのに用いられる音節の単位である[5]. 1モーラは子音,半母音,母音の3つの要素で構成される.
(例:「あ」「きょ」) 発話文:「荒川の女の子はどう?」 [4] Taku Kudo. Mecab : Yet another part-of-speech and morphological analyzer. 2005. [5] Haruo Kubozono. On the universality of mora and syllable(features on theories of syllable and mora). Journal of thePhonetic Society of Japan, Vol. 2, No. 1, pp. 5–15, 1998. -
1.検索 2/3 12 音類似フレーズの定義 (1)駄洒落対象語と音韻が同じ単語 (2)駄洒落対象語と音韻が類似する単語 (3)駄洒落対象語を含む単語 (4)駄洒落対象語を含むフレーズ 例:荒川「あらかわ」 (1)新川「あらかわ」
(2)唐川「からかわ」 (3)荒川区「あらかわく」 (4)「あら,かわいい」 音類似フレーズの候補 n個の駄洒落対象語 -
検索手法 13 音韻の類似性 → 音素の類似性 音素はモーラの構成要素であり,音声上の最小単位である. (例:「きょ」→「kjo」→「k」「j」「o」) 単語の処理:カタカナ・ひらがな表記 → モーラ列
→ 音素列 荒川:あらかわ → あ, ら, か, わ → __a,r_a,k_a,w_a MeCabのUniDic辞書を用いて音素列の編集距離と含意関係をもとに 音類似フレーズを検索 -
検索手法 15 含意関係:駄洒落対象語の音素列を含む. 単語: 荒川[__a,r_a,k_a,w_a] → 荒川区[__a,r_a,k_a,w_a,k_u] フレーズ: 荒川[__a,r_a,k_a,w_a] →
あら,かわいい[__a,r_a][k_a,w_a,__i,__i] 駄洒落対象語(あらかわ) 言葉1 言葉2 , 感動詞? 名詞 or 形容詞 or 形容動詞 あら かわいい , -
類似度ランキング法 17 発話文: 「加藤さん,この紅茶に砂糖を入れてくれる?」 返答文: 「私が加糖します4!」 加糖が砂糖と意味的に類似する 駄洒落対象語W 音類似フレーズP 埋め込みモデル
intfloat/multilingual-e5-large Wの埋め込み Pの埋め込み コサイン 類似度 駄洒落対象語と意味的に類似性の高い音類似フレーズ10件を選定 4. DajareStationのデータを修正したものである. -
自然さランキング法 18 発話文: 「ご声援をいただいてありがたかったね! 」 返答文: 「えっ!?五千円をもらったって5!? 」 置き換え後の文: 「五千円をいただいてありがたかったね!
」 発話文での駄洒落対象語W 置き換え後の文 音類似フレーズP 発話文 パープレキシティの計算 5. https://ameblo.jp/syunkon/entry-12835773522.html に掲載されている例に基づいて著者が作成したものである. -
2.生成 2/2 22 次の条件を満たす返答文を生成してください. 条件 1.発話文S,駄洒落対象語W と 音類似フレーズP が与えられます. 2.生成する返答文には
音類似フレーズP を必ず含めてください. 3.発話文S に含まれる単語や表現は,できるだけ返答文に含めないようにしてください. 4.駄洒落対象語W は生成する返答文に表示されてはならない. 5.生成する返答文の長さは短く簡潔なものにしてください. 入力例1 発話文S:「先生は校長に昇進したようです!」 駄洒落対象語W:「校長」 音類似フレーズP:「好調」 理想的な出力1 「おお,それは好調なニュースだね!」 入力 発話文S:「{発話文}」 駄洒落対象語W:「{駄洒落対象語}」 音類似フレーズP:「{音類似フレーズ}」 -
3.ランキング 25 目的:得られた返答文候補をランキングすることで,対話型駄洒落として多くの 人にとって理解しやすい返答文を選択する. 出力 1件の返答文 10件の返答文 入力 テキストのパープレキシティの結果 発話文:「{発話文}」
返答文:「{生成した返答文}」 パープレキシティが一番低いテキストでの返答文を出力として選定 -
実験計画 1/4 27 データ: 駄洒落関連のウェブサイト6,7から収集したデータを修正したものと,独自に作成し たデータを含め,合計50件の対話型駄洒落(発話文と返答文のペア)を用意. 6. https://dajare.jp/ Dajare Station
7. https://dajarenavi.net/ ダジャレナビ 発話文 返答文 先生は校長に昇進したようです!! おお,それは好調なニュースだね! 配送ですか? はい,そうです. 今日,すき家で御飯食べてきたんだ. おお,すき焼きも食べたくなっちゃうね! そのおでん,美味しそうだね! お,伝説級のうまさだよ! -
実験計画 2/4 28 1.評価者 ・日本人男性:2名 ・兵庫県立大学の学生 2.モデル ・OpenAI API GPT-4o(GPT-4o)
・Llama-3.1-Swallow-8B-Instruct-v0.3(Llama-3.1-Swallow) 3.評価に用いた手法 ・人手で作成した理想例 ・GPT-4o(ベースライン) ・GPT-4o(類似度ランキング法) ・GPT-4o(自然さランキング法) ・Llama-3.1-Swallow(類似度ランキング法) ・Llama-3.1-Swallow(自然さランキング法) -
GPT-4o (ベースライン) 29 次の条件を満たす返答文を生成してください. 条件 1.発話文S が与えられます. 2.生成する返答文には,発話文S に含まれる単語と音韻が類似する単語を用いて駄洒落 を作成してください.
3.発話文S に含まれる単語や表現は,できるだけ返答文に含めないようにしてください. 4.生成する返答文の長さは短く簡潔なものにしてください. 5.駄洒落に使用した音韻が類似する単語を明確に示してください. 入力例 発話文S:「先生は校長に昇進したようです!」 理想的な出力 「おお,それは好調なニュースだね!」 分析 「校長」と「好調」は音韻が類似しています. 入力 発話文S:「{発話文}」 駄洒落対象語と音類似 フレーズは含めない. -
実験計画 3/4 30 4.評価項目 評価項目 解釈 結果 対話型駄洒落だと感じられるか (駄洒落の認識) 発話文に含まれる単語と音韻が類似する
言葉が返答文に含まれると認識できるか 0/1 自然な対話だと感じられるか (自然さ) 発話文と返答文のつながりがスムーズで, 論理的に自然であるか 0/1 面白い対話だと感じられるか (面白さ3段階) 返答文がどの程度面白さを持っているか (面白い,やや面白い,面白くない) 0/0.5/1 -
実験結果 1/3 33 「駄洒落の認識」と「自然さ」に関しては,κ係数が0.4を超え,中程度の一 致が見られた. 一方で,「面白さ3段階」のκ係数は0.34で一致度は低いものの,「面白さ2 段階」のκ係数は0.45で中程度の一致が見られた. 駄洒落の認識 自然さ 面白さ3段階
面白さ2段階 κ係数 0.48 0.44 0.34 0.45 面白さ2段階: 「面白さ2段階」とは,面白さ3段階が0.5と1の評価された場合は両者 とも1と扱った際の係数である. -
実験結果 2/3 34 駄洒落の認識 自然さ 面白さ3段階 面白さ2段階 対話型駄洒落としての面白さ 理想例 0.93
0.66 0.34 0.50 0.32 GPT-4o (ベースライン) 0.44 0.30 0.10 0.17 0.09 GPT-4o (類似度ランキング法) 0.72 0.48 0.07 0.12 0.07 GPT-4o (自然さランキング法) 0.73 0.38 0.09 0.15 0.09 Llama-3.1-Swallow (類似度ランキング法) 0.72 0.40 0.05 0.09 0.05 Llama-3.1-Swallow (自然さランキング法) 0.84 0.28 0.10 0.16 0.10 「駄洒落の認識」と「自然さ」の項目においてベースラインよりも提案手法が優れ ていた.「面白さ」に関する項目で顕著な差は見られなかった. -
実験結果 3/3 35 これらの結果はLlama-3.1-Swallow(類似度ランキング法)を除き,2名の評 価者とも「駄洒落の認識」に1を評価し,「面白さ2段階」に1を評価した. つまり,面白い対話型駄洒落として評価された例である. 発話文 返答文 GPT-4o (ベースライン)
今日の会議の焦点は何ですか? 焦点は「商店」でセール中です よ! GPT-4o (類似度ランキング法) 配送ですか? はい,操作はお任せください! GPT-4o (自然さランキング法) 今日の天気,すごくいいね! 今日の空はペンキで塗ったみたい にきれいだね! Llama-3.1-Swallow (類似度ランキング法) この店舗の改装が始まるんだ. お店の改造,楽しみだね! Llama-3.1-Swallow (自然さランキング法) オオカミが大好きだ.一緒に描こう. おー,紙芝居でオオカミを描くの はいいアイデアだね! -
RQ1の分析結果 37 単語選択の違いが対話の面白さに影響を及ぼすことが明らかになった. 駄洒落の認識 自然さ 面白さ3段階 面白さ2段階 対話型駄洒落としての面白さ GPT-4o (類似度ランキング法)
0.72 0.48 0.07 0.12 0.07 GPT-4o (自然さランキング法) 0.73 0.38 0.09 0.15 0.09 Llama-3.1-Swallow (類似度ランキング法) 0.72 0.40 0.05 0.09 0.05 Llama-3.1-Swallow (自然さランキング法) 0.84 0.28 0.10 0.16 0.10 自然さランキング法で生成された返答文は,対話型駄洒落として認識され やすく,面白さのスコアも類似度ランキング法より高い. -
RQ2の分析結果 39 大規模言語モデルを変えることによって生成結果の質が変わった. 駄洒落の認識 自然さ 面白さ3段階 面白さ2段階 対話型駄洒落としての面白さ GPT-4o (類似度ランキング法)
0.72 0.48 0.07 0.12 0.07 Llama-3.1-Swallow (類似度ランキング法) 0.72 0.40 0.05 0.09 0.05 GPT-4o (自然さランキング法) 0.73 0.38 0.09 0.15 0.09 Llama-3.1-Swallow (自然さランキング法) 0.84 0.28 0.10 0.16 0.10 Llama-3.1-Swallowモデルは駄洒落として認識されやすく,GPT-4oモデルはよ り自然で論理的な返答文を生成するが,面白さの表現に顕著な差は見られな かった. -
RQ3の分析結果 41 提案手法により生成された返答文が対話型駄洒落として適切である. 駄洒落の認識 自然さ 面白さ3段階 面白さ2段階 対話型駄洒落としての面白さ GPT-4o (ベースライン)
0.44 0.30 0.10 0.17 0.09 GPT-4o (類似度ランキング法) 0.72 0.48 0.07 0.12 0.07 GPT-4o (自然さランキング法) 0.73 0.38 0.09 0.15 0.09 Llama-3.1-Swallow (類似度ランキング法) 0.72 0.40 0.05 0.09 0.05 Llama-3.1-Swallow (自然さランキング法) 0.84 0.28 0.10 0.16 0.10 「駄洒落の認識」と「自然さ」の項目においてベースラインよりも提案手法が 優れていた.「面白さ」に関する項目で顕著な差は見られなかった.