Share
Embed
【輪講資料】Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
研究室の輪講で利用した資料です。
論文リンク:https://aclanthology.org/2025.emnlp-main.1345/
Yano
December 01, 2025
Transcript
26 slides
-
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense
Retrieval 12݄2 ݚڀࣨɹD1 ઍߛ Seongwan Park, Taeklim Kim, Youngjoong Ko EMNLP 2025 -
֓ཁ 1. DPRϞσϧͷग़ྗʹSparse Auto encoderΛద༻͠ɺݕࡧʹར༻͞Ε͍ͯΔconcept Λಛఆ 2. ղऍՄೳʹ͢ΔͨΊɺڞ௨ͷconceptΛ࣋ͭจষ܈͔Β֤conceptͷઆ໌Λੜ 3. ղऍʹͬͨconcept܈ʹΑͬͯݕࡧΛߦ͏ɺConcept-Level
Sparse RetrievalΛఏ Ҋ • طଘͷૄີݕࡧख๏Ͱ͋ΔSPLADEͱಉఔͷੑೳͳ͕ΒΑΓޮత 2 -
ಋೖɿDence Passage Retrieval • BERTͳͲͷํϞσϧΛར༻ͯ֫͠ಘͨ͠ΫΤϦͱจॻͷຒΊࠐΈ ͷྨࣅʹΑͬͯจॻݕࡧΛߦ͏ख๏ • TF-IDFBM25ͳͲͷૄͳख๏ͱҧ͍ɺ୯ޠද͕શʹҰக͍ͯ͠ͳ ͯ͘ݕࡧͰ͖Δ 4
ߴྨࣅ ྨࣅ ຊͰҰ൪ߴ͍ࢁʁ ࢜ࢁʢ;͡͞Μʣɺ ຊͷ׆ՐࢁͰ͋Δ… ৴ೱʢ͠ͳͷ͕Θʣɺ ৽ׁݝ͓ΑͼݝΛ… Ϟσϧ Ϟσϧ Ϟσϧ -
Sparse Auto EncoderʹΑΔϞσϧղऍ • NNͰॏͶ߹Θ͕ͤى͖͓ͯΓɺಛఆͷχϡʔϩϯΛݟͯղऍΛߦ͏ͷ͍͠ • ୯Ұͷχϡʔϩϯ͕ෳͷ֓೦ʹൃՐ͢Δ • SAEʹΑͬͯNNͷதؒΛΑΓڊେͳ࣍ݩʹࣹӨ͠ɺ෦දݱ͕ଊ͑ΔใΛղ ऍ͢Δͱɺ࣮ࡍʹݸਓ໊ͷΈʹൃՐ͢Δಛྔɺࣈͷ”5”ʹͷΈൃՐ͢Δಛྔ
ͳͲ͕ൃݟ͞Εͨ* 6 <$VOOJOHIBNFUBM >4QBSTF"VUPFODPEFST'JOE)JHIMZ*OUFSQSFUBCMF'FBUVSFTJO-BOHVBHF.PEFMT ˝<$VOOJOHIBNFUBM >ΑΓҾ༻ -
DPRղऍʹ༻͍ΔSAE • ຊจͰDPRͷग़ྗʹSAEΛద༻͠ɺݕࡧʹར༻͢Δಛʹͭ ͍ͯղऍΛࢼΈΔ • 7 4"&ͷೖྗʢ%13ͷग़ྗʣ 4QBSTF-BUFOUT ΤϯίʔμͷॏΈͱόΠΞε߲
σίʔμͷॏΈͱόΠΞε߲ Ћ׆ੑԽؔ͜͜Ͱ#BUDI5PQ,Λར༻ h ∈ ℝd z ∈ ℝm(m > > d) Wenc ∈ ℝm*d benc ∈ ℝm Wden ∈ ℝd*m bdec ∈ ℝd SAEͷ෦දݱʢSparse LatentsʣΛ ૄʹ͢ΔͨΊͷ੍Ͱɺόον͝ͱʹ top kΑΓԼҐͷΛͯ͢0ʹ͢Δؔ ˛˞มҰக͍ͯ͠ͳ͍͕ɺΠϝʔδ -
SAEͷ܇࿅ઃఆ • ରϞσϧ: SimML • ରσʔληοτ: MS-MARCOͷ܇࿅ηοτ • 8.8Mͷจॻͱ0.5MͷΫΤϦ •
SAEͰͷ࣍ݩͷ֦େʢm/dʣ: 32 • BatchTopKͷk: 32, 48, 64, 128 • ͻͱͭͷຒΊࠐΈΛදݱ͢ΔͨΊʹར༻Մೳͳ࣍ݩ • ࣮ࡍʹόον͝ͱʹbs x k࣍ݩ 8 SimLM E࣍ݩ N࣍ݩ E࣍ݩ ʜ 4"& &OD 4"& %FD ޡ͕ࠩখ͘͞ͳΔ Α͏ʹ܇࿅ -
SAEͷධՁ1: ࠶ߏஙͨ͠ϕΫτϧͷ࣭ • NMSE: DPRͷຒΊࠐΈͱ࠶ߏஙͨ͠ϕΫτϧͷޡࠩ • ฏۉతͳ׆ੑԽΛ༧ଌͨ͠߹ͷޡࠩͰׂͬͨͷ • MRR, Recall,
NDCG: ࠶ߏஙͨ͠ϕΫτϧʹΑΔݕࡧਫ਼ • Spearman: DPRͷຒΊࠐΈͱ࠶ߏஙͨ͠ϕΫτϧͷ૬ؔ • ୯७ͳݕࡧΑΓৄࡉͳRerankingೳྗΛ͔Δ 9 -
SAEͷධՁ1: ࠶ߏஙͨ͠ϕΫτϧͷ࣭ • NMSE: DPRͷຒΊࠐΈͱ࠶ߏஙͨ͠ϕΫτϧͷޡࠩ • ฏۉతͳ׆ੑԽΛ༧ଌͨ͠߹ͷޡࠩͰׂͬͨͷ • MRR, Recall,
NDCG: ࠶ߏஙͨ͠ϕΫτϧʹΑΔݕࡧਫ਼ • Spearman: DPRͷຒΊࠐΈͱ࠶ߏஙͨ͠ϕΫτϧͷ૬ؔ • ୯७ͳݕࡧΑΓৄࡉͳRerankingೳྗΛ͔Δ 10 Kେ͖ͨ͘͠ํ͕࠶ߏஙͷޡࠩԼ͕Γɺ ݕࡧͷੑೳ্͕Δ -
જࡏมͷઆ໌͔ΒਓؒϞσϧΛղऍͰ͖Δ͔ʁ • จॻ༧ଌɿજࡏมͷઆ໌܈ʹΑͬͯɺਓ͕ؒจॻ܈ʢ10݅ʣ͔Βରͷจ ॻʢ1݅ʣΛಛఆͰ͖Δ͔࣮ݧ • MS MARCO͔Β600݅ • ϦϥϯΩϯάɿΫΤϦͱީิจॻͷજࡏมͷઆ໌܈ʹΑͬͯɺਓ͕ؒϞσ ϧͱಉ༷ͷॱҐ͚ΛͰ͖Δ͔࣮ݧ
• 2ͭͷจॻͷ͏ͪɺͲͪΒ͕ߴॱҐ͔ΛબɻจॻϖΞҎԼͷ3ઃఆɿ • Retrieved Positive vs Retrieved Positive • Retrieved Positive vs Not Retrieved Positive • Retrieved Negative vs Not Retrieved Positive • TREC 2019ͱTREC 2020ͷσʔλΛར༻͠ɺTop 1000จॻΛRetrievedͱఆٛ 13 -
Concept-Level Sparse RetrievalͷఏҊ • ͜͜·Ͱͷํ๏Λ֦ு͠ɺજࡏมΛͬͨݕࡧख๏ΛఏҊ͢Δ • ΫΤϦͱจॻͷؒͷݕࡧείΞҎԼͰఆٛ • BM25ͷܭࢉࣜΛϕʔεʹิਖ਼Λಋೖ •
ݕࡧసΠϯσοΫεΛར༻͢Δ͜ͱͰߴ • ࣄલʹจॻΛΤϯίʔυ -> જࡏม͕keyͱͳΔసஔΠϯσοΫεΛ ࡞ 16 ΫΤϦRʹ͓͚ΔજࡏมJͷॏΈ จॻEʹ͓͚ΔજࡏมJͷॏΈ *%'ʹΑΔJͷॏΈ fq (q, i) fd (d, i) JEG(i) R -
Concept-Level Sparse RetrievalͷఏҊ • ͜͜·Ͱͷํ๏Λ֦ு͠ɺજࡏมΛͬͨݕࡧख๏ΛఏҊ͢Δ • ΫΤϦͱจॻͷؒͷݕࡧείΞҎԼͰఆٛ • BM25ͷܭࢉࣜΛϕʔεʹิਖ਼Λಋೖ •
ݕࡧసΠϯσοΫεΛར༻͢Δ͜ͱͰߴ • ࣄલʹจॻΛΤϯίʔυ -> જࡏม͕keyͱͳΔసஔΠϯσοΫεΛ ࡞ 17 ΫΤϦRʹ͓͚ΔજࡏมJͷॏΈ จॻEʹ͓͚ΔજࡏมJͷॏΈ *%'ʹΑΔJͷॏΈ fq (q, i) fd (d, i) JEG(i) R ݕࡧ෦ߴ͕ͩɺݕࡧ࣌ʹΫΤϦΛ DPRͰΤϯίʔυ͢Δඞཁ͕͋Δ -
ൺֱख๏ • Sparse Retrieval: ୯ޠͷ౷ܭใΛݩʹͨ͠ߴͳख๏ • BM25: จॻதͷ୯ޠසʹجͮ͘ख๏ • RM3:
্ҐจॻΛར༻ͯ͠ΫΤϦ֦ுΛߦ͏BM25ͷޙଓख๏ • docT5query: T5ʹΑͬͯจॻ͔Βఆ࣭Λ࡞͠BM25Λߦ͏ • Neural Sparse Retrieval: ਪ࣌ʹχϡʔϥϧωοτΛΈ߹Θͤͨख๏ • query2doc: LLMͰΫΤϦ͔ΒจॻΛੜ͠ΫΤϦʹՃ • DeepImpact: ୯ޠͷॏཁੑͱͯ͠ग़ݱճͰͳ͘BERTͷ༧ଌΛ͏ • uniCOIL: BERTʹΑΔຒΊࠐΈΛ1࣍ݩʹѹॖ͠సΠϯσοΫεΛ͏ • SPLADE: BERTΛͬͯจॻʹؚ·ΕΔ୯ޠͷॏΈ͚ͮͱؔ࿈ޠͷՃΛߦ͏ 18 -
ܭࢉޮΛଌΔࢦඪ • FLOPs: ΫΤϦͱจॻϖΞ͝ͱͷԋࢉͷظ • D Len: จॻ͝ͱͷฏۉಛྔ • CL-SRͰજࡏมͷɻBM25Ͱ୯ޠɺSPLADEͰ୯ޠ+
ؔ࿈ޠ • Vocab Size: ΠϯσοΫε͞Ε͍ͯΔIDͷେ͖͞ • CL-SRͰར༻͞ΕΔજࡏมͷɻBM25Ͱར༻͞ΕΔτʔΫ ϯͷछྨɺSPLADEͰར༻͞ΕΔϞσϧͷvocab size… 19