[論文紹介] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

修士1年の10月、時系列解析の授業で行った論文紹介の際に使用した資料です。私の対話システムに関する研究でTransformerを用いたdiffusionモデルを扱っているため、同様にTransformerを時系列解析に活用した論文を選びました。

Transcript

3.  
4. 
6.  𝑋 = 𝑋 , … , 𝑋 ∈ ℝ × (𝑇: , 𝑁: )  𝑆 𝑌 = 𝑋 , … , 𝑋 ∈ ℝ × 𝑋 = 15 60 5 16 62 4 14 13 15 59 58 64 7 8 7 𝑌 = 17 62 7 15 59 6 14 58 6 𝑋:, : 𝑛
8. ℎ = Embedding 𝑋:, 𝐻 = ℎ , … , ℎ  
9. 𝑯    𝐴 , = 𝑞 𝑘 𝑑  𝑖 𝑗 𝑞 𝑘 𝑑
10.    
11.  
12.  
13.   𝑆 = 12, 24, 36, 48 , 𝑆 = 96, 192, 336, 720  𝑇 = 96
14.     
17. 𝑆 = 96
18. 𝑆 = 96
19.  
20.  
22.  
24. • •
26. https://gigazine.net/news/20230423-transformer-model/
27. https://gigazine.net/news/20230423-transformer-model/