KDD2023学会参加報告

KDD2023 論文読み会（オンライン開催）で発表したKDD2023の参加報告です。
https://lycorptech-jp.connpass.com/event/302509/

Transcript

1. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2024/01/17（⽔） ⼭本 ⼤輝 1 カンファレンスフィードバック
2. ⼭本 ⼤輝 （@tereka114） • Acroquest Technology株式会社 • 画像処理・⾃然⾔語処理の研究開発 • のんびりしているエンジニアの⽇記 https://nonbiri-tereka.hatenablog.com/ • Kaggle Competitions Grandmaster ①1st and Feature – Player Contact Detection 9th ②Predict Student Performance from Game Play 10th ③Happywhale – Whale and Dolphin Identification 11th • CQ出版 Interface ML／AI関連記事を複数寄稿 Kaggle Grandmaster ⼭本 ⼤輝 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3. Acroquestの機械学習分野における豊富な実績 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 3 Acroquest社内で発⾜した データサイエンスチームYAMALEX プロジェクトの⾼度な 問題解決に取り組んでいます。 AWS Machine Learning コンピテンシーの パートナーとして 認定されています。 様々な分野・規模での、AI/MLを活⽤した開発・導⼊実績があります <⼩売> <農業> <製造業> AI/ML分野での実⼒を、 対外的にも認められています 多種多様な課題をAIで解決する データサイエンティストチーム
4. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 4 Outline 1. 「KDD2023」ってなに︖ 2. 注⽬の集まった技術トピックとは︖ 3. KDDCup2023とは︖ 4. 参加して得られたこと
5. 1. 「KDD2023」ってなに︖ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 5
6. ※会場内での⾷費を含む 6 1. 「KDD2023」ってなに︖ ロングビーチ＠アメリカ カリフォルニア州で開催 • 会議名︓ 29th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING • 期間︓ 2023/8/6〜2023/8/10（5⽇間） • 参加費︓$1,090（=約16万円） • 場所︓ カリフォルニア州 ロングビーチ コンベンションセンタ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 世界的にトップクラスのデータ分析者が 集まる、権威のあるデータ分析・データ マイニングのトップカンファレンス︕
7. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 7 1. 「KDD2023」ってなに︖ なぜ参加することになったか 1 2 3 ロングビーチに訪れたことがないため、 ⾏ってみたかった。 画像が専⾨ではあるが、たまには違う学会に参加して 新しいアイデアや知⾒を獲得したくなった。 KDDCupと呼ばれる学会で毎年開催されている コンペティションでYAMALEXチームが⼊賞。 ポスター発表を実施した。
8. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 8 こちらの道路から⼊れない。。 1. 「KDD2023」ってなに︖ ⽇本から⽚道11時間でした︕ ⽇本から⽚道11時間（⾶⾏機）、Uberで45分 宿泊先から徒歩20分
9. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 8/6 8/7 8/8 8/9 8/10 KDD Workshop 8:00 18:00 12:00 15:00 1. 「KDD2023」ってなに︖ 参加スケジュール 会議は5⽇間、そのうち、本会議は3⽇間開催される。 KDD Workshop KDD 本会議 KDD 本会議 KDD Cup KDD 本会議 Opening Poster Poster Celebration
10. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 10 全世界から約2200名が参加
11. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 11 会場の様⼦
12. 2. 注⽬の集まった技術トピックとは︖ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 12
13. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 Spatiotemporal Data Security 2. 注⽬の集まった技術トピックとは︖ KDDカンファレンスキーワード LLM Federated Learning Graph Neural Network NLP Search & Information Retrieval Multi Scenario and Multitask Fairness Efficient ML Time Series Causal Inference Recommendation Anomaly Detection Ranking Weakly Supervised Learning
14. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 No. 項⽬ 説明 詳細 1 ⼤規模⾔語モデル （LLM） ⼤規模⾔語モデル、ChatGPTな どをはじめとした技術。 チャットや⾃然⾔語問題を解く のに応⽤される。 個別情報（例︓ユーザごとに違う回答を 返す）を適⽤するものや⼈間とLLMによ る組み合わせによる改善のエコシステム の開発などに⼒が⼊る。 2 Federated Learning 学習データセットが分散されて いるような環境で、学習を⾏う ⼿法のこと。 主に、セキュリティ⽬的とした 個⼈情報を扱う分散処理で利⽤ される。 SNSなど個⼈情報を外に出せない場合に 利⽤される技術。 例えば、クライアント端末が多いような ものに使える。 3 Graph Neural Network ノードとエッジで表現できる データを解析するためのNeural Network。 推薦、SNSのユーザなど関係を⽰すグラ フを解析するもの。 2. 注⽬の集まった技術トピックとは︖ 注⽬度の⾼い3つの技術
15. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 KeyNoteも半分はLLM、専⾨のWorkshopもあるレベル、注⽬度が⾼い 2. 注⽬の集まった技術トピックとは︖ 注⽬度の⾼いLLMについて、話題が豊富︕ 学会全体での傾向 注⽬度の⾼いポイント 今後重要なこと n KDDは、NLPの学会では ない。LLMのKeyNoteが 2/3本あるのは⾮常に注⽬ 度が⾼いということ。 n ⼤きな転換期︕ Google/Microsoftともに ⾮常に⼒をいれて取り組 んでいる内容。 n これまでは様々なタスク （分類など）を別々に解 いていたが、⼀括で学習 させてそれぞれの問題を 解く⽅向にシフトされる。 n 個⼈へのチューニングは 注⽬度が⾼い。 →GPTsのようなもの ※今はできないため、今後進む予定。 n ⼈間-LLM間のエコシステ ム開発も進みそう。⼈間 とLLMの協調動作が重要。 n 複数のデータ（画像／⾳ 声／テキスト）を利⽤す るマルチモーダル化は確 実に進む（Google Gemini/GPT-4Vは画像⼊ ⼒が可能）
16. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 1. セキュリティを守るための機械学習の⼿法の⼀つ。 2. SNSなどのアプリの場合、個⼈情報を持っているため、データそのものを リモートのサーバにアップロードができない。この⼿法では各クライアント （スマフォやPCなど）でパラメータのみ学習してリモートで統合することで セキュリティを担保している。 3. Federated Learningは クライアントごとに分散して 学習させ、良いモデルを作成 することが可能。 2. 注⽬の集まった技術トピックとは︖ Federated Learningとは︖
17. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 1. 全体として、良いモデルを構築しつつ、各個⼈の特性を踏まえた モデルを構築する。 2. テキストデータだけでなく、複数のデータ（⾳声／画像／映像／センサー情報 など）パターンへの応⽤が可能で、機械学習モデル作成の研究が進む。 3. 全体を通してまだまだ精度、ユースケースの観点で研究の余地はあるので、 今後の研究動向にも注⽬したい。 2. 注⽬の集まった技術トピックとは︖ Federated Learningはまだまだ研究の余地あり
18. 18 ユーザとの関係性を⽰すGraph Neural Networkの例が多い。 1. グラフ構造は遺伝⼦、ユーザとのSNSでの関係性、サーバの構成（マイクロ サービスなど）を⽰せる⼀般的なデータ構造を解析ものとして、Graph Neural Networkがある。 2. KDDの発表の中でもグラフの発表は⾮常に多い。 3. Best PaperはGraph Neural Networkに良い表現を与える学習に関するもの。 2. 注⽬の集まった技術トピックとは︖ Graph Neural Networkとは︖ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
19. 3. KDDCup2023とは︖ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19
20. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 3. KDDCup2023とは︖ 毎年開催されるKDD主催のコンペティション KDD Workshop KDD 本会議 KDD Cup ⼊賞者発表 Poster KDD 2023 2023/8/6〜2023/8/10（5⽇間） KDD Cup 2023 2023/3/15〜2023/6/9（約3ヶ⽉） 全世界451チームが集まり、 ⼊賞者のみが発表できる︕ ⽇本では、アクロクエスト以外は、 NTTドコモ、博報堂など。
21. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21 今年はAmazonのセッションと商品データを利⽤した問題。 YAMALEX（当チーム）は、Task2でグローバルで9位に⼊賞 No. 項⽬ 説明 当社順位 1 Task1 セッション、商品が多いの国向けの推薦 問題、あるセッションが次に購⼊する商 品を推薦する。 15 2 Task2 セッション、商品が少なめの国向けの推 薦問題、あるセッションが次に購⼊する 商品を推薦する。 9 3 Task3 あるセッションが次に購⼊する商品のタ イトルを予測する。 - 3. KDDCup2023とは︖ チームでより優秀な推薦モデルを競う
22. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 セッション Task1 Task2 3. KDDCup2023とは︖ データ説明 商品情報 データ統計情報
23. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 最終結果発表と表彰︕
24. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 多くのチームが無数の中から、候補を探す 候補⽣成, 候補の中から詳細な並び替えを するリランキングの⼿法がベース。 （YAMALEXでも採⽤） 上位の⼿法のほうがより洗練されたものを 利⽤されていた。 YAMALEXでは、グラフを使って商品の 関係性を⽰すのにProNEと呼ばれるグラフ のノードを数値表現する⼿法を利⽤したと ころに質問が多く来た。 ポスター発表 発表傾向 3. KDDCup2023とは︖ カンファレンス傾向
25. 4. 参加して得られたこと Copyright © Acroquest Technology Co., Ltd. All rights reserved. 25
26. Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 4. 参加して得られたこと KDDCup2023では参加者との交流も含め、学びが多かった。 コンペに参加して、感想や所感を交換するのはやはり意義が ⼤きいと感じた。 ⼤規模⾔語モデル（LLM）の注⽬度は⾼く、 今後の研究開発への影響は⼤きい。来年からは 本格的にLLMを使った研究発表が促進される可能性が⾼い。 Graph Neural Networkは引き続き⼈気あるトピック、 表現学習や異常検知など幅広いデータに利⽤されており、 まだまだ研究は続きそう。 1 2 3
27. 27 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 学会は新しい発⾒もあり楽しいので、 機会があれば、積極的に参加しましょう︕ ご清聴ありがとうございました