吉岡研究室紹介(2025年度）

Transcript

1. 吉岡研究室紹介 2025年度VER
2. ・2014 Graduate@Keio Univ. ・2014-2021 Toshiba Research ・2017-2018 Stanford Visiting Scholar @Mark Horwitz Group ・2021-Keio Univ. Assistant Prof. Keio CSG PI https://sites.google.com/keio.jp/keio-csg/ 自己紹介 Slide 2
3. ビジョン インテリジェントセンシングで 社会にインパクトを いままで： ◦ あるものを観測し、見たままに人間に報告する 目指す姿： ◦ センシング結果から機械自らが認識・判断 ◦ SFの世界を実現するのは僕ら！
4. ビジョン インテリジェントセンシング いままで：あるものを観測し、見たままに人間に報告する 目指す姿：センシング結果から情報を認識、そして機械自らが判断 自動運転 ヘルスケア 物流、産業 “目” “脳”
5. 研究テーマ “脳”としての次世代のエッジコンピューティング “目”としての3Dセンシング ハードとソフトを”繋ぐ”研究 電子デバイス・半導体 ハードウェア AI・通信 ソフトウェア 回路 3Dセンシング 吉岡研のフォーカス ハードとソフト、両方わかる人材になりませんか
6. 研究テーマ 集積回路チーム 3Dセンサチーム ディープラーニング、LLM用アクセラレータ研究 AI用データセンターの電力は地球上電力の10%に達する →それを劇的に減らす回路技術を生み出せないか？ 自動運転センサのセキュリティ研究 自動運転には3Dセンサ（LiDAR）が必須だが、センサを 騙す攻撃が研究されている。 →自動運転システムを守るにはどうしたらよいか？ [Image credit] Waymo, Robosense
7. 研究テーマ 集積回路チーム 3Dセンサチーム セキュアLiDAR研究 どのようなLiDARのハードウェア/信号処理をすれば自動運転を守れるか？ 回路＋信号処理＋ディープラーニングをあわせた新しいセンサ設計の研究 [Image credit] Waymo, Robosense
8. ◼エッジコンピューティングの時代へ ◆サーバ処理に対しプライバシー・遅延・電力効率に優れる ◼iPhone Neural Engine（機械学習の専用回路) ◆限られたバッテリー容量で最大限のAI処理 次世代のエッジコンピューティング Tier4社自動運転システム Apple A14チップ図 https://www.itmedia.co.jp/pcuser/articles/2009/17/news133_2.html より高効率なAI専用回路が必要
9. ◼AI演算ではデータ移動のコストが支配的！ ◆メモリ→プロセッサへのデータ移動 ◼メモリと演算を同じ回路で実行すれば・・？ ◆データ移動なしで超効率化が可能！ ◆Computing In-Memory (CIM) Computing-in-memory型プロセッサ
10. ◼吉岡研ではComputing-in-memory回路の新たな構造を探求 ◼ChatGPTでも活用されているTransformerも実行可能な新規構造を提案 →半導体のオリンピック、ISSCC’24に採択 ◼顕著性(saliency）を活用した新規構造 ◆国際学会、ASP-DAC’24に採択 Computing-in-memory型プロセッサ [Yoshioka, ISSCC’24]
11. ◼AI（ソフト）と回路（ハード）を高度に融合 ◆Hardware-Software Co-design(ハード・ソフト協調設計） ◆DLフレームワーク（Pytorch）で回路特性を加味し,ネットワークを構築・学習 →回路とAI両方の知識を身につける必要がある！ 回路チームはどんな研究？
12. ◼アメリカ（一部）では自動運転が一般的に利用可能に ◆しかしセキュリティ的な問題はつきまとう ◼サンフランシスコの “三角コーン”攻撃 ⚫車は人が乗ったと誤認識し、 動けなくなってしまう ⚫Cruise車が被害に 自動運転セキュリティ https://www.bbc.com/news/technology-66611513
13. 3Dセンシング：センサ幻惑 センサへの攻撃で自動運転システムを騙す新たなセキュリティ危機 ◦ 特に中核的センサであるLiDARの脆弱性を突き 任意座標に虚偽データを注入するセンサ幻惑攻撃は重大な脅威 ◦ University of California Irvineと共同研究 センサ幻惑攻撃 LiDAR 事件を未然に防ぐためセンサセキュリティ研究が必要 攻撃レーザ 実車点群 虚偽データ 任意座標 虚偽データ注入 急ブレーキ誘発 搭乗者負傷
14. ◼ LiDARは対象物に反射したレーザが帰還するまでの光の飛行時間より 距離を測定するToF(Time-of-Flight)方式で動作 ◆センサ幻惑はレーザパルスを特定タイミングで打ち込むことで虚偽データ注入 ⚫受光素子を使用しLiDARレーザタイミングと同期 LiDARとセンサ幻惑原理 レーザ ToF 計測 受光素子 レーザ 受光素子 ToF 攻撃レーザ レーザ ToF 計測 受光素子 同期用受光素子 センサ幻惑システム LiDAR LiDAR レーザ 受光素子 ToF 攻撃レーザ打ち込み
15. ◼ 従来よりも数10倍高い攻撃性能＋消失型攻撃を実験実証 ◆先行研究は注入点数が少ない前提；根本からセンサ幻惑対策を見直す必要性 ◆セキュリティトップ国際学会に採択(NDSS)！ ⚫これを守るにはどうしたらよいか？防御の研究中！ センサ幻惑実験システム立ち上げ センサ幻惑実例： ロゴマーク注入 被攻撃LiDAR 攻撃レーザ＋ドライバ Cao, CCS2019 Ours 注入 点数 120 6000 消失 点数 N.A. 3000 集光 素子 なし あり ドライ バ なし カスタム 実験系比較
16. 3Dセンシング：ヘルスケア 3Dセンシング技術をヘルスケアへ転用 LiDARによるリハビリ自動化プロジェクト ◦ 岡山大医学部と共同研究 ◦ 3年以内の臨床応用を目指して 計測 数値化 入力 現在の 工程 本研究の 工程 ・デジタル化だけのDXとならないように、労働生産性を計測 3Dセンサに よる自動計測 θ AIによる 関節角度域推定 オープン規格による 電子カルテ出力 分度器を用い た手動計測 手動測定中 に紙へメモ 勤務後にメモを電子 カルテへ一斉入力 中原龍一先生 整体外科における 3Dセンシング応用の先駆者！
17. ◼プロバスケチームの行動・位置解析にLiDARセンサを活用する研究 ◆実際のプロの練習などデータ取得、学会発表 ◆青木研、アイシンと共同研究 3Dセンシング：スポーツ解析
18. 慶應から世界へ • 国際学会で発表しよう！ – 競合相手はMIT、スタンフォード、インテル、 Googleなど – 慶應の学生のポテンシャルと教員の熱意 で彼らに負けない研究をしましょう！ 集積回路の国際学会：ISSCC 聴衆：3000人
19. 吉岡研に向いている人 • 吉岡研の研究内容に興味・好奇心がある – 特にハードとソフトの両方に興味・好奇心がある • センシング・コンピューティングの土台はハードウェア • ハードの知識は就職後も必ず役立ちます – 国際学会とか面白そう – 若い先生とワイワイやりたい – いろいろな大学と関わる共同研究面白そう • 必要でないこと – 回路、機械学習、プログラミングの知識 – 配属後に研修で勉強します
20. 研究室活動について • コアタイムなし – 時間で管理はせず自主性に任せます – 一日平均7-8時間研究を行うことを期待します • 3月～7月は新人研修を予定 • 資料作成・発表・回路、機械学習の基礎を輪講ベースで勉強 • 8月～卒論研究をスタート
21. 研究室活動について • 週１のグループミーティング – みんなのスケジュールに合わせ日時決定 • Kaggle部 – Kaggleでプログラミング、機械学習スキルを鍛えよう – 今年の戦績は.. • NFLコンペ: 7位/940 金メダル（吉岡） • Google手話コンペ 15位/1100 銀メダル（吉岡） • インクコンペ 40位/1200 銀メダル（学生）
22. ◼この研究室を選んだ理由はなんですか？ ◆立ち上げたばかりの研究室ということもあって、活気に満ちていると感じたから ◆比較的新しい研究室で、これまでの研究テーマや伝統にとらわれずに自由に挑戦できると感じ たため ◆自律走行、センシングに興味があり、しかもハードとソフト両方できそうだったため ◆ハードとソフトのどっちも扱っていた、研究室が大きかった、やる気のある生徒がいた ◆ハードウェアとソフトウェアの両方を触ることができる唯一の研究室だったから ◆研究テーマが面白そうだったから、ハードとソフト両方を学べるから、対面で会う機会が他の研 究室に比べて多いので仲は深まる、先生や雰囲気が良かった 先輩の声
23. ◼研究室生活で印象に残っていること・楽しいことは何ですか？ ◆議論の最中に良いアイデアが浮かんだ時/海外の研究者と交流できる点 ◆メンバー全員が国際学会や論文誌を目指していること ◆国際会議の発表、吉岡先生以外にも一流の研究者と出会えたこと ◆海外の学会発表、仲間との議論。優秀な先輩との議論は興味深く、自分もこうなりたいと思わ せるものがある ◆We went to VLSI meeting and had beer at night, people talked about interesting stuff. ◆研究に関する相談とダーツ ◆京都に学会発表を聞きに行ったこと、飲み会 先輩の声
24. ◼研究室での経験が将来どのように役立つと思いますか？ ◆問題解決能力、なんとかする力 ◆自分で考えて行動する力が身についた ◆プレゼンテーション能力、課題に対する向き合い方、知的なタフさ ◆マネジメント能力。自分のプロジェクトを進めるのに人を巻き込む必要があり、スケジューリング などを自分で率先する必要がある環境なのでその能力が身につくだろう。 ◆プレゼンや資料作り、英語での日常会話 ◆実験プロセスを考え、結果を分析し、考察する力はどの仕事でも役立つと思う。 メンバーと協力する場面が多く、コミュニケーション能力を培うことができ、仕事で役立つと思う。 先輩の声
25. もう少し詳しく話しませんか？ https://sites.google.com/keio.jp/keio-csg/ 吉岡研HPの見学フォームを送ろう！ 研究室説明会： 10/22 15:30- 10/24 15:00- 10/31 15:00- 11/5 15:30- 途中退席OK。気軽にどうぞ B3へのメッセージ..のページにあります。
26. 研究環境 • ノートパソコン、ディスプレイ等支給 • 3Dセンサ – LiDAR >8台、3Dカメラ10台 • 機械学習環境 – 現在GPUワークステーション*3台 • 回路設計環境 – 先端CMOSプロセスの試作（TSMC 28nm/65nm） – 設計サーバー導入済