Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIの基本から最近トレンドAI手法まで【from 高知AIセミナー 技術者養成講座】

piacerex
December 26, 2023

AIの基本から最近トレンドAI手法まで【from 高知AIセミナー 技術者養成講座】

piacerex

December 26, 2023
Tweet

More Decks by piacerex

Other Decks in Technology

Transcript

  1. 2023/2/17 (Fri) 高知県工業技術センター . 【技術者養成講座】 最近トレンドのAI手法 ~AI・ディープラーニングの初歩から先端モデルまでを2時間で~ Nov. 22, 2022

    ver 0.3 created. Dec. 09, 2022 ver 0.5 updated Feb. 12, 2023 ver 0.8 updated Feb. 14, 2023 ver 0.9 updated Feb. 16, 2023 ver 1.0 updated 株式会社DigiDockConsulting 常務取締役CTO 国際カンファレンス「ElixirConf JP」ファウンダー Elixirコミュニティ「fukuoka.ex」「ElixirImp」「LiveView JP」オーガナイザ AIスクール「AIジョブカレ」福岡校開校 北九州市立大学 「プログラミング論」教授級非常勤講師 北九州高等専門学校 特命教授 / コンピュータ研究部 指導員 piacere / 森 正和
  2. 目次 01 はじめに 03 04 05 02 06 07 自己紹介

    & 自社紹介 AI・MLを取り巻く10年の変化 最近のAIで何が可能か? はじめての機械学習…先端の前に 先端AIの仕組みと開発の最前線 そんなに遠くない未来のAIの姿 08 質疑応答タイム
  3. はじめに • 講義の中で以下を行いますので、もし可能であれば、お手元 のスマホやPCで一緒に動かしたり、ご覧いただくと、より 楽しむことができると思います ◦ スマホ上で実行できるAIのデモ/お試し ◦ ネット上で利用できるAIのデモ/お試し ◦

    私や仲間が執筆したコラムの閲覧 ◦ 先端AIのプログラミング ※ElixirとLivebook環境が必要 ▪ プログラミングについては勉強会もご案内します • ハッシュタグ #高知AIセミナー でコメント下さい
  4. my favotite technologies & implements Twitter / NeosVR / Discord

    @piacere_ex Github / YouTube / Qiita @piacerex 40年前からプログラマ (職業プログラマ歴は27年) 書けるプログラミング言語は158言語 小学4年生でゲームプログラミングを始め、現在も プロダクトとOSSを開発し、事業やコミュニティの 優位性へと転用する開発者/アーキテクト/経営者 大手企業をメイン顧客として、IT事業/UX・UI/ D2Cマーケティング/VR・AR・メタバース/ Web3/エッジコンピューティングにまつわる事業 コンサルティングと企画支援、プロダクトを提供 技術コミュニティも複数発足・主催しており、毎月 イベント開催とLT、ライブコーディングをこなす piacere / 森 正和 “piacere” is an Italian word, means “Joy” == == Real Online VR / AR
  5. 活動 ≒ 事業+コミュニティ+育成(エンジニア、学生) • 北九州市立大学 教授級非常勤講師「プログラミング論」 • 北九州高等専門学校 特命教授 コンピュータ研究部指導員

    • ラジオFM KITAQ「Technology Cruising Night」パーソナリティ • 株式会社DigiDockConsulting 常務取締役CTO • ほかIT企業2社経営、技術顧問3社担当 • Elixirコミュニティ「fukuoka.ex」創始者 • Elixir国際カンファレンス「ElixirConf JP」創始者 • 「ElixirImp」「LiveView JP」ファウンダー • AIスクール「AIジョブカレ」福岡校開校者 • Elixirスクール「Elixir |> College」創始者 • 高知県 工業技術センター AI・機械学習 研修講師 • 上級AI開発コミュニティ「IAIFukuoka」発足人 • 独立行政法人 中小企業基盤整備機構 コンサルタント
  6. We are fukuoka.ex in Fukuoka/Kitakyu, Japan Over 1,400 engeneers joined

    it More than 5,000 visitors came to Elixir Communities events
  7. 並行/分散/データ処理言語「Elixir」で大手企業向け開発 2015年 2016年 2017年 2018年 2019年 2020年 2021年 国民の1/4が利用する 60,000tps大規模基盤で

    JVM300台FGC連発 ↓↓↓ Elixir10台で収容成功 LiveView導入 x 3案件 ・動画配信SaaS ・EC SaaS ・DM送付SaaS 大量行動データ 社内分析ツール を試験的に開発 Elixirを実験する助走期間 Elixirエッジサーバ開発 x 2案件 ・3D点群ゴミ取りサーバ ・IoTデータ収集サーバ 2022年 スマホアプリ案件用APIサーバ x 2案件 社内勉強会を開催 fukuoka.ex発足 kokura.ex発足 Elixir Digitalization Implementors発足 LiveView JP発足 Esuna (データ分析PF) x 3案件 Vue.js/React/Angularアプリ案件用サーバ x 3案件 介護者応対GoogleHome連携用APIサーバ ElixirImp Vue.js/React/Angularアプリ案件用サーバ x 2案件 工場内カメラIoT開発 DD.Acadmy ※Eixir教材提供も その他自社プロダクト Elixirプロダクション採用 Elixirプロダクション採用 高知AIセミナー2023 & ElixirImp#20より転載
  8. 国内Elixirコミュニティは28箇所 (世界最多) もあります 1. Shinjuku.ex(Tokyo)- since 2013 2. tokyo.ex 3.

    Sapporo.beam(Hokkaido) 4. fukuoka.ex - since 2017 5. kokura.ex(Fukuoka) 6. hibikino.ex(Fukuoka) 7. Elijo【Elixir women’s club】 8. Elixir |> College 9. Kyushu International Elixir Federation 10. Elixiroshima 11. Kochi.ex 12. Kyoto.ex 13. Seiryu-elixir(Gifu) 14. akiba.ex(Tokyo) 15. daimon.ex(Tokyo) 16. OkazaKirin.beam(Aichi) 17. Pelemay Meetup(Fukuoka) 18. space.ex(Kyushu) 19. autoracex(Kyushu) 20. Wedmoku(Kyushu) 21. Erlang & Elixir Fest 22. japan.ex 23. ElixirConf JP 24. NervesJP 25. EDI 【Elixir Digitalization Implementors】 26. piyopiyo.ex 27. Neos.ex 28. LiveView JP JP
  9. DigiDockConsulting: 先端技術で世界を改変する企業 Elixir DX / Digitalization D2C SaaS a Box

    / IoT Digital Marketing Low Latency Huge Connections Micro Service Distributed System Concurrent System VR / AR Data Science Machine Learning Edge Computing Insourcing IT Material Creation Business Optimize Data Analysis HRD Space Data Utilize DX Diagnostic Tool Elixir-Prod. Support Elixir HRD Support
  10. AR測量レス (同左) 起工測量 光波 GIS (RTK測位) 丁張設置 AR丁張レス ICT丁張レス 起工測量

    光波 従来施行 中小企業 約1週間以上 (5~20倍) ※丁張運搬の負荷や 資材不足、天候 不良等で長引く ICT施行 大手企業 1日以内 (数時間) AR施行 企業規模 問わずに 利用可能 2cm精度のCADを現場で見ながら測量・丁張不要の即日施行で20倍速+費用10倍低下 丁張重機施行 ICT重機施行 図面検証 図面検証レス 図面検証レス GNSS搭載重機 月レンタル100万 GNSS搭載重機と 同等以上の快適な 体験を月数万円で AR重機施行 内業CAD帰社 帰社レスCAD A B C 内業CAD 内業CAD修正 内業CAD帰社 内業CAD修正 Nonfi①:CADデータを現実上に位置情報で合成
  11. DD.デジマパック:AI・MLがWeb最適化し、D2C実現 All in one デジタルマーケティングプラットフォーム DD.デジマパック Web/SNS行動解析 Web/SNS課題抽出 AIによる改善提案 改善施策実施

    改善効果検証 ECサイト制作支援 掲載商品撮影支援 受注管理支援 商品保管、管理支援 商品配送支援 ①WebサイトとSNSのファン行動分析から改善施策をAIが自動で提案、効果検証も可 ②ファンとの交流起点となるEC構築と、受注/商品保管/配送の実業務まで全カバー 顧客データ分析・管理 営業活動支援 顧客アプローチ D2C/ファンコミュニティ ③D2Cを立上げ、ファンと共に成長していく世界標準の事業 DD.デジマパック D2Cアドバンストエディション
  12. 2012~2017年:ディープラーニング誕生、過剰な期待 • 2度に渡る「AIの冬」の間もAI研究を続けた「AIの父」、ジ ェフ・ヒントン博士 (75歳!) が所属するGoogle AI研究チ ーム (現在は「Google Brain」と呼ばれています)

    が、猫の 画像だけを見て、まるで人のように「これは猫だ」「これは 猫では無い」と識別できるデモをしたことで、ディープラー ニングは脚光を浴びました ◦ 人が猫の概念を一切教えなかった点が革新的で、AIがデ ータ (ここでは大量のYouTube動画の猫) から勝手に学 習したことで、知識に関するプログラミングが不要とな った点が、当時のAI研究を覆す衝撃でした • ここから、人のように物事を認識できるAIを生み出すこと ができると期待が募った訳ですが…それは過剰な期待でした 高知県工業技術センター【技術者養成講座】AIの基本から最近トレンドAI手法まで より
  13. 2018~2020年:失望期 (しかし水面下では革命前夜) • 鮮烈なディープラーニングの誕生から6年経過した頃には、 当初AIに抱いた期待が叶わなかったり、入門しても仕事が あまり無い等のハードルにより、ブームに翳りが見えました ◦ 本AIセミナー講義が始まったのも、この時期でしたw • しかし水面下では、下記を代表とするモデルが生まれ、これ

    が現在の桁違いなAI発展に寄与しています ◦ 自然言語モデルのブレイクスルー ▪ Transformer、BERT (Attention) ◦ 自然言語モデルから他タスクのモデルへの転用 ▪ ViT (Vision Transformer)…画像解析 ◦ AIがAIを生み出す (人は学習させたいデータ提供のみ) ▪ AutoML、AutoML Zero 高知県工業技術センター【技術者養成講座】AIの基本から最近トレンドAI手法まで より
  14. 2021年~現在:人に近いAI出現+コロナでデジタル浸透 • 前述したモデル群およびその進化系モデルが生み出す出力が 「人にとって違和感を感じないレベル」へと洗練され、実務 での利用や、テック企業での採用が一気に進み、一般層にも 急速にAIの有用性が浸透していきました • このブレイクスルーには、以下2点の発見が大きく影響 ◦ 膨大なデータからの学習

    ≒「事前学習」 ◦ 事前学習済みモデルの高速な再学習 ≒「転移学習」 • また社会的背景として、コロナ到来により仕事観や生活観が 大きく変わったことで価値観が変容し、対面や口頭の交流が 絶対的なもので無くなったことで、デジタル活用が当たり前 となった点も、AI浸透に大きく影響したと考えます 高知県工業技術センター【技術者養成講座】AIの基本から最近トレンドAI手法まで より
  15. ChatGPTを試してみましょう 公式サイトで 試してみます • お手元にPCがあれば、要ユーザ登録ですが、お試しいただけます (「ChatGPT」で検索してください) ◦ リモートワークの良い点と悪い点を知りたい ◦ 先端のAIについて教えて

    → 他には? ◦ 最近、流行っているAIは? → 他には? ◦ Pythonで3つの単語を繋げて3個の文章を作るコードを頂戴 → もっとスマートなコードにして → 別のバージョンは? → 上記コードを接続詞もリストから選択するようにして
  16. 現実で未知データを予測できるようになるまでの流れ ⅰ)モデルの学習(学習データとラベルの関係性を学習) ⅱ)検証データによる評価(予測とラベルの一致率を確認) ⅲ)未知データに対する予測(期待する正解が出れば成功) 学習データ AI・MLモデル 検証データ 予測 未知データ 予測

    関係性を学習 学習済み モデル ラベル ラベル ラベル 一致率で評価 ※悪い場合は 学習をやり直し 一致していれば 良いAI・ML ※悪化した場合は 再度、学習し直し 犬(=0) 犬(=0) 犬(=0) 猫(=1) 犬(=0) 「猫だ」 ⅰ) ⅱ) ⅲ)
  17. ②チケットレス駐車場/③リアルタイム翻訳が構築可能 • 印刷もしくは手書きの文字を識別できるAIがあれば、先ほど紹介 した「②チケットレス駐車場」と「③リアルタイム翻訳」の前半 部分である文字識別が可能となります • 残りはそれぞれ、下記のような構築をすれば完成です ◦ ②チケットレス駐車場 ▪

    清算時のナンバー入力とナンバー文字列の照合 ▪ 入場時の自動カメラ撮影/ナンバー識別 ▪ 出場時の自動ナンバー照合 ◦ ③リアルタイム翻訳 ▪ 文字へのバウンディングボックス※追加 ※以降は「BB」と省略 ▪ 文章の翻訳、翻訳後の文字列への置換 • 翻訳にはBERT等の別モデルも必要
  18. ①消しゴムマジック…Inpainting (Segmentaion+GAN) • 削除したい対象を下記いずれかで特定した上で、そこに背景画像 を生成することで実現します ◦ Segmentaion ◦ 物体検知 (詳細は後述)

    • 「Segmentaion」は、画像の特徴 から、同じ領域と見なす面を特定 ◦ U-Net、FCN、SegNetなど • 背景画像はどう生成しているか? ◦ 削除した周辺の画像の特徴から 学習し、偽物の背景画像を生成し、 本物と識別できるまで繰り返す ▪ GAN…ノイズから偽物を生成
  19. ③リアルタイム翻訳…Transformer/BERT • どのようなタスクにでも応用できるAttentionを搭載したモデル ◦ 自然言語解析以外のタスクにも応用できる ▪ 画像解析・生成など…ViT (Vision Transformer) ▪

    対話応答など…T5 (Text-to-Text Transfer Transformer) • 「Attention」とは? ◦ 「どこにどの情報があるからこうなるよね…」という「ある 情報から注目すべき情報」を判断して、処理ができる ▪ あの単語とこの単語があるから、こういう文章だろう ▪ 画像のココがこうだから、この画像は恐らくコレだろう ▪ 将棋の駒がこの配置だから、次の手はこれかな などなど ◦ 情報と情報が隣接していなくても処理できる (距離に無関係) ◦ 並列計算に強い (RNN等のTransformer以前の時系列の弱点) 高知県工業技術センター【技術者養成講座】AIの基本から最近トレンドAI手法まで より
  20. ④物体検知…YOLO • YOLO (You Only Look Once:一度見るだけで良い) という名前 が示すように、一度見ただけで物体を識別できることを目指した ①画像をn

    x n個の正方形に分割 ②上記①をm個のBBに分割し、信頼度(物体である確率) を算定 ③上記①の各々を多クラス分類 ④上記②の信頼度が高いBBのみ残して、上記③のクラスを付ける • 上記②の切り方が不運だったり 上記③が部分画像で分類する 都合上、上手く分類できない などで精度が低下する要因は YOLOのバージョンが上がると 改善されます (速度向上も)
  21. ⑤ChatGPT…GPT-3 • GPT (Generative Pre-trained Transformer) の三世代目 ◦ 前述したTransformerを改良 (decoder、層入替、Attention)

    ◦ 「Pre-trained」 ≒ 「事前学習」で「次の単語予測」を学習 することで文法や文脈、意味解釈ができるようになっている ◦ 下記データ量で学習 (かつて無い規模の学習が実行されてる) ▪ GPT …7,000冊の書籍 (文章)+10億個の単語 ▪ GPT-2…40GByte:800万件Reddit (3いいね付で質担保) ▪ GPT-3…600GByte:Wikipediaほか4種類の巨大データ ◦ 事前学習済みモデルをベースに、「転移学習」で予測したい 対象の少量データを再学習することで高精度モデルを構築 ▪ なお、「事前学習」では100周学習しなければならないが 「転移学習」ではたった3周で学習が完了する • ChatGPTは、チャット利用者の履歴で、更なる改善を図っている 高知県工業技術センター【技術者養成講座】AIの基本から最近トレンドAI手法まで より
  22. ⑥お絵描きAI…Stable Diffusion、Midjourneyなど • 以下2パートがで画像生成されます ①ノイズ画像からノイズを除去していくことでの画像生成 ②指定されたテキストに該当する画像の特徴を付与 • なぜノイズ画像からのノイズ除去で鮮明な 画像を生成することができる? ◦

    鮮明な画像に徐々にノイズを乗せる過程 を学習しており、その逆の変換が可能と なっているから • なぜテキストを入れるたびに異なる画像が 生成される? ◦ 画像生成の元となるノイズ画像が異なる から (ノイズ画像が同じなら同じ画像を 生成できる) • テキストからの画像生成はViTが使われます
  23. 開発の最前線②:学習済みモデルをロード or 転移学習 • 現在、多くのタスクが一般化され、それに応じた学習済みモデル が利用可能となったため、それらをそのまま使うか、予測したい 対象の少量データで「転移学習」させて使うことで済むケースが 多くなりました ◦ ゼロからモデルを学習・構築させなくても良くなりました

    ▪ GPT-3のところでも説明した通り、学習済みモデルを少量 データで再学習させるだけで、高精度モデルは構築可能 ◦ 逆に、GPT-3クラスの事前学習は、もはや個人では手が出し づらいレベルのコンピューティングパワーが必要
  24. • FacebookのWorkroomsは、現実よりフレンドリーな空間 コロナ以降、現実は本格的に「オマケ」「サブ」に • この4人は全員 がアバターだが 和気あいあい • 一方、Zoomや Teamsは実物

    の顔が見えるが 距離感は縮まら ないのでコミュ ニケーションに 実物の顔は不要 総務省主催「自分ごとにするDX」「本当のDXはSF的で未来志向、そしてサイバーパンク」より引用
  25. • バーチャル(AR、VR)と融合された現実+AI・MLの世界 コロナ以降、現実は本格的に「オマケ」「サブ」に • 現実の作業場所 とバーチャル上 の会議ルームを 切り替え可能 • もはや、現実と

    デジタルの区別 に意味は無い • 情報主体の体験 に限らず現実の 視覚/接触体験 もやがて移行 総務省主催「自分ごとにするDX」「本当のDXはSF的で未来志向、そしてサイバーパンク」より引用
  26. 人の意思決定や組織もデータに過ぎない:DAO+AI・ML • 経営者やリーダーといった人すらシステムで置き換えできる ◦ DAO (自律分散組織) は投票での意思決定/資金調達/ 分配が、ネット上に配置されたルール (≒スマートコント ラクト)

    によって実現できる仕組み ◦ AI・MLは、ルールを規定せずとも利用者の行動データ からの学習により意思決定を行えるので、DAOとの組み 合わせにより、資金調達/分配 (と業務) を自動化できる 経営者や リーダー が必要 株式会社 経営者や リーダー は不要 DAO システム/ロボット で運用される企業 AI・MLで意思決定 /運用される企業 働く人が必要 働く人は不要 • 人類はすでに上記の テクノロジーを手に 入れており、企画と 技術、UXがあれば、 働く人が不要になる 総務省主催「自分ごとにするDX」「本当のDXはSF的で未来志向、そしてサイバーパンク」より引用
  27. DD.デジマパック:AI・MLがWeb最適化し、D2C実現 All in one デジタルマーケティングプラットフォーム DD.デジマパック Web/SNS行動解析 Web/SNS課題抽出 AIによる改善提案 改善施策実施

    改善効果検証 ECサイト制作支援 掲載商品撮影支援 受注管理支援 商品保管、管理支援 商品配送支援 ①WebサイトとSNSのファン行動分析から改善施策をAIが自動で提案、効果検証も可 ②ファンとの交流起点となるEC構築と、受注/商品保管/配送の実業務まで全カバー 顧客データ分析・管理 営業活動支援 顧客アプローチ D2C/ファンコミュニティ ③D2Cを立上げ、ファンと共に成長していく世界標準の事業 DD.デジマパック D2Cアドバンストエディション
  28. ②世界は、現実世界の方が「オマケ」「サブ」になる • 「デジタルオブジェクトが物理現実の基本的な素材になる」 とは? ◦ デジタルツインで現実がデータ化されると、「データ」 がもはや「現実」と同じである…と扱われる ◦ このとき現実とは「情報源」の1つでしか無い ◦

    現実を表現するには、「データ」による「デジタルオブ ジェクト」で充分で、それは現実よりも扱いやすくなる • ここから更に一歩先に進むと、 「デジタル側の変更により現実 が改変される」というデジタル がメインとなる世界が構築され ていく 総務省主催「自分ごとにするDX」「本当のDXはSF的で未来志向、そしてサイバーパンク」より引用
  29. メタバースに没入するハードも手が出しやすい範囲に ・2年前にリリースされ、未だ 先端を走り続けるモデル ・軽量で、外利用も可能な造形 ・ARモードでも3Dモデル密閉 すればVR体験でき、Quest Proと同じ体験も可能 ・冒頭の測量レスARはこれを 使って実装しています NrealLight:69,799円

    Nreal Air:46,980円 ・先月出たばかりの最新機 ・VRモードとARモードを 瞬時に切り替えれる ・先ほどのVRとARを切り 替えるデモはコレ ・2年前にリリースのHMD ・家電量販店でも販売され 最近はTV CMもされる 最も個人普及している VR入門者向けモデル Quest Pro:226,800円 Meta Quest 2:46,000円 総務省主催「自分ごとにするDX」「本当のDXはSF的で未来志向、そしてサイバーパンク」より引用
  30. ③変形/技術を踏まえて企画を練れる人の存在が重要 1. イノベーター ・Web3は国内先行が可 ・健康な高齢者向け産業 ・ITが無いから試せる 2. リードメンター ・メタバース世界トップ ・高齢者介護世界トップ

    ・エンジニア数世界4位 3. サステイナー ・市民が市民を支える ・若者に教えられる年配 ・SDGs 高齢化の先行性 人口減少の先行性 他都市より先回り ◎高齢者特化の行動 センサ+ARグラス 観光 ◎徘徊高齢者向けの 屋内外GIS捕捉 ◎VR内業+AR現場 製造/土木/建設等 ◎屋内AR施設案内 ◎NFT特区の成立 (福岡市も制定中) ◎DAOの法人化 (ワイオミング州が先行) ◎遠隔VR移住体験 ◎居宅ケアワーカー のギグワーク化 ◎VR/ARによるケア ワーカー遠隔訓練 ◎IT企業とフリーラ ンスのためのVR オフィス誘致 ◎世界進出可能企業 のDX積極支援 ◎メタバース x アニメ ◎測量レスAR土木 ◎高齢有識者による 教育YouTuber輩出 ◎音声AI介護による 高齢者雇用に特化 した企業運営の確立 ◎市民向けサービス を市民自身が行う (イギリスgov.ukが先行) ◎ビル管理システム (BIM) のVR/AR化 (現在、国内大手と協業) ◎SDG9 = Socirty 5.0を都市で実証 (都市センサNW+API化) ◎市主催の年金破綻 世代向けESG投資 ワークショップ 北九州市魏会向け「DX講義スライド」より引用