Zenohex完全に理解した（しらんけど:D

【東京】Elixir/Phoenix Meet-up（初心者・学生歓迎） #daimonex
2024/07/19
https://daimon-ex.connpass.com/event/318529/

YouTubeアーカイブ： https://www.youtube.com/watch?v=h6gZ2_5mI2E

Transcript

1. Zenohex 完全に理解した （しらんけど:D @takasehideki
2. Hobby Recent R&D Affiliation Mission あらゆる モノ・コトと ヒトを繋げる 設計基盤の 確⽴ 最適化 設計技術 良いモノ を 誰でも楽に つくることができる世界へ 組込み／IoTコンピューティング基盤を⽀える プラットフォーム技術と設計⽅法論 @takasehideki ശ ఉ ϩʔΧϧ؀ڥ ηϯγϯά ̇ ̇ ̇ ө૾ Ի Թ౓ ࣪౓ ѹྗ ৼಈ Edge AI ޯ഑ܭࢉɾߋ৽ -PTT 8FJHIU ਪ࿦ ੍ޚ ΢ΣΞϥϒϧ σόΠεɾ ϔϧεέΞ ϩϘοτ ϞϏϦςΟ ೖྗ ग़ྗ ϑΟʔυ όοΫ Edge AI Edge AI Edge AI Edge AI Fog AI ू໿ ෼഑ ϩʔΧϧ؀ڥ Fog AI Edge AI Edge AI ϩʔΧϧ؀ڥ Fog AI Edge AI Edge AI Cloud MEC BEAM クラウド BEAM エッジ BEAM 最適配分アルゴリズム 透過型分散プラットフォーム BEAM システム開発者 デプロイされる コード ① ③ ② ③ ③ ❤ 評価アプリ ❤ 評価アプリ ④ ④ ❤ 評価アプリ ④ ② ② ❤ 評価アプリ ④ ② ② ② ②
3. 3 デバイス エッジサーバ クラウド IoT Computing?? AI/ML技術との 密接な統合 あらゆるモノ・コトの ネットワーク接続によって 新たな社会的価値を創造 各構成要素における 計算機特性の結集 ⼤量のデバイスとデータ 「デバイスレベル並列化」 による最適化の時代へ︕
4. 4 広域分散処理 • 広域にまたがって分散してアプリ処理を実現する — 計算機間の通信とその運⽤がカギのひとつ • 現代的にはデバイス／MEC（中間サーバ）／クラウドの構造をとる — 各々の計算資源はバラバラ︓応答時間 vs 計算性能 クラウド エッジデバイス MEC MEC 応答時間 計算性能 応答時間 計算性能 応答時間 計算性能 IoT computingの 理想像!!?
5. クラウド エッジデバイス MEC MEC 応答時間 計算性能 応答時間 計算性能 応答時間 計算性能 5 広域分散処理の実現に向けた課題 • システム開発者視点から システム記述 Ø なにをどこで処理するのか︖ Ø それらをどのように繋げるのか︖ Ø これをどうやって実現するのか︖ エッジデバイス
6. 6 関数型パラダイム ＝ IoT Computing!! プロセス同⼠の通信 ＝ Things同⼠の通信 計算機同⼠でクラスタを形成すれば プロセス同⼠が相互に作⽤して動作する︕ クラウド エッジデバイス MEC MEC エッジデバイス
7. 7 出版購読型通信 • Brokered (e.g., MQTT) — brokerがどこかを把握する必要アリ • Peer-to-Peer (e.g., DDS) — ⾃律的に通信相⼿を探索できる — 通常の適⽤範囲は同⼀ネットワーク内のみ • 嬉しさ — ⾮同期かつ疎結合なアーキテクチャを 形成しやすい — それぞれのノードが独⽴して動作する 追加／削除／再配置が容易 publisher1 publisher2 topicA topicB subscriber1 sub2 sub3 broker
8. 8 https://zenoh.io/
9. • Zero Overhead Pub/Sub, Store/Query and Compute. — Zero network overhead protocol — ネットワーク内ではDDSライク， ネットワーク間ではMQTTライクな通信ミドルウェア — GitHub : https://github.com/eclipse-zenoh/ üEclipse Public License 2.0 and/or Apache 2.0 — 当初はOCaml実装，2020/10- 頃からRustに移⾏ • 開発主体︓ZettaScale Technology — CEO/CTO︓Angelo Corsaro さん — ADLINK（CycloneDDS開発主体）から独⽴︖ 9
10. 10 なんでもつかえる︕ よしなにしゃべれる︕ とにかくかるい︕ いろいろつながる︕
11. • Low latency and High throughput — 10 us latency in the single machine, 16 us in multiple machines (P2P config.) — ~70 Gbps at 8 KB payload ü35x higher than MQTT, 23x than Kafka, 3.3x than DDS • Why?: minimum wire overhead — only 5 bytes for delivering messages 11 https://zenoh.io/blog/2023-03- 21-zenoh-vs-mqtt-kafka-dds/ arxiv:2303.09419 とにかくかるい︕
12. 12 • Pub / Sub (Push) — basic pub/sub method • Pub / Sub (Pull) — Sub receives in its own timing • Pub / Store / Get — KVS based computation • Get / Reply — RPC-like communication node node node node node node node node Pub Sub(callback) Sub(Pull) Pub Pub Get Reply Pull なんでもつかえる︕
13. 13 Peer to Peer Clique Mesh Brokered Routed Peer Peer Peer Peer Peer Peer Peer Peer Peer client client Router Router Router client client client client client client Router Router いろいろつながる︕ • Zenoh router behaves as a broker between networks • We can construct a wide area network structure easily!
14. 14 よしなにしゃべれる︕
15. • https://github.com/eclipse-zenoh/zenoh-pico — Cで再実装した組込み向け軽量Zenoh — PlatformIO で各種PF/RTOS/ボード向けに対応 — かなりええ感じの性能が出ているらしい https://zenoh.io/blog/2022-02-08-dragonbot/ 15 組込みマイコンでも︕︕
16. 16 プログラミングモデル • Resource: — (key, value)ペアの名前付けされたデータ — 例︓home/kitchen/sensor/temp, 21.5 home/kitchen/sensor/hum, 0.67 • Key expression: — keyの集合表現（ワイルドカード︖） — 例︓home/kitchen/sensor/* home/**/temp • Selector: — resource 集合を特定する表現 — 例︓home/*/sensor/air?_where=co2> 12&_project=humidity • open/close: — zenohセッションを開始／終了する — 引数等でネットワーク構成を指定する ü 多くの場合では1つのセッションを 使い回すことが推奨されている • declare_keyexpr: — key-expressions を宣⾔する • declare_publisher: — 出版者として宣⾔する • declare_subscriber: — 購読者として宣⾔する — 購読時に実⾏されるコールバック関数を 指定する
17. 17 ネットワークモデル • Peer: — Zenohアプリとしての基本 — ローカルネットワーク内では通信相⼿を⾃律的に探索できる（like DDS） — Scouting: 通信相⼿の探索⽅式の指定（multicast と gossip の⽅式がある） • Client: — ルータを介して通信する構成 • Zenoh router: — 通信を仲介するモジュール — IP or URL, TCP or UDP で指定可能 — ポート番号も指定可能（基本は7447） JSONとかでいろいろ指定できるらしい,,, https://zenoh.io/docs/getting-started/deployment/
18. 18 QUIC, TLS, TCP, UDP Unicast, UDP Multicast IPv4, IPv6 6LoWPAN WiFi, Ethernet, Bluetooth, Serial APIs for various languages • zenoh-python • zenoh-c • zenoh-cpp • zenoh-java https://zenoh.io/docs/ getting-started/first-app/ Runs Everywhere! • zenoh-kotlin • zenoh-csharp • zenoh-go Getting Started with Python Native
19. • Zenohex = Zenoh + Elixir https://github.com/b5g-ex/zenohex Zenoh Protocol by Rust Erlang VM Elixir node1 Elixir node2 process Rustler github.com/rusterlium/rustler Rust謹製のZenoh APIを Elixir/Erlangから利⽤ Python node2 Erlangプロセスなので 軽量かつ堅牢︕︕ C++ node1 だったらElixirじゃね︖︖
20. 20 なんしか Elixir!! 2012年に登場した新しめの関数型⾔語 BEAM (Erlang VM) 上で動作 • ⾼い並⾏／並列性能を誇る • 軽量かつ頑強なプロセスモデル • 耐障害性が極めて⾼い Rubyを基にした⾔語設計 • 習得しやすく⽣産性が向上する • 通信応答性能が極めて⾼い • Web/IoT/AI FW. を備える Programming should be about transforming data .1 1 ( 0 ) . .1 ) 11 .1 ) ) &0 1(. &0 1 Elixir Zen Style Ø データフローと並列処理を Enum Flow |> で直感的に記述できる ※各⾔語・フレームワークのロゴの権利は それぞれの作成者に帰属しています
21. 21 * The copyrights of these logos belong to their respective creators • Awesome ecosystem! We love Elixir!!
22. 22 とりま いごかしてみん︖ 論よりRUN!! "ron yori run" The RUN is mightier than the word
23. 23 How to use Zenohex • add {:zenohex, "~> 0.3.0"} to mix.exs • defmodule ZenohElixir.Pub do def main do {:ok, session} = Zenohex.open() {:ok, publisher} = Zenohex.Session.declare_publisher (session, "key/expression") spawn(ZenohElixir.Pub, :publish, [publisher, 0]) end def publish(publisher, num) do msg = "Hello from Elixir!! " <> to_string(num) IO.puts "[pub.ex] " <> msg Zenohex.Publisher.put(publisher, msg) Process.sleep(1000) publish(publisher, num + 1) end end defmodule ZenohElixir.Sub do def main do {:ok, session} = Zenohex.open() {:ok, subscriber} = Zenohex.Session.declare_subscriber (session, "key/expression") spawn(ZenohElixir.Sub, :subscribe, [subscriber]) end def subscribe(subscriber) do case Zenohex.Subscriber.recv_timeout(subscriber) do {:error, :timeout} -> nil {:ok, msg} -> IO.puts "[sub.ex] " <> msg.value end subscribe(subscriber) end end Publisher Subscriber
24. 24 論よりRUN!! "ron yori run" The RUN is mightier than the word
25. 25 Thank you! merci!! Arigato!!! @takasehideki A part of this work is going as collaborative research with SoftBank Corp., and was supported by the commissioned research (04001) by National Institute of Information and Communications Technology (NICT), Japan.