Share
Embed
Zenohex完全に理解した(しらんけど:D
【東京】Elixir/Phoenix Meet-up(初心者・学生歓迎) #daimonex
2024/07/19
https://daimon-ex.connpass.com/event/318529/
YouTubeアーカイブ: https://www.youtube.com/watch?v=h6gZ2_5mI2E
takasehideki
July 19, 2024
Transcript
25 slides
-
Hobby Recent R&D Affiliation Mission あらゆる モノ・コトと ヒトを繋げる 設計基盤の 確⽴
最適化 設計技術 良いモノ を 誰でも楽に つくることができる世界へ 組込み/IoTコンピューティング基盤を⽀える プラットフォーム技術と設計⽅法論 @takasehideki ശ ఉ ϩʔΧϧڥ ηϯγϯά ̇ ̇ ̇ ө૾ Ի Թ ࣪ ѹྗ ৼಈ Edge AI ޯܭࢉɾߋ৽ -PTT 8FJHIU ਪ ੍ޚ ΣΞϥϒϧ σόΠεɾ ϔϧεέΞ ϩϘοτ ϞϏϦςΟ ೖྗ ग़ྗ ϑΟʔυ όοΫ Edge AI Edge AI Edge AI Edge AI Fog AI ू ϩʔΧϧڥ Fog AI Edge AI Edge AI ϩʔΧϧڥ Fog AI Edge AI Edge AI Cloud MEC BEAM クラウド BEAM エッジ BEAM 最適配分アルゴリズム 透過型分散プラットフォーム BEAM システム開発者 デプロイされる コード ① ③ ② ③ ③ ❤ 評価アプリ ❤ 評価アプリ ④ ④ ❤ 評価アプリ ④ ② ② ❤ 評価アプリ ④ ② ② ② ② -
3 デバイス エッジサーバ クラウド IoT Computing?? AI/ML技術との 密接な統合 あらゆるモノ・コトの ネットワーク接続によって
新たな社会的価値を創造 各構成要素における 計算機特性の結集 ⼤量のデバイスとデータ 「デバイスレベル並列化」 による最適化の時代へ︕ -
4 広域分散処理 • 広域にまたがって分散してアプリ処理を実現する 計算機間の通信とその運⽤がカギのひとつ • 現代的にはデバイス/MEC(中間サーバ)/クラウドの構造をとる 各々の計算資源はバラバラ︓応答時間
vs 計算性能 クラウド エッジデバイス MEC MEC 応答時間 計算性能 応答時間 計算性能 応答時間 計算性能 IoT computingの 理想像!!? -
クラウド エッジデバイス MEC MEC 応答時間 計算性能 応答時間 計算性能 応答時間 計算性能
5 広域分散処理の実現に向けた課題 • システム開発者視点から システム記述 Ø なにをどこで処理するのか︖ Ø それらをどのように繋げるのか︖ Ø これをどうやって実現するのか︖ エッジデバイス -
6 関数型パラダイム = IoT Computing!! プロセス同⼠の通信 = Things同⼠の通信 計算機同⼠でクラスタを形成すれば プロセス同⼠が相互に作⽤して動作する︕
クラウド エッジデバイス MEC MEC エッジデバイス -
7 出版購読型通信 • Brokered (e.g., MQTT) brokerがどこかを把握する必要アリ • Peer-to-Peer
(e.g., DDS) ⾃律的に通信相⼿を探索できる 通常の適⽤範囲は同⼀ネットワーク内のみ • 嬉しさ ⾮同期かつ疎結合なアーキテクチャを 形成しやすい それぞれのノードが独⽴して動作する 追加/削除/再配置が容易 publisher1 publisher2 topicA topicB subscriber1 sub2 sub3 broker -
• Zero Overhead Pub/Sub, Store/Query and Compute. Zero network
overhead protocol ネットワーク内ではDDSライク, ネットワーク間ではMQTTライクな通信ミドルウェア GitHub : https://github.com/eclipse-zenoh/ üEclipse Public License 2.0 and/or Apache 2.0 当初はOCaml実装,2020/10- 頃からRustに移⾏ • 開発主体︓ZettaScale Technology CEO/CTO︓Angelo Corsaro さん ADLINK(CycloneDDS開発主体)から独⽴︖ 9 -
• Low latency and High throughput 10 us latency
in the single machine, 16 us in multiple machines (P2P config.) ~70 Gbps at 8 KB payload ü35x higher than MQTT, 23x than Kafka, 3.3x than DDS • Why?: minimum wire overhead only 5 bytes for delivering messages 11 https://zenoh.io/blog/2023-03- 21-zenoh-vs-mqtt-kafka-dds/ arxiv:2303.09419 とにかくかるい︕ -
12 • Pub / Sub (Push) basic pub/sub method
• Pub / Sub (Pull) Sub receives in its own timing • Pub / Store / Get KVS based computation • Get / Reply RPC-like communication node node node node node node node node Pub Sub(callback) Sub(Pull) Pub Pub Get Reply Pull なんでもつかえる︕ -
13 Peer to Peer Clique Mesh Brokered Routed Peer Peer
Peer Peer Peer Peer Peer Peer Peer client client Router Router Router client client client client client client Router Router いろいろつながる︕ • Zenoh router behaves as a broker between networks • We can construct a wide area network structure easily! -
16 プログラミングモデル • Resource: (key, value)ペアの名前付けされたデータ 例︓home/kitchen/sensor/temp, 21.5
home/kitchen/sensor/hum, 0.67 • Key expression: keyの集合表現(ワイルドカード︖) 例︓home/kitchen/sensor/* home/**/temp • Selector: resource 集合を特定する表現 例︓home/*/sensor/air?_where=co2> 12&_project=humidity • open/close: zenohセッションを開始/終了する 引数等でネットワーク構成を指定する ü 多くの場合では1つのセッションを 使い回すことが推奨されている • declare_keyexpr: key-expressions を宣⾔する • declare_publisher: 出版者として宣⾔する • declare_subscriber: 購読者として宣⾔する 購読時に実⾏されるコールバック関数を 指定する -
17 ネットワークモデル • Peer: Zenohアプリとしての基本 ローカルネットワーク内では通信相⼿を⾃律的に探索できる(like DDS)
Scouting: 通信相⼿の探索⽅式の指定(multicast と gossip の⽅式がある) • Client: ルータを介して通信する構成 • Zenoh router: 通信を仲介するモジュール IP or URL, TCP or UDP で指定可能 ポート番号も指定可能(基本は7447) JSONとかでいろいろ指定できるらしい,,, https://zenoh.io/docs/getting-started/deployment/ -
18 QUIC, TLS, TCP, UDP Unicast, UDP Multicast IPv4, IPv6
6LoWPAN WiFi, Ethernet, Bluetooth, Serial APIs for various languages • zenoh-python • zenoh-c • zenoh-cpp • zenoh-java https://zenoh.io/docs/ getting-started/first-app/ Runs Everywhere! • zenoh-kotlin • zenoh-csharp • zenoh-go Getting Started with Python Native -
• Zenohex = Zenoh + Elixir https://github.com/b5g-ex/zenohex Zenoh Protocol by
Rust Erlang VM Elixir node1 Elixir node2 process Rustler github.com/rusterlium/rustler Rust謹製のZenoh APIを Elixir/Erlangから利⽤ Python node2 Erlangプロセスなので 軽量かつ堅牢︕︕ C++ node1 だったらElixirじゃね︖︖ -
20 なんしか Elixir!! 2012年に登場した新しめの関数型⾔語 BEAM (Erlang VM) 上で動作 • ⾼い並⾏/並列性能を誇る
• 軽量かつ頑強なプロセスモデル • 耐障害性が極めて⾼い Rubyを基にした⾔語設計 • 習得しやすく⽣産性が向上する • 通信応答性能が極めて⾼い • Web/IoT/AI FW. を備える Programming should be about transforming data .1 1 ( 0 ) . .1 ) 11 .1 ) ) &0 1(. &0 1 Elixir Zen Style Ø データフローと並列処理を Enum Flow |> で直感的に記述できる ※各⾔語・フレームワークのロゴの権利は それぞれの作成者に帰属しています -
21 * The copyrights of these logos belong to their
respective creators • Awesome ecosystem! We love Elixir!! -
22 とりま いごかしてみん︖ 論よりRUN!! "ron yori run" The RUN is
mightier than the word -
23 How to use Zenohex • add {:zenohex, "~> 0.3.0"}
to mix.exs • defmodule ZenohElixir.Pub do def main do {:ok, session} = Zenohex.open() {:ok, publisher} = Zenohex.Session.declare_publisher (session, "key/expression") spawn(ZenohElixir.Pub, :publish, [publisher, 0]) end def publish(publisher, num) do msg = "Hello from Elixir!! " <> to_string(num) IO.puts "[pub.ex] " <> msg Zenohex.Publisher.put(publisher, msg) Process.sleep(1000) publish(publisher, num + 1) end end defmodule ZenohElixir.Sub do def main do {:ok, session} = Zenohex.open() {:ok, subscriber} = Zenohex.Session.declare_subscriber (session, "key/expression") spawn(ZenohElixir.Sub, :subscribe, [subscriber]) end def subscribe(subscriber) do case Zenohex.Subscriber.recv_timeout(subscriber) do {:error, :timeout} -> nil {:ok, msg} -> IO.puts "[sub.ex] " <> msg.value end subscribe(subscriber) end end Publisher Subscriber -
25 Thank you! merci!! Arigato!!! @takasehideki A part of this
work is going as collaborative research with SoftBank Corp., and was supported by the commissioned research (04001) by National Institute of Information and Communications Technology (NICT), Japan.