Тема 3: ZKML-концепт и верифицируемая авторизация с использованием zkSNARKs

На данный момент модели предоставляются пользователям в режиме черного ящика, то есть невозможно проверить, действительно ли результат был получен той или иной моделью и не был модифицирован. Рассмотрим возможность использования существующих подходов в верифицируемых вычислениях для сверточных нейросетей, и как это может помочь при идентификации и в защите от ботов.

Владимир Попов, исполнительный директор Лаборатории блокчейн Сбера

Transcript

1. Verifiable inference Minimizing trust with ZK Snarks Vladimir Popov, Sber Blockchain Lab
14. MatMul all the way down…
15. MatMul all the way down…
16. Matrix 3 4 2 7 2 0 5 9
17. Convolution
18. Convolution
19. Convolution (I * K)n = ∑ i (Ii ⋅ Ki−n ) ≈ O(mn)
20. Convolution (I * K)n = ∑ i (Ii ⋅ Ki−n ) ≈ O(mn) Convolution is equivalent to a single multiplication … but in the “Frequency domain“ (I * K )n = IFFT(FFT(I ) ⊙ FFT(K )) ≈ O(m ⋅ logn) FFT(I * K ) = FFT(I ) ⋅ FFT(K )
21. FFT V = 1 ω0 ω0 ⋯ ω0 1 ω1 ω2 ⋯ ωn−1 1 ω2 ω4 ⋯ ω2(n−1) ⋮ ⋮ ⋮ ⋱ ⋮ 1 ωn−1 ω2(n−1) ⋯ ω(n−1)(n−1)
22. FFT F = 1 ω0 ω0 ⋯ ω0 1 ω1 ω2 ⋯ ωn−1 1 ω2 ω4 ⋯ ω2(n−1) ⋮ ⋮ ⋮ ⋱ ⋮ 1 ωn−1 ω2(n−1) ⋯ ω(n−1)(n−1) ay = c0 ⋅ Fy,0 + c1 ⋅ Fy,1 + . . . ay = c0 ⋅ ωy*0 + c1 ⋅ ωy*1 + . . . cn − 1 * ωy*(n−1)
23. Matrix 3 4 2 7 2 0 5 9
24. Matrix => Function c(0,0,0)=3 c(0,0,1)=4 c(0,1,0)=2 c(0,1,1)=7 c(1,0,0)=6 c(1,0,1)=0 c(1,1,0)=5 c(1,1,1)=9
25. Function => Hypercube F(0,0,0)=3 F(0,0,1)=4 F(0,1,0)=2 F(0,1,1)=7 F(1,0,0)=6 F(1,0,1)=0 F(1,1,0)=5 F(1,1,1)=9
26. Lagrange interpolation χw (x1 , . . . , xv ) = v ∏ i (xi ⋅ wj + (1 − xi ) ⋅ (1 − wi )) ˜ F(x1 , . . . xv ) = ∑ w∈{0,1}v Fj (w) ⋅ χw (x1 , . . . , xv )
27. Lagrange interpolation 3 4 2 7 2 0 5 9
28. MLE c(0,0,0)=3 c(0,0,1)=4 c(0,1,0)=2 c(0,1,1)=7 c(1,0,0)=2 c(1,0,1)=0 c(1,1,0)=5 c(1,1,1)=9 ˜ c(12352,775831,758231) = 1567367123?
29. MLE
30. MLE
31. MLE How can I check all the notes at once?
32. MLE How would it sound at page 573782131?
33. MLE 3 4 2 7 2 0 5 9
34. Sumcheck (LFKN92 ) 3 4 2 7 2 0 5 9 ∑ = 42?
35. Sumcheck 3 4 2 7 2 0 5 9 ∑ ≈ O(M * N) ∑ i,j∈{0;1}logN c(i, j) = 32?
36. Sumcheck
37. Sumcheck gi−1 (ri−1 ) = gi (0) + gi (1) gi−1 = ∑ k∈{0;1}l−i F(r1 , r2 . . . , ri−2 , X, k) gi = ∑ k∈{0;1}l−i F(r1 , r2 . . . , ri−1 , X, k) F(r1 , r2 . . . rl ) = gl (r1 , r2 . . . rl )
38. FFT + Sumcheck V = 1 ω0 ω0 ⋯ ω0 1 ω1 ω2 ⋯ ωn−1 1 ω2 ω4 ⋯ ω2(n−1) ⋮ ⋮ ⋮ ⋱ ⋮ 1 ωn−1 ω2(n−1) ⋯ ω(n−1)(n−1) MLE : ˜ a(y) = ∑ x∈{0;1}logN ˜ c(x) ⋅ ˜ F(y, x) Single sumcheck statement for convolution layer
39. Single proof (GKR08) ˜ Vi (z) = ∑ x∈{0,1}si+1 X ˜ addi (z, x) ⋅ ˜ Vi+1 (x) + ∑ x,y∈{0,1}si+1 X ˜ multi (z, x, y) ⋅ ˜ Vi+1 (x) ⋅ ˜ Vi+1 (y) = ∑ x,y∈{0,1}si+1 ( ˜ β(y, 0) ⋅ X ˜ addi (z, x) ⋅ ˜ Vi+1 (x) + X ˜ multi (z, x, y) ⋅ ˜ Vi+1 (x) ⋅ ˜ Vi+1 (y))
40. PIOP F = 1 ω0 ω0 ⋯ ω0 1 ω1 ω2 ⋯ ωn−1 1 ω2 ω4 ⋯ ω2(n−1) ⋮ ⋮ ⋮ ⋱ ⋮ 1 ωn−1 ω2(n−1) ⋯ ω(n−1)(n−1) MLE : ˜ a(y) = ∑ x∈{0;1}logN ˜ c(x) ⋅ ˜ F(y, x) +ReLU, MaxPool Vl (z) = ∑ μi * V(νi )