Z, θ) = ln p(X, Z|θ)p(θ) = ln p(X, Z|θ) + ln p(θ) = N ∑ n=1 ln p(xn , zn |θ) + ln p(θ), ln qψ,ξ (Z, θ|X) = ln qξ (θ) + N ∑ n=1 ln qψ (zn |xn , θ), ℒ(ψ, ξ) = ∫ ∫ qψ,ξ (Z, θ|X)ln p(X, Z, θ) qψ,ξ (Z, θ|X) dZdθ = qψ,ξ (Z,θ|X) [ln p(X, Z, θ) − ln qψ,ξ (Z, θ|X)] = qξ (θ)qψ (Z|X,θ) [ln p(X, Z|θ) + ln p(θ) −ln qξ (θ) − ln qψ (Z|X, θ)] = qξ (θ)qψ (Z|X,θ) [ln p(θ) − ln qξ (θ)] +qξ (θ)qψ (Z|X,θ) [ln p(X, Z|θ) − ln qψ (Z|X, θ)] = qξ (θ) [ln p(θ) − ln qξ (θ)] + N ∑ n=1 qξ (θ)qψ (zn |xn ,θ) [ln p(xn , zn |θ) − ln qψ (zn |xn , θ)] ͨͩ͠ɼ ℒ(ψ, ξ) = qξ (θ) [ln p(θ) − ln qξ (θ)] + N ∑ n=1 qξ (θ)qψ (zn |xn ,θ) [ln p(xn , zn |θ) − ln qψ (zn |xn , θ) −ln p (xn ) + ln p (xn )] = qξ (θ) [ln p(θ) − ln qξ (θ)] + N ∑ n=1 qξ (θ)qψ (zn |xn ,θ) [ ln p(xn , zn |θ) qψ (zn |xn , θ)p (xn )] + c = qξ (θ) [ln p(θ) − ln qξ (θ)] + N ∑ n=1 qξ (θ)qψ (zn |xn ,θ) [ ln p(xn , zn |θ) qψ, (xn , zn |θ)] + c c = N ∑ n=1 qξ (θ)qψ (zn |xn ,θ) [ln p (xn )] = N ∑ n=1 ln p (xn )