duality.png

  1. 위 조건을 새로운 변수를 도입하고 라그랑지안으로 변환하면 다음과 같다

$$ L(x, y_i, \lambda_i)=\sum_{i=1}^{N}||y_i||{2}^{2}+\frac{1}{2}||x-x_0||{2}^{2}+\sum_{i=1}^{N}\lambda_i^\top(A_ix+b_i-y_i) $$

  1. x와 y_i에 대하여 각각 편미분을 해보자

x에 대한 편미분

$$ \nabla xL=\sum{i=1}^{N}A_i^\top\lambda_i +x-x_0=0 $$

x에 대한 최적화 조건은

$$ x = x_0-\sum_{i=1}^{N}A_i^\top\lambda_i $$

y_i에 대한 편미분

$$ \nabla_{y_i}L=2y_i-\lambda_i=0 $$

y_i에 대한 최적화 조건은

$$ y_i=\frac{1}{2}\lambda_i $$

재대입

이후 x와, y_i를 라그랑지안에 대입해서 듀얼 함수를 구한다.

$$ g({\lambda_i}) = \inf_{x,y_i}L(x,y,\lambda_i)=L(x^, y^, \lambda_i) $$

$$ \sum_{i=1}^{N}\left\|y_i\right\|{2}^{2}=\sum{i=1}^{N}\left\| \frac{1}{2}\lambda_i \right\|{2}^{2}=\sum{i=1}^{N}\frac{1}{4} \lambda_i^2 $$

$$ \frac{1}{2}\sum_{i=1}^{N}\left\|x-x_0\right\|{2}^{2}=\frac{1}{2}\left\| \sum{i=1}^{N}A_i^\top\lambda_i \right\|_{2}^{2} $$