Pareto 최적점

• 일반적인 optimal한 해는 최소값(mimumum)이고, 파레토 최적값은 특정 조건을 만족하는 것 중에서 최솟값

Scalarization

• 다중 목적함수를 하나의 스칼라 목적함수로 조합하는 것
• Pareto 최적점을 찾는 표준 방법
• $\lambda > 0$인 조건에 맞는 람다값을 구하여 스칼라 문제를 푸는 것

$$ \text{minimize} \; \lambda^\top f_0(x) = \lambda_1F_1(x)+...+\lambda_qF_q(x) \\ \text{subject to} \; f_i(x) \le 0, \;\; i=1,...,m, \;\; h_i(x)=0, \;\; i=1,...,p $$

• $\lambda_i$는 목적함수의 상대적 가중치
• 스칼라 문제에서 x가 최적이라면, 다기준(Multicriterion) 문제에서 파레토-최적해를 구할 수 있음.
• 컨벡스 문제에서는 $\lambda >0$인 lambda를 변화시키면, 거의 모든 파레토 최적점을 찾을 수 있음
• dual cone에서 양수인 벡터를 취하고, $\lambda^\top f_0(x)$를 최소화하면, pareto 최적해를 보장함.
• $f_0(x)$가 k-convex이면 벡터 함수라는 말은, 벡터 함수인데 k에 대한 볼록하다는 말임.
  • 이는 K라는 cone(콘)에 대해서 볼록하는 의미고
  • lambda를 k의 쌍대 콘(dual cone) 안의 양수 백터로 잡으면 그걸 곱해서 얻은 위의 스칼라 함수 $\lambda^\top f_0(x)$는 convex 함수가 되어, convex 최적화 문제가 됨.
  • O라는 공간에서, 스칼라 함수의 level curves는 목적 공간에서 초평면(hyperplane)이 됨.
  • 위의 hyperplane(초평면)은 곡선에 접하고, 대략적인 기울기로 $-\frac{1}{\lambda}$의 기울기를 갖고, 이건 두 objective 간의 trade-off, 즉 교환 비율을 뜻함.
  • 머신러닝에서 정규화를 생각해볼 수 있는데 정규화 식은 Loss + λ * regularizer임.
  • 이 lambda를 양수로 두고 가격이라고 생각해볼 수 있음.

예시 : 최소제곱법 정규화