최적화는 왜 배우는가?

• 최적화 문제는 여러 개의 선택가능한 후보 중 최적의 해(Optimal Value) 혹은 최적의 해에 근접한 값을 찾는 문제
• 머신러닝에서는 비용함수를 최소화 혹은 최대화 시키는 모델의 파라미터를 구하게 되며, 이를 최적화 문제로 정의할 수 있음

수학적 최적화 문제

• 제약조건을 모두 만족하는 정의역에서 목적함수를 최소로 만드는 벡터 $x$를 $x^*$로 표시하고 이를 optimal solution이라고 함.
• 제약조건은 Explicit Constraints와 Implicit Constraints로 구분된다.
  • Explicit Constraints : 최적화 문제에 직접적으로 명시된 제약조건
    • cf. unconstrainted problem : Explicit Constraint가 없는 문제
  • Implicit Constraint : 최적화 문제에 직접적으로 명시되지 않은 제약조건
    • Objective Function(목적함수)와 모든 constraint function들 정의역에 대한 교집합합

Convex Sets(컨벡스 집합)

$$ x = \theta x_1 + (1-\theta)x_2 \;(\theta \in R) $$

• line: 실수 공간에서 x1, x2를 지나는 선
• 선형결합은 스칼라배를 곱한 특정벡터의 합으로 이루어짐.
• coefficient add up to 1 → Affine Combination
  • 위에 있는 것이 가장 간단한 affine combination
• 두 점이 아핀 집합에 있으면, 전체 선들은 아핀 집합 안에 있다.
  • Ax=b를 만족하는 만족하는 x의 집합도 아핀 집합이 될 수 있다.

Convex Set과 Convex Function과의 관계