3. Analytic Geometric

3. Analytic Geometric

Norm

---

• 정의

  

  노름은 벡터 x의 길이 ||x||를 할당한다. 행렬에서의 노름은 행렬의 힘 에너지 크기를 측정한다고 볼 수 있다.

• norm의 조건:

  $\lambda \in \mathbb{R}, \ \ \ \ \boldsymbol{x, y} \in V$

  

• 노름 종류
  • 벡터노름
    • 맨하탄 노름 (l1 norm)

      

    • 유클리디언 노름 (l2 norm)

      

    • l-infinity norm (supremum norm, maximum norm)

      

  • 행렬 노름 (참고)
    • Frobenius Norm(Hilbert Schmidt norm)

      

      A행렬의 SVD의 대각행렬의 제곱합이 프로비니우스 노름이며, dot product에서 유도된 것이다.

      벡터에서의 l2 norm처럼 프로비니우스 노름을 사용한다. 4번째 항은 SVD를 사용해 표현한 것이고, 5번째 항은 norm(a,b) = norm(b,a)인 노름의 성질을 이용한 것이다.

    • Operator Norm or Spectral Norm

      

      행렬 A의 singular value 중 가장 큰 값이 A의 operator norm이다. 또한 동일하게 $A^{T} A$나 $AA^T$의 가장 큰 고유값의 제곱근은 operator norm은 같다. PCA의 기본적인 아이디어가 operator norm을 사용한 것이다.

    • Nuclear Norm or Trace Norm

      

      A행렬의 singular value들의 합은 Nuclear Norm이다.

Inner Products

---

Inner products는 벡터의 길이와 각도나, 두 벡터의 거리와 같은 직관적이고 기하학적인 개념을 알 수 있게 해준다. inner products의 목적은 두 벡터가 서로 직교하는지 알기위함이다.

• Dot product

  Inner product의 한 종류로 가장 익숙한 내적

  

• Inner product의 조건 (참고)

  두 벡터를 실수로 반환하는 함수이며 아래를 만족해야 함

  

• Bilinear mapping

  bilinear mapping $\Omega$는 2개의 인자(arguement)를 받아, 각 인자에 선형인 사상을 말한다.

  

• symmetric and positive definite

  두 벡터를 인자로 받고, 실수를 반환하는 bilinear 사상 $\Omega: V \times V \to \mathbb{R}$에 대해

  • symmetric

    모든 x,y에 대하여, $\Omega(x,y) = \Omega(y,x)$이면 symmetric 하다고 한다.

  • positive definite

    

• General Inner product

  positive definite, symmetric bilinear mapping $\Omega : V \times V \to \mathbb{R}$을 V에서의 inner product라고 한다. 특별히 $\Omega(\boldsymbol{x, y})$ 대신에, $\left\langle \boldsymbol{x, y} \right\rangle$로 표현한다.

• Inner Product space

  $(V, \langle \cdot,\cdot \rangle)$을 inner product space이며, dot product를 사용하면, Euclidean vector space라고 한다.

  • 다른 inner product space (참고)

    

    첫 번째 예시는 가장 익숙한 유클리디안 내적공간이다. x, y는 열벡터이다.

    두 번째 예시는 PSD(positive semidefinite) A에 관련해 x^TAy 내적연산을 한 실수값에 대한 공간이다.

    세 번째와 네 번째 예시는 l2과 L2 함수공간에서의 내적공간이다. L2에서 f, g는 어떤 pdf로 설정할 수 있다.

    마지막은 두 행렬의 각 원소곱을 합친 것이고, 이것이 두 행렬의 내적공간에 대한 정의이다.

  • 공간 비교

    

    ref. https://en.wikipedia.org/wiki/Normed_vector_space

Symmetric, Positive Definite Matrices

---

Symmetric, Positive Definite Matrices(대칭 양의 정부호행렬)는 inner product로 정의되며 머신러닝에서 중요한 역할을 한다. 4.3 Cholesky Decomposition에서 행렬을 양의 정부호행렬로 분해하며, 12.4 커널의 정의의 핵심이다.

벡터 공간의 기저를 B=(b1,...bn)이라고 하면, V의 어떤 두 벡터 x, y에 대하여 다음과 같이 표현 할 수 있다.

• Symmetric, Positive Definite Matrices 정의

  

  행렬 A가 0벡터를 제외한, V의 벡터에서 inner product가 0보다 크면 Symmetric, Positive Definite Matrix 또는 Positive Definite Matrix라고한다. 0 이상이면 Positive Semi-Definite Matrix라고 한다.

  이 때, 행렬 A의 커널(영공간)은 0벡터만 있다.

• 성질
  • Symmetric, Positive Definite Matrices의 영공간(kernel, null space)는 0벡터 뿐이다.
  • Symmetric, Positive Definite Matrices의 대각 성분은 양수이다.

• 조건
  • A matrix is positive definite if it’s symmetric and all its eigenvalues are positive.
  • A matrix is positive definite if it’s symmetric and all its pivots are positive.
  • A matrix A is positive definite if and only if it can be written as $A = R^{T}R$ for some possibly rectangular matrix R with independent columns.

  ref. https://www.math.utah.edu/~zwick/Classes/Fall2012_2270/Lectures/Lecture33_with_Examples.pdf

Lengths and Distances

---

inner product는 norm을 도출(induce)하기 때문에 관련이 깊다. 하지만, 모든 노름이 inner product로 유도되는 것은 아니다. inner product로 도출된 노름에 대해 알아보자.

• 코시 슈바르츠 부등식

  내적 벡터공간(inner product vector space) $(V, \langle \cdot,\cdot \rangle)$에서 도출된 norm $||\cdot||$은 코시슈바르츠 부증식을 만족한다.

  

  • example - dot product vs symmetric, positive definite matrix inner product

    $x= [1,1]^T$를 놓고 dot product로 norm을 구하면, $\sqrt{2}$ 이다.

    아래와 같은 positive definite matrix로 정의한 inner product에서 norm을 도출해 생각해 보면

    

    x1와 x2가 같은 부호인 경우에는 dot product보다 작은 값을 갖고, 다른 부호인 경우, 더 큰 값을 갖는다. 여기 x의 norm은 1이다.

• Distance

  내적 벡터공간(inner product vector space) $(V, \langle \cdot,\cdot \rangle)$에서

  

  는 $\boldsymbol{x, y} \in V$의 거리라고 한다. dot product를 inner product일 때의 거리는 Euclidean distance이다.

• Metric

  

  이러한 두 벡터에 대해, 거리를 도출하는 사상을 metric이라고 한다.

  거리와 같이, 벡터간의 거리에서 Inner product로 정의하지 않아도 되며, norm이면 충분하다. Metric은 inner product와 유사하지만, 서로 다른 방향을 표현한다.

  • Metric의 조건

    

  • Metric space 예시 (참고)

    

Angles and Orthogonality

---

두 벡터의 거리나 벡터의 길이 뿐만 아니라 inner product는 벡터간의 각도를 정의하여, 벡터공간의 geometry를 제공한다. 코시슈바르츠 부등식을 이용해 두 벡터사이의 각도 $\omega$를 정의할 수 있다.

• 각도

  

• Orthogonality & Orthonormal

  두 벡터, x y에 대해 <x,y> = 0 은 orthogonal하기 위한 필요 충분 조건이다. ||x||=1, ||y||=1인 경우 orthonormal하다 한다.

  

  이는 0벡터가 벡터공간의 모든 벡터와 orthogonal 함을 암시한다.

  Orthogonality에서도, dot product로 정의될 필요가 없다.

  • 예시 3.7

    

    위의 두 벡터는 dot product로 정의한 inner product에 대해서는 90도이다.

    

    하지만 위와 같은 행렬로 inner product를 정의하면 다른 각도가 나온다.

    

• Orthogonal Matrix

  열벡터가 서로 orthonormal한 행렬

  

  Orthogonal Matrix로의 변환은 flip이나 회전행렬로 각도와 거리를 보존한다.

  

Orthonormal Basis

---

• 정의

  

  모든 i, j = 1, ..., n에 대해 성립하면, ONB라고 한다. 그람슈미트 방법으로, orthonormal한 basis 를 구할 수 있다.

Orthogonal Complement

---

벡터 공간끼리 서로 orthogonal한 경우를 살펴보자.

D차원의 벡터공간 V, M차원 V의 부분공간 U, $U \subseteq V$를 고려하자. U의 직교교여공간(Orthogonal Complement) $U^{\perp}$는 D-M 차원이며, U의 수직인 벡터들로 구성된다. $U \cap U^{\perp} = \left\{\boldsymbol{0}\right\}$이며, 벡터 V의 원소를 아래와 같이 분해할 수 있다.

또한, 어떤 부분공간이나 어파인공간을 직교여공간의 벡터로 표현할 수 있다.

• 행렬 A의 부분공간 (참고)

  m x n 행렬 A에 대하여

  A의 행공간과 영공간은 서로 수직이고, $C(A) \perp N(A^{T})$

  A의 열공간과 좌영공간은 서로 수직이다. $C(A^{T}) \perp N(A)$

  $Dim(C(A)) + Dim(N(A^{T})) = r + (n-r) = n$

  $Dim(C(A)^{T}) + Dim(N(A)) = r + (m-r) = n$

  

Inner product of Functions

---

지금까지 유한한 entry의 수에 대해 논의했다. 벡터 $\boldsymbol{x} \in \mathbb{R}^{n}$를, n개의 function value를 받는(?) 함수로 생각할 수 있다. Inner product의 개념은 무한한(countably infinite) 수의 entry와 연속값 함수(uncountably infinite)를 갖는 벡터로 일반화 될 수 있다. 그러면 벡터의 개별 성분은 적분으로 변한다.

a, b의 범위는 각각 무한대보다 작다. 벡터에 대한 inner product와 같게, u와 v 함수의 내적값이 0이면 두 함수는 서로 수직이다. inner product를 보다 수학적으로 정밀하게 만들기 위해서는, 힐베르트 공간의 정의로 이어지는 정적분의 정의와 방법을 이해해야 한다. 또한, 함수의 내적은 수렴하지 않을 수 있다. 이는 함수실해석학에 관한 지식이 더 필요하다.

위와 같이, $-\pi$에서 $\pi$의 적분값은 0이기 때문에 sin과 cos 함수는 서로 수직인 함수이다.

또한 {1, cos(x), cos(2x), cos(3x) ... }에서 어떤 두 함수를 선택해 $-\pi$에서 $\pi$에서 적분하면, 서로 수직인 함수임을 알 수 있다. 위와 같은 함수의 집함은 $[-\pi, \pi)$에서 주기적이거나 균등하며, 함수의 큰 부분공간을 span한다. 이러한 부분공간에 projection 하는 것이 Fourier series의 기본 아이디어이다. 6.4.6에서는 확률변수에 대한 inner product를 배운다.

Orthogonal Projection

---

사영은 선형변환의 중요한 부분이며 그래픽, 코딩이론, 통계학, 머신러닝에서 중요한 역할을 한다. 차원축소, 분류, 선형회귀에서도 사용한다.

• Projection (사영)

  

  사영 선형변환행렬은 제곱해도 같다.

  

• 직선으로의 사영

  b는 사영공간의 기저이고, $\lambda$는 $\pi_{U}(x)$를 기저 b로 표현한 것이며, $\pi_{U}(x)$는 사영된 좌표이다.

  

  

  

  • 예시

    

• 일반 부분공간으로의 사영

  부분공간 U의 차원이 1이상이고 벡터공간의 차원 n보다 작은 m일 경우, 위와 같이 dot product를 inner product라고 가정하면, 람다는 아래와 같이 구할 수 있다.

  

  이를 람다에 관한 식으로 나타내면, 아래와 같으며 이를 normal equation이라고 한다.

  

  $(B^{T}B)^{-1}$을 B의 pseudo inverse(의사역행렬)이라고 한다. B가 의사역행렬을 가지려면, B가 full rank여서 $B^{T}B$가 positive definite해야한다. 수치적 안정성과, positive definiteness를 보장하기 위해 “jitter term” $\in I$ (패널티항?)을 $B^{T}B$에 추가한다. 이러한 ridge를 베이지안 추론을 통해 엄격하게 증명할 수 있다.

  $\pi_{U}(x) = B\lambda$ 를 위에서 보였기 때문에 이를 이용해, projection된 지점과 projection Matrix를 구하면 아래와 같다.

  

  • 예시

    

  사영된 지점인 $\pi_{U}(x)$는 $\mathbb{R}^n$의 벡터이지만 U의 부분공간으로 m개의 부분공간의 기저 람다로 표현할 수 있다는 것을 기억하자. 또한, dot product가 아닌, 일반적인 inner product로 사용할 때는 각도와 거리를 계산할 때 주의를 해야한다.

  이는 overdetermined system의 최소제곱법 등에 사용한다.

  Affine 부분공간으로의 사영은 L=x_0+U임을 활용하면 된다.

• Gram-Schmidt process

  

  사영은 직교나 정규직교 기저를 찾는 방법인 그람슈미트직교화의 핵심이다. n차원의 공간에서, n의 정규직교 기저는 항상 존재한다. (Liesen et al., 2015)

  • 기존 기저 (b1, .... bn)에서 직교 기저(u1, ..., un)을 구하는 방법.

    

    

• Affine 부분공간으로 사영

  어떤 벡터 공간 U에 대해, affine 공간 L은 다음과 같다면, $L=x_0 + U$으로 고려하자. 이 때, 벡터 x에 대한 affine 공간으로 사영은 아래와 같다.

  

  

• Projections and Least Squares (참고)

  

  • Least Square solution of overdetermined homogeneous equation

    

Rotation

---

회전은 automorphism(전단사, 같은 차원의 공간, 선형)이다. 회전은 거리와 각도를 보존하고, 3이상의 차원에서는 commutative하지 않다. 즉 회전하는 순서가 중요해진다.

2차원을 생각해보면 아래와 같다.

2차원에서와는 다르게 3차원에서는 하나의 축에 대해서, 2개의 차원을 회전할 수 있다. 고정 축의 끝에서 원점을 바라볼 때, 반시계 방향으로 회전하는 것이 컨벤션이다. 표준기저 e3에 대한 회전은 아래와 같다.

• 각기저에 대한 회전 행렬은 다음과 같다. 이를 일반화해 n차원에서 i와 j번째 기저의 부분공간을 회전할 때, 회전행렬은 아래와 같다.