Math/MML
-
7. Continuous OptimizationMath/MML 2022. 3. 16. 15:55
7. Continuous Optimization[출처] https://neos-guide.org/content/optimization-taxonomyContinuous Optimization은 이번 장에서 2개로 제약조건이 없는 경우와 있는 경우로 나누어 생각한다. 우리의 목적함수는 미분가능하다고 가정하기 때문에, 최적값을 찾는데 도움을 주는 gradient에 접근할 수 있다. convention으로 ML에서의 목적함수는 최소화하는 것이다. 제약이 없는 최적화에서는 여기까지가 필요한 개념은 여기까지이지만, 제약조건이 있는 경우에는 다른 개념을 도입한다. 또한 제약잇는 최적화의 특별한 경우인 컨벡스 최적화를 배운다. 컨벡스 함수에 대해서는 모든 극소값(local minima)들은 전역 최솟값(global ..
-
6. Probability and DistributionMath/MML 2022. 3. 9. 14:35
6. Probability and Distribution Construction of a Probability Space확률의 철학적 기초와 우리가 논리적으로 사람들이 무엇을 사실(true)이라고 생각하는지에 대한 연구는 Cox에 의해 연구되었다. Jaynes는 plausibility(신뢰성, 타당성)에 적용되어야 하는 3가지 수학적 기준을 확인했다.Plausiblility의 수학적 기준 (Cox-Jaynes Theorem)Plausiblility의 정도는 실수로 표현된다.상식의 규칙에 기반한 수여야 한다.추론의 결과는 아래와 같이 일관성(consistency)이 있어야하한다. 일관성은 아래 3가지를 의미한다.Consistency or non-contradiction(일관성, 비모순성): 다른 수단을 통..
-
5. Vector CalculusMath/MML 2022. 3. 9. 14:35
5. Vector Calculus Differentiation of Univariate FunctionDifference Quotient(평균 변화율)Derivative(미분)유도Taylor Series(테일러 급수, taylor expansion 전개)Taylor Polynomial(테일러 다항식)Taylor Seriesf∈C∞f \in C^{\infty}f∈C∞의 의미는 함수 f를 연속적으로 무한이 미분가능하다는 것이다. 일반적으로 n차 테일러 다항식은 함수의 근사(approximation)으로 함수가 다항식일 필요가 없다. 테일러 다항식은 x0 근처에서 함수 f와 유사하다. 하지만, n차 테일러 다항식은 k차 다항식 f(k≤n)에 대해서 동일한 함수이다.예시f(x)=sin(x)+cos(x)∈C..
-
4. Matrix DecompositionMath/MML 2022. 3. 9. 14:35
4. Matrix Decomposition내용how to summarize matriceshow matrices can be decomposedhow these decompositions can be used for matrix approximations Determinantnxn 행렬에만 있으며, 행렬의 가역성(invertible)을 판단할 수 있음. n개의 열벡터를 n차원으로 매핑했을 때의 부호가 있는 부피를 의미함. 고유값 고유벡터를 구하기 위한 특성방정식(characteristic polynomial)에 활용.라플라스 확장성질마지막 3개의 성질과 가우시안 소거법으로 보다 편하게 구할 수 있음 Trace정방행렬의 대각합성질 (4번째 부분, cyclic permutation) 특성방정식(charact..
-
3. Analytic GeometricMath/MML 2022. 3. 9. 14:35
3. Analytic Geometric Norm정의노름은 벡터 x의 길이 ||x||를 할당한다. 행렬에서의 노름은 행렬의 힘 에너지 크기를 측정한다고 볼 수 있다.norm의 조건: λ∈R, x,y∈V\lambda \in \mathbb{R}, \ \ \ \ \boldsymbol{x, y} \in Vλ∈R, x,y∈V노름 종류벡터노름맨하탄 노름 (l1 norm)유클리디언 노름 (l2 norm)l-infinity norm (supremum norm, maximum norm)행렬 노름 (참고)Frobenius Norm(Hilbert Schmidt norm)A행렬의 SVD의 대각행렬의 제곱합이 프로비니우스 노름이며, dot product에서 유도된 것이다.벡터에서의 l2 norm처럼 프로비니우스 노름을 사용한다..
-
2. Linear AlgebraMath/MML 2022. 3. 9. 14:35
2. Linear Algebra선형 대수는 벡터를 다루기 위한 규칙과 벡터에 관한 연구이다. 8장에서는 데이터를 벡터로 표현한다. 벡터기하학적 벡터다항식음성 신호Rn\mathbb{R}^{n}Rn에 있는 실수 튜플 Linearityf(x) function, operation satisfies Additivity and Homogeneity Geometry of Linear Equationrow from: Intersection of lines, planes, hyperplanesSingular Cases: no solution: parallel infinite solutions: line, plane of intersectioncolumn from: Combination of column vectorsS..