Math
-
통계적 가설 검정 (Statistical hypothesis testing)Math/etc. 2022. 9. 30. 22:27
통계적 가설 검정 (Statistical hypothesis testing) Section 1. General Information데이터의 종류 요약 통계량데이터가 정규분포를 따르는 경우: 평균과 표준편차로 요약이 적절정규분포를 따르지 않는 경우(skewed): 중앙값과 IQR 요약이 적절순위척도(ordinal): 중앙값과 IQR 요약이 적절명목적도: 최빈값→ 이를 통해, 이상치를 확인할 수 있다.시각화적절한 통계적 검정 방안 고르기연구주제가 어떤 것인지, 변수들의 종류가 어떻게 되는지 알아야 한다. 그리고 종속 변수의 데이터가 연속형(정규성, 정규성X), 범주형(순위척도/명목척도)인지에 알아야한다.이외에 설명변수는 얼마나 많고 어떤 데이터 종류인지. 관계나 평균의 차이가 관심사인지. 동일한 실험자에게 ..
-
2 표본 가설 검정(Two-sample hypothesis testing)Math/etc. 2022. 9. 30. 22:27
2 표본 가설 검정(Two-sample hypothesis testing) 2개의 그룹 표본의 평균의 차이가 유의미한지 검정하는 방안먼저 다른 변수들이 있는 경우 개입이 있는지, 독립성(상관성) 검정을 한다.정규성과 등분산성이 만족하는지 알아봐야 한다.정규성: 종속변수는 각 그룹에서 정규 분포를 따른다.확인 방법: 히스토그램, Shapiro Wilk, Kolmogorov-Smirnov만족하지 않은 경우: Mann-Whitney U test (Wilcoxon rank sum), 부트스트랩 기반 검정 Mann-Whitney U test의 경우 평균이 아닌 분포에 대한 검정이므로, 부트스트랩 기반의 검정이 더 검정력이 좋은 듯 하다.정규성을 만족하지 않은 경우, 변수 변환을 생각할 수 있지만 변환된 변수의 평..
-
Information TheoryMath/etc. 2022. 3. 16. 18:23
Information Theory '정보란 무엇인가'라는 물음은 철학적인 질문이라 결론을 내리기 어렵지만, 확률의 입장에서 이러한 어려움을 정면으로 맞서 성공을 거둔 이론이 바로 정보이론이다.정보량을 깜짝 놀라는 정도로 정도(깜짝도)로 측정 Self Information, Degree of Surprise, Quantities of Information 정보의 크기, 놀람의 정도, 자기 정보I(xi)=log(1P(X=xi))=−logP(X=xi)I(x_{i}) = \log ({{1}\over{P(X=x_{i})}}) = -\log P(X=x_{i})I(xi)=log(P(X=xi)1)=−logP(X=xi)정보량의 단위를 비트로 설정한 경우, log의 밑을 2로 설정할 수 있다. (자연 로그를 ..
-
SpacesMath/etc. 2022. 3. 16. 17:56
Spaces함수 공간(Function Space)함수의 집합. 각 공간의 한 점은 함수다. 참고ref. https://freshrimpsushi.github.io/posts/various-function-space/https://freshrimpsushi.github.io/posts/relationship-between-l2-space-and-l1-space/ Metric Space (거리기준 공간)거리공간(X,ρ)(\mathcal{X}, \rho)(X,ρ)은 공간 X\mathcal{X}X와 distance metric(거리기준) ρ\rhoρ의 쌍 (X,ρ)(\mathcal{X}, \rho)(X,ρ) 이다. distance metric의 조건cf. https://freshrimpsushi.gith..
-
SVDMath/etc. 2022. 3. 16. 17:56
SVD SVD는 차원축소 뿐만 아니라, Matrix completion, Matrix Factorization(행렬 분해) 등에 사용한다.Rank랭크란 intrinsic dimensionality이다rank가 1이라는 것은 열벡터(행벡터)끼리 어떤 하나의 벡터의 곱으로 나타낼 수 있어 자유도는 0이라는 것이다. rank 가 mxn 행렬에서 min(m,n)이면 full rank 라고 한다. SVD모든 mxn 행렬 A에 대하여 A행렬의 rank가 r인 경우 다음과 같이 분해가능하다cf. SVD 구하기VTV^TVT: ATAA^{T}AATA의 고유벡터로 구성됨 (v1, v2)UUU: AAA^TA의 고유값의 제곱근인 σ\sigmaσ, A, v(위에서 구한) 것, 그리고 ATA^{T}A의 left nul..
-
Lagrangian Multiplier & Equality ConstraintMath/etc. 2022. 3. 16. 17:56
Lagrangian Multiplier & Equality Constraint 제약조건이 없는 최적화의 경우, Gradient Descent / Newton’s Method / Quasi-Newton 등으로 풀 수 있다. 그리고 GD 경우, f(x)를 최소화 할 때, f’(x)가 0인 지점인 것은 극소이기 위한 필요조건이기 때문에 미분이 0인 지점을 찾았다.min f(x)에서, s.t h(x)=0 이라는 equality 제약조건이 붙는 경우 필요조건은 어떻게 바뀌는가.이럴 경우 필요조건은 라그랑지안 함수와 라그랑지안 승수를 도입해, 필요조건이 아래와 같이 바뀐다.minf(x)s.t h(x)=0\min f(\boldsymbol{x}) \\ s.t \ \ \ h(\boldsymbol{x})=0 minf(x..
-
KKT & Inequality ConstraintMath/etc. 2022. 3. 16. 17:56
KKT & Inequality Constraint KKT condition은 Convex Optimization의 꽃. KKT 조건이란 제약조건이 없는 상황에서 f(x)의 local minimum의 필요조건이 f’(x)=0인 것 처럼, 제약조건이 있는 상황에서의 필요조건이다.KKT가 중요한 이유는 Convex 문제에서 KKT를 만족하는 x, mu, lambda를 찾기만 하면, x는 optimal solution이 된다. (충분조건이 된다.)Optimization with Equality Condition에서의 필요조건minf(x)s.t h(x)=0\min f(\boldsymbol{x}) \\ s.t \ \ \ h(\boldsymbol{x})=0 minf(x)s.t h(x)=0→ L(x,λ)=f(x)+..
-
7. Continuous OptimizationMath/MML 2022. 3. 16. 15:55
7. Continuous Optimization[출처] https://neos-guide.org/content/optimization-taxonomyContinuous Optimization은 이번 장에서 2개로 제약조건이 없는 경우와 있는 경우로 나누어 생각한다. 우리의 목적함수는 미분가능하다고 가정하기 때문에, 최적값을 찾는데 도움을 주는 gradient에 접근할 수 있다. convention으로 ML에서의 목적함수는 최소화하는 것이다. 제약이 없는 최적화에서는 여기까지가 필요한 개념은 여기까지이지만, 제약조건이 있는 경우에는 다른 개념을 도입한다. 또한 제약잇는 최적화의 특별한 경우인 컨벡스 최적화를 배운다. 컨벡스 함수에 대해서는 모든 극소값(local minima)들은 전역 최솟값(global ..