분류 전체보기
-
6장 최소 제곱 추정법ML DL DS/사회과학자를위한데이터과학 2022. 3. 16. 12:08
6장 최소 제곱 추정법 Part 3. 통계적 추론통계적 추론: 확률변수와 분포에 대한 지식을 이용해 관측 자료로부터 통계적 모수를 학습하는 것.선형회귀분석 모형 추정을 위해 등장한 최소제곱법, 선형모형을 넘어 통합적 통계적 추론 방법을 구축한 피셔의 최대 우도 주청법, 베이지안 추정법을 설명https://github.com/JWarmenhoven/ISLR-pythonhttps://github.com/emredjan/ISL-python 최소 제곱 추정법이란RSS(Resiual Sum of Squares)의 시각화가우스 마르코프 정리 (Gauss Markov Therom)최소제곱 추정량(Least Squares Estimators)은 선형성, 오차분산의 일정성, 독립성이라는 가정하에서 최소분산을 가진 선형 ..
-
5장 회귀 분석ML DL DS/사회과학자를위한데이터과학 2022. 3. 16. 12:08
5장 회귀 분석 회귀분석이란회귀분석은 2개 이상의 확률변수들 사이의 관계를 추론하기 위해 등장상관성 분석과 달리 회귀분석에서는 변수들이 서로 상이한 지위를 가짐cf 공분산 Cov[X,Y]=E[(X−μ)(Y−ν)]Cov[X,Y] = E[(X-\mu)(Y-\nu)]Cov[X,Y]=E[(X−μ)(Y−ν)] 상관계수 ρXY≡Cov[X,Y]V[X]V[Y]\rho_{XY} \equiv {{Cov[X,Y]}\over{\sqrt{V[X]}\sqrt{V[Y]}}}ρXY≡V[X]V[Y]Cov[X,Y]종속변수가 불연속적인 경우, 종속 변수와 비선형관계를 가지는 경우로 확장되어 사용 가능기본 구조종속변수 = 체계적인 부분 + 비체계적 부분체계적 부분 = f(설명변수, 통제 변수)종속변수: 이론적 가설의 논리적 도착..
-
4장 독립성, 연관성 그리고 상관성ML DL DS/사회과학자를위한데이터과학 2022. 3. 16. 12:08
4장 독립성, 연관성 그리고 상관성Part 2. 자료에서 분석으로확률 지식을 이용해 자료를 분석하는 방법을 논의한다. 자료분석은 자료에서 드러나는 패턴을 찾아 읽고 해석하는 작업으로 부터 시작한다. 패턴해석의 기초개념은 연관성과 상관성이다. 상관성 분석을 확장해 회귀분석에 다다르며, 사회과학 분석 방법의 꽃인 회귀분석에 대해 집중적으로 살펴보며, 왜 20세기 사회과학방법론의 가장 중요한 방법론인지 설명한다.통계적 추론: 확률변수와 분포에 대한 지식을 이용해 관측자료로부터 미지의 정보를 얻는 것미지의 정보: 단순 기술통계를 제외하고 변수간의 관계를 뜻함변수간 관계에 대한 4가지 통계적 개념독립성(independence): X에 대한 정보는 Y에 대해 아무런 정보를 주지 못함.연관성, 종속성 (associa..
-
6. Probability and DistributionMath/MML 2022. 3. 9. 14:35
6. Probability and Distribution Construction of a Probability Space확률의 철학적 기초와 우리가 논리적으로 사람들이 무엇을 사실(true)이라고 생각하는지에 대한 연구는 Cox에 의해 연구되었다. Jaynes는 plausibility(신뢰성, 타당성)에 적용되어야 하는 3가지 수학적 기준을 확인했다.Plausiblility의 수학적 기준 (Cox-Jaynes Theorem)Plausiblility의 정도는 실수로 표현된다.상식의 규칙에 기반한 수여야 한다.추론의 결과는 아래와 같이 일관성(consistency)이 있어야하한다. 일관성은 아래 3가지를 의미한다.Consistency or non-contradiction(일관성, 비모순성): 다른 수단을 통..
-
5. Vector CalculusMath/MML 2022. 3. 9. 14:35
5. Vector Calculus Differentiation of Univariate FunctionDifference Quotient(평균 변화율)Derivative(미분)유도Taylor Series(테일러 급수, taylor expansion 전개)Taylor Polynomial(테일러 다항식)Taylor Seriesf∈C∞f \in C^{\infty}f∈C∞의 의미는 함수 f를 연속적으로 무한이 미분가능하다는 것이다. 일반적으로 n차 테일러 다항식은 함수의 근사(approximation)으로 함수가 다항식일 필요가 없다. 테일러 다항식은 x0 근처에서 함수 f와 유사하다. 하지만, n차 테일러 다항식은 k차 다항식 f(k≤n)에 대해서 동일한 함수이다.예시f(x)=sin(x)+cos(x)∈C..
-
4. Matrix DecompositionMath/MML 2022. 3. 9. 14:35
4. Matrix Decomposition내용how to summarize matriceshow matrices can be decomposedhow these decompositions can be used for matrix approximations Determinantnxn 행렬에만 있으며, 행렬의 가역성(invertible)을 판단할 수 있음. n개의 열벡터를 n차원으로 매핑했을 때의 부호가 있는 부피를 의미함. 고유값 고유벡터를 구하기 위한 특성방정식(characteristic polynomial)에 활용.라플라스 확장성질마지막 3개의 성질과 가우시안 소거법으로 보다 편하게 구할 수 있음 Trace정방행렬의 대각합성질 (4번째 부분, cyclic permutation) 특성방정식(charact..
-
3. Analytic GeometricMath/MML 2022. 3. 9. 14:35
3. Analytic Geometric Norm정의노름은 벡터 x의 길이 ||x||를 할당한다. 행렬에서의 노름은 행렬의 힘 에너지 크기를 측정한다고 볼 수 있다.norm의 조건: λ∈R, x,y∈V\lambda \in \mathbb{R}, \ \ \ \ \boldsymbol{x, y} \in Vλ∈R, x,y∈V노름 종류벡터노름맨하탄 노름 (l1 norm)유클리디언 노름 (l2 norm)l-infinity norm (supremum norm, maximum norm)행렬 노름 (참고)Frobenius Norm(Hilbert Schmidt norm)A행렬의 SVD의 대각행렬의 제곱합이 프로비니우스 노름이며, dot product에서 유도된 것이다.벡터에서의 l2 norm처럼 프로비니우스 노름을 사용한다..
-
2. Linear AlgebraMath/MML 2022. 3. 9. 14:35
2. Linear Algebra선형 대수는 벡터를 다루기 위한 규칙과 벡터에 관한 연구이다. 8장에서는 데이터를 벡터로 표현한다. 벡터기하학적 벡터다항식음성 신호Rn\mathbb{R}^{n}Rn에 있는 실수 튜플 Linearityf(x) function, operation satisfies Additivity and Homogeneity Geometry of Linear Equationrow from: Intersection of lines, planes, hyperplanesSingular Cases: no solution: parallel infinite solutions: line, plane of intersectioncolumn from: Combination of column vectorsS..