분류 전체보기
-
Buy It AgainML DL DS/papers 2022. 4. 3. 15:04
Buy It Again! Rahul Bhagat et al. Buy It Agian Modeling Repeat Purchase Recommendations, KDD 2018 https://dl.acm.org/doi/pdf/10.1145/3219819.3219891 2. Modeling Approach2.2 Problem FormulationCj 고객이 Ai 상품을 K번 t1, t2, ... tk의 간격을 두고 구매했을 때, 구매확률밀도를 아래와 같이 예측하려고 한다.위 식에 대한 첫 번째 가정은 다른 상품에 대한 구매 사건은 서로 독립적이라는 가정을 한다.두 번째 가정은 위 식을 아래와 같이 두 요소로 분해할 수 있다는 것이다. Q(Ai)Q(A_{i})Q(Ai)는 고객이 k번 구매했을 때, (k+1..
-
Information TheoryMath/etc. 2022. 3. 16. 18:23
Information Theory '정보란 무엇인가'라는 물음은 철학적인 질문이라 결론을 내리기 어렵지만, 확률의 입장에서 이러한 어려움을 정면으로 맞서 성공을 거둔 이론이 바로 정보이론이다.정보량을 깜짝 놀라는 정도로 정도(깜짝도)로 측정 Self Information, Degree of Surprise, Quantities of Information 정보의 크기, 놀람의 정도, 자기 정보I(xi)=log(1P(X=xi))=−logP(X=xi)I(x_{i}) = \log ({{1}\over{P(X=x_{i})}}) = -\log P(X=x_{i})I(xi)=log(P(X=xi)1)=−logP(X=xi)정보량의 단위를 비트로 설정한 경우, log의 밑을 2로 설정할 수 있다. (자연 로그를 ..
-
SpacesMath/etc. 2022. 3. 16. 17:56
Spaces함수 공간(Function Space)함수의 집합. 각 공간의 한 점은 함수다. 참고ref. https://freshrimpsushi.github.io/posts/various-function-space/https://freshrimpsushi.github.io/posts/relationship-between-l2-space-and-l1-space/ Metric Space (거리기준 공간)거리공간(X,ρ)(\mathcal{X}, \rho)(X,ρ)은 공간 X\mathcal{X}X와 distance metric(거리기준) ρ\rhoρ의 쌍 (X,ρ)(\mathcal{X}, \rho)(X,ρ) 이다. distance metric의 조건cf. https://freshrimpsushi.gith..
-
SVDMath/etc. 2022. 3. 16. 17:56
SVD SVD는 차원축소 뿐만 아니라, Matrix completion, Matrix Factorization(행렬 분해) 등에 사용한다.Rank랭크란 intrinsic dimensionality이다rank가 1이라는 것은 열벡터(행벡터)끼리 어떤 하나의 벡터의 곱으로 나타낼 수 있어 자유도는 0이라는 것이다. rank 가 mxn 행렬에서 min(m,n)이면 full rank 라고 한다. SVD모든 mxn 행렬 A에 대하여 A행렬의 rank가 r인 경우 다음과 같이 분해가능하다cf. SVD 구하기VTV^TVT: ATAA^{T}AATA의 고유벡터로 구성됨 (v1, v2)UUU: AAA^TA의 고유값의 제곱근인 σ\sigmaσ, A, v(위에서 구한) 것, 그리고 ATA^{T}A의 left nul..
-
Lagrangian Multiplier & Equality ConstraintMath/etc. 2022. 3. 16. 17:56
Lagrangian Multiplier & Equality Constraint 제약조건이 없는 최적화의 경우, Gradient Descent / Newton’s Method / Quasi-Newton 등으로 풀 수 있다. 그리고 GD 경우, f(x)를 최소화 할 때, f’(x)가 0인 지점인 것은 극소이기 위한 필요조건이기 때문에 미분이 0인 지점을 찾았다.min f(x)에서, s.t h(x)=0 이라는 equality 제약조건이 붙는 경우 필요조건은 어떻게 바뀌는가.이럴 경우 필요조건은 라그랑지안 함수와 라그랑지안 승수를 도입해, 필요조건이 아래와 같이 바뀐다.minf(x)s.t h(x)=0\min f(\boldsymbol{x}) \\ s.t \ \ \ h(\boldsymbol{x})=0 minf(x..
-
KKT & Inequality ConstraintMath/etc. 2022. 3. 16. 17:56
KKT & Inequality Constraint KKT condition은 Convex Optimization의 꽃. KKT 조건이란 제약조건이 없는 상황에서 f(x)의 local minimum의 필요조건이 f’(x)=0인 것 처럼, 제약조건이 있는 상황에서의 필요조건이다.KKT가 중요한 이유는 Convex 문제에서 KKT를 만족하는 x, mu, lambda를 찾기만 하면, x는 optimal solution이 된다. (충분조건이 된다.)Optimization with Equality Condition에서의 필요조건minf(x)s.t h(x)=0\min f(\boldsymbol{x}) \\ s.t \ \ \ h(\boldsymbol{x})=0 minf(x)s.t h(x)=0→ L(x,λ)=f(x)+..
-
7. Continuous OptimizationMath/MML 2022. 3. 16. 15:55
7. Continuous Optimization[출처] https://neos-guide.org/content/optimization-taxonomyContinuous Optimization은 이번 장에서 2개로 제약조건이 없는 경우와 있는 경우로 나누어 생각한다. 우리의 목적함수는 미분가능하다고 가정하기 때문에, 최적값을 찾는데 도움을 주는 gradient에 접근할 수 있다. convention으로 ML에서의 목적함수는 최소화하는 것이다. 제약이 없는 최적화에서는 여기까지가 필요한 개념은 여기까지이지만, 제약조건이 있는 경우에는 다른 개념을 도입한다. 또한 제약잇는 최적화의 특별한 경우인 컨벡스 최적화를 배운다. 컨벡스 함수에 대해서는 모든 극소값(local minima)들은 전역 최솟값(global ..
-
7장 최대 우도 추정법ML DL DS/사회과학자를위한데이터과학 2022. 3. 16. 12:08
7장 최대 우도 추정법로날드 피셔님이 최대우도추정법을 완성함. MLE - 수리통계학 (참고)Likelihood Function 이란세타로 부터 추출된, 독립인 표본들의 결합분포로 보는 것이다.x가 주어질 때, 세타에 대한 함수로 본다.Regularity Condition - 사전 규칙R0: 세타가 다르면, pdf도 다르다R1: pdf들은 공통의 support를 가진다. pdf가 support란 0보다 큰 값을 갖게 되는 영역ex. 균등분포면 해당 구간, 정규분포면 −∞∼∞-\infty \sim \infty−∞∼∞R2: 세타의 참값 세타 제로는 오메가에 있는 interior point이다.세타 값의 open set을 잡아도 오메가에 들어간다. interior point: 경계가 아닌 점 [a, b]에서는..