1) Unconstrained optimization Steepest gradient descent를 보통 gradient descent라고 많이 부름 -> x에 조건이 달려있지 않을 때만 사용 가능 (1) Stochastic gradient: mini-batch가 batch를 잘 근사하도록 (2) mini-batch gradient: sub-set만 고려 (3) Batch gradient: 모든 데이터 전부 고려 * Momentum: 직전에 업데이트한 방향을 고려하자!!! -> 지그재그로 수렴하는 걸 좀 더 가속화 2) Constrained optimization x에 조건이 있을 때!! 어떻게 쉽게 풀까 Lagrange multipliers: x, 람다, v의 function L Lagrange du..
Study Record/Linear Algebra
1. Determinant Laplace expansion = 3*3 matrix의 determinant를 2*2 matrix의 determinant로 정의할 수 있다. det(A) != 0 -> A is invertible (역행렬 존재x) det(AB) = det(A)det(B) det(A) = det(AT) det(A^-1) = 1/det(A) 2. Trace matrix의 diagonal 다 더한 형태 tr(A + B) = tr(A) + tr(B) det(A) = eigenvalue들의 곱셉 tr(A) = eigenvalue들의 덧셈 3. Cholesky Decomposition A = L LT for a symmetric, positive definite (all eigenvalues > 0) ..
