Dogun Kim

9주차. Ensemble methods - Gradient Boosting Machine : GBM  서울시립대학교 인공지능학과 노영민 교수님의 데이터 마이닝 강의를 정리함을 미리 알립니다. https://dogunkim.tistory.com/24위 글에서 Adaboost에 대해 소개했다. 이걸 공부하고 넘어오자. Gradient Boosting Machine : GBM정리. Adaboost vs GBMWeak model의 단점을 해결하기 위해 Adaboost는 잘못 분류된 데이터 포인트에 대해 높은 가중치를 주며 해결하였다.하지만 GBM은 Weak model의 단점을 해결하기 위해 gradients를 이용하여 해결한다.  즉 Boosting하는 것은 같지만.. 어떤 방법으로 weak model의 단점을..

9주차. Ensemble methods - Boosting: AdaBoost 서울시립대학교 인공지능학과 노영민 교수님의 데이터 마이닝 강의를 정리함을 미리 알립니다.   Boosting: AdaBoost우리는 계속 복잡한 Strong model을 사용하여 문제를 해결했다. 하지만 Random Forest와 같은 Weak model들을 여러개 사용하여 문제를 해결하는 방법도 존재했다... 그러한 모델 중 우리는 AdaBoost를 공부할 것이다.cf) 여기서 Weak model은 랜덤 추측보다 조금 더 나은 정도의 성능을 보여주는 모델이다. AbaBoost는 각 라운드를 거치며 순차적(,sequentially)으로 학습이 진행되며 각 라운드마다 새로운 Weak model이 존재한다. 각 라운드의 마지막에서 ..

8주차(2). Support Vector Machine with Kernel Trick 서울시립대학교 인공지능학과 노영민 교수님의 데이터 마이닝 강의를 정리함을 미리 알립니다. Linearly Non-separable Problem에서 어느정도의 훈련 데이터 에러를 허용하여 Decision boundary인 초평면을 결정할 수 있었다(SVM with soft margin). 아래 예시처럼 train error가 너무 높을 수도 있다.이 때 모델을 복잡하게 해서 = Parameter 갯수를 늘려서 Nonlinear Decision boundary를 만들면 되긴 한다...하지만.. 우리는 Linear Decision boundary를 사용하면서 해당 문제를 해결할 수는 없을까?? 이렇게 해결하기 위해 사용하..

8주차. Support Vector Machine with soft margin 서울시립대학교 인공지능학과 노영민 교수님의 데이터 마이닝 강의를 정리함을 미리 알립니다.  Linearly Non-separable Problem만약 데이터가 초평면으로 완벽하게 구분되지 않는다고 해보자. 이를 (Linearly nonseparable)라고 한다.이런 데이터의 경우 hard margin을 갖는 SVM을 적용하면 제약식을 만족할 수 없다는 문제가 생긴다. 이렇게 Linearly nonseparable일 때 다음과 같은 전략을 취할 수 있다. 1) 예외를 허용한다.2) 넘어가는 정도를 Penelty로 정의한다.3) Margin을 최대화함과 동시에 Penelty를 최소화한다.이런 전략으로 train error를 허..

7주차. Support Vector Machine 서울시립대학교 인공지능학과 노영민 교수님의 데이터 마이닝 강의를 정리함을 미리 알립니다. Support Vector Machine(,SVM)이란..SVM은 고차원 데이터셋을 이진 분류에 강력한 일반화 성능을 보임이 입증된 모델로,  훈련 과정에서 이차계획법(quadratic programming problem)을 해결하는 형태로 학습이 진행된다. SVM은 목적 함수 목적함수(, Decision function )의 일반화 성능을 최대로 하도록 훈련하며, 통계적 학습 이론에 기초를 둔다. 이렇게 말하면.. 선형 계획법, 이차 계획법에 대한 선행 지식이 없을 때 사실 이해하기 어렵다....우선 우리가 뭘 하려는지를 알고, 관련 개념들을 알아가며 SVM에 대..

서울시립대학교 인공지능학과 김정연 교수님의 확률 및 랜덤 프로세스 강의를 정리함을 미리 알립니다.​Chapter 09. Random Process ((확률 과정))확률 과정의 정의 확률 과정의 특징 이산시간 과정들 포아송과 조합된 확률 과정 가우스 확률 과정과 브라운 운동 시불변 확률 과정  1. 확률 과정의 정의확률 과정(랜덤 과정)일단 정의를 외워 놓자. 확률 과정을 엔디비아의 주식으로 생각하면 된다. # 한 객체한 객체에서 시간(t 번째 시행)에 따라 결과를 확인한다고 생각하면 된다. 이 때, 분포와 확률 변수는 t에 따라 바뀔 수 있다.(엔디비아 주식의 분포가 시간마다 같으면 누구나 예측한 후 때 돈을 벌었을 것이다.. 또한 가격은 시간에 따라 바뀐다.) 해당 문제에선 i.i.d라고 주어졌다. 그..

서울시립대학교 인공지능학과 김정연 교수님의 확률 및 랜덤 프로세스 강의를 정리함을 미리 알립니다.​Chapter 08. Statistics1. Classical methods 1. Classical methods 통계적 추론 # 관측 자료를 바탕으로 모수 추정지금까지의 문제들은 모수(평균, 분산 등..)이 정해진 경우가 많았다.하지만 ch8부터는 관측 자료를 보고, 모수.. 즉 모집단의 진리값에 대한 추론을 할 것이다.  cf) 통계적 추론을 공부하기 전에 잠깐 다시 복습할 내용이 있다. (ch6, ch7의 Random sample의 정의와 표본 평균, CLT)우선 Random Sample의 조건은 i.i.d 확률 변수여야한다는 것이다.표본 평균과 CLT의 요약은 다음과 같다.표본 평균에 관해 SLLN,..

서울시립대학교 인공지능학과 김정연 교수님의 확률 및 랜덤 프로세스 강의를 정리함을 미리 알립니다. Chapter 07. 확률 변수의 합 1. 확률변수의 합 2. 수렴의 종류 3. 중심극한정리 1. 확률변수의 합확률 변수의 합말 그대로 확률 변수들의 합이다. 확률 변수의 수열을 놓고, 그들의 합을 확률 변수의 합이라고 한다.기댓값과 분산은 다음과 같다.   독립 확률 변수의 합확률 변수 합을 구성하는 확률 변수들이 i.i.d라면, 서로 독립이고 같은 분포에서 왔다. 즉 같은 MGF를 가지므로, 위와 같은 식이 성립된다.  ch6에서 i.i.d가 아니지만 독립인 확률 변수 합의 MGF를 다룬 적이 있다. 이를 다시 한 번 확인하면 다음과 같다.각 확률 변수가 독립이라 각 MGF의 곱으로 쪼개지긴 했지만, i..

서울시립대학교 인공지능학과 김정연 교수님의 확률 및 랜덤 프로세스 강의를 정리함을 미리 알립니다. Chapter 06. 벡터 확률 변수1. Random vector2. 확률변수들의 함수3. 기대값4. 적률생성함수 3. 기댓값 - 확률 벡터(Random Vector)에 대한 여러 개념들을 배운다. 기댓값 확률 벡터(Random Vector)에 대한 기댓값의 정의를 설명한다. 이는 다음과 같다.확률 벡터의 원소인 모든 확률 변수에 대해서 기댓값의 정의를 적용하면 된다. 간단하다.  평균 벡터확률 벡터의 모든 원소에 대해 기댓값을 구한 것이다. 이를 벡터로 표현한다.   공분산 행렬(Covariance matrix)확률 벡터에 대한 공분산이다. 벡터에 대해 연산을 해서 행렬이 나왔다.공분산 행렬을 이해하기 위..