SOA/SRM(Statistics for Risk Modeling)9 SRM 정리 - Chapter 9. Linear Regression: Predictions 모델의 목적 중 하나는 predictor가 주어졌을 때 response를 예측하는 것이다. Least square estimators를 사용하여 점 예측을 하면 $ \hat{y}_*=\beta_0+\beta_1x_* $이다. 이때 예측 오차를 두 부분으로 분해할 수 있다. 첫 번째는 모델의 매개변수는 실제 매개변수의 추정치이기 때문에 생기는 회귀선 추정 오류이고, 두번째는 실제 매개변수를 알더라도 모델 자체는 줄일 수 없는 오차를 포함하고 있기 때문에 생기는 오차가 있다.\[ \underbrace{y_* - \hat{y}_*}_{\text{prediction error}} = \underbrace{\beta_0 - b_0 + (\beta_1 - b_1) x_*}_{\text{error in estimat.. 2024. 8. 3. SRM 정리 - Chapter 8. Linear Regression: Shrinkage and Dimension Reduction chapter 8.1 Shrinkage methods Chapter 7에서는 predictor의 부분 집합을 이용하여 모델을 적합하는 것을 배웠다. 이 챕터에서는 모든 $p$ 예측 변수를 사용하지만, 계수 추정치를 0으로 수축하거나 정규화를 통해 모델 적합을 향상시키는 방법에 대해 설명할 것이다.Shrinkage methods는 sum of squares difference에 패널티 함수를 추가한 방법이다. 패널티 함수는 계수와 관련된 함수로, 계수가 클수록 패널티가 크게 된다. 이 축소 패널티는 변수의 계수에만 적용이 되고 intercept에는 적용이 되지 않는다. 따라서 전체 함수를 최소화하기 위해 계수를 줄이며, 덜 중요한 변수의 계수는 0에 가까워진다. 또한 계수가 패널티이기 때문에 predict.. 2024. 8. 2. SRM 정리 - Chapter 7. Linear Regression: Subset Selection Predictor가 많으면 training data에서의 standard error가 낮아지지만 overfitting을 초래하고 이는 prediction에 악영향을 끼칠 수 있다. 또한 여러 회귀 모델에서 많은 변수가 실제로 반응 변수와 관련이 없을 때가 종종 있다. 이를 포함하는 것은 모델의 불필요한 복잡성을 초래하므로 이러한 변수 계수를 제한하거나 축소함으로써 bias의 미미한 증가를 대가로 변동성을 크게 줄일 수 있다. 따라서 중요한 predictor를 선택하는 것이 필수적이다. 이번 장에서는 variable selection하는 방법에 대해 살펴볼 것이다. Chapter 7.1 Subset selection Predictor가 $k$개라면 이 predictor들을 이용해 만들 수 있는 조합은 $2.. 2024. 8. 1. SRM 정리 - Chapter 6. Resampling Methods Chapter 6.1 Validation set approach 모델 검증은 모델이 적절한지 확인하는 것으로, 모델 fitting할 때 사용한 데이터를 이용해서 검증하면 과적합 또는 변동성을 과소평가할 수 있다. 따라서 데이터 집합의 일부는 모델 fitting하는데 사용하고, 일부는 모델 검증에 사용하는 것이 좋다. 모델 fitting에 사용하는 data는 training set, 모델 검증에 사용하는 데이터는 validation set, hold-out set이라고 한다. 이렇게 모델을 fitting하는 데이터와 검증하는 데이터가 따로 있으면 좋지만, 2개의 데이터 세트를 사용할 수 있는 경우가 드물기 때문에 데이터 세트를 두 개의 하위 샘플로 분할하여 검증할 수 있다. 전체 $n$개의 데이터 중에 $.. 2024. 7. 31. SRM 정리 - Chapter 5. Linear Regression: Validation Chapter 5.1 validating model assumptions Chapter 2.2에서 $\hat{\beta} = (X^T X)^{-1} X^T y$인 것을 살펴보았었다. 이를 이용해 y를 예측하면 다음과 같다. $$\hat{y} = X \hat{\beta} = X (X^T X)^{-1} X^T y=Hy$$이때 $H = X (X^T X)^{-1} X^T$를 hat matrix라고 하며, $n$번 곱해도 $H$ 자기 자신이 되고, transfrom해도 $H$ 그대로 나오는 성질이 있다. 잔차는 $\hat{\varepsilon}=y-\hat{y}=(I-H)y$를 이용해서 구할 수 있다. 따라서 $h_{ii}$이 $H$행렬의 $i$번째 대각원소일때, $ \hat{\varepsilon} $의 분산은 .. 2024. 7. 24. 이전 1 2 다음
