{{ member.name }}
22 | 23 |{{ member.name }}
26 | {% endif %} 27 | 28 | 29 |{{ page.date | date: "%b %-d, %Y" }}{% if page.author %} • {{ page.author }}{% endif %}
30 |{{ page.date | date: "%b %-d, %Y" }}{% if page.author %} • {{ page.author }}{% endif %}
9 |
11 |
12 |
13 | {:class="center-block" height="400px"}
14 |
15 | - 거리함수의 종류는 매우 다양하다. 맨허튼 거리(Manhattan distance) 역시 유클리드 공간에서의 거리함수이다
16 |
17 | ---
18 |
19 | `Definition 2`. 벡터공간 $$ \mathcal{X} $$ 에서 정의된 함수 $$ \Vert \cdot \Vert : \mathcal{X} \to [0,\infty) $$ 이 다음 세 조건을 만족하면 **노름(Norm)** 이라 부르고, $$ (\mathcal{X},\Vert\cdot\Vert) $$ 를 **노름공간(Normed space)** 라 부른다
20 |
21 | 1. 벡터 $$ x $$ 가 영벡터($$ \mathbf{0} $$) 이기 위한 필요충분조건은 $$ \Vert x \Vert = 0 $$ 이다
22 |
23 |
24 |
25 |
26 |
27 |
28 |
--------------------------------------------------------------------------------
/docs/bc/0302.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "SVM and Kernel Methods"
4 | title: "2. Hard SVM"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
9 |
10 | ---
11 |
12 | ## 2.1 Hilbert spaces and Fourier Transforms
13 |
14 | - **힐베르트 공간(Hilbert space)** \\( \mathcal{H} \\) 는 **내적(inner product)** \\( \langle\cdot,\cdot\rangle \\)으로 Norm \\( \\| \cdot \\| \\)이 정의된 **완비공간(Complete space)** 이다
15 |
16 | $$
17 | \|f\|_{\mathcal{H}}=\sqrt{\langle f,f \rangle},\quad f\in\mathcal{H}
18 | $$
19 |
20 | - 대표적인 힐베르트 공간은 \\( L_{2} \\) 공간과 Sobolev 공간 \\( W_{2}^{k} \\) 이 있다
21 |
22 | - 힐베르트 공간이 [분해가능(Separable)](https://en.wikipedia.org/wiki/Separable_space) 인 경우 [가산개의(Countable)](https://en.wikipedia.org/wiki/Countable_set) [직교기저(Orthogonal basis)](https://en.wikipedia.org/wiki/Orthonormal_basis) \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 이 존재한다:
23 |
24 | $$
25 | f = \sum_{n}\langle f,\varphi_{n} \rangle\varphi_{n},\quad f\in\mathcal{H}
26 | $$
27 |
28 | - 참고로 위 식은 아래와 같은 \\( \\| \cdot \\|_{\mathcal{H}} \\) -sense 하에서 수렴한다:
29 |
30 | $$
31 | \lim_{N\to\infty}\left\|f-\sum_{n=1}^{N}\langle f,\varphi_{n}\rangle \varphi_{n}\right\|_{\mathcal{H}}=0
32 | $$
33 |
34 | - \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 는 [Gram-Schmidt procedure](https://en.wikipedia.org/wiki/Gram%E2%80%93Schmidt_process) 를 통해 구축할 수 있다
35 |
36 |
37 | {:class="center-block" height="200px"}
38 |
39 |
40 |
--------------------------------------------------------------------------------
/docs/bc/0303.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "SVM and Kernel Methods"
4 | title: "3. Soft SVM"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
--------------------------------------------------------------------------------
/docs/bc/0400.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "4. Regularization"
5 | ---
6 |
7 | ## Preface
8 |
9 | - SVM
10 |
11 |
12 |
13 | ---
14 |
15 | ## List
16 |
17 | [1. Regularized Loss Minimization](https://sungbinlim.github.io/sl/docs/mpsl/0401)
18 |
19 | [2. Ridge regression](https://sungbinlim.github.io/sl/docs/mpsl/0402)
20 |
21 |
22 | [3. Lasso regression](https://sungbinlim.github.io/sl/docs/mpsl/0403)
23 |
24 |
25 | [4. Tikhonov Regularization](https://sungbinlim.github.io/sl/docs/mpsl/0404)
26 |
27 | [5. Controlling the Fitting-Stability Tradeoff](https://sungbinlim.github.io/sl/docs/mpsl/0405)
28 |
29 | [6. Regularization and RKHS](https://sungbinlim.github.io/sl/docs/mpsl/0406)
30 |
--------------------------------------------------------------------------------
/docs/preposts/2019-06-30-crp.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: post-sidenav
3 | title: "Chinese Restaurant Process"
4 | group: "Bayesian Statistics"
5 | author: 임성빈
6 | ---
7 |
8 | Dirichlet Process 에서 prior 를 변형시킨 [Chinese Restaurant Process(CRP)](https://en.wikipedia.org/wiki/Chinese_restaurant_process)에 대해 소개합니다
9 |
10 | ### Chinese Restaurant Process
11 |
12 | 예전에 소개한 [Dirichlet Process(DP)](https://bayestour.github.io/blog/2019/06/26/dirichlet_process.html) 는 수학자 Dirichlet 의 이름을 땄습니다만 CRP 는 다음과 같은 상황을 상정해서 만들어진 모델입니다.
13 |
--------------------------------------------------------------------------------
/docs/preposts/2019-07-07-dp_application.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: post-sidenav
3 | title: "Dirichlet Process 의 다른 활용법"
4 | group: "Bayesian Statistics"
5 | author: 임성빈
6 | ---
7 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter01/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Breaking Papers"
4 | title: "Generative Adversarial Nets"
5 | ---
6 |
7 | - GAN (Goodfellow *et al*, 2014) 논문 핵심 요약
8 | - Discriminator 와 Generator 간의 adversarial training 의 메카니즘을 이해한다
9 |
10 | $$
11 | \mathbb{E}[\mathcal{D}(x)]+\mathbb{E}[1-\mathcal{D}(\mathcal{G}(z))]
12 | $$
13 |
14 | ## Adversarial training 에서 주의할 점
15 | - Saddle point 가 나올 때 주의해야 한다
16 |
17 | ## Variational Auto-Encoder 와의 비교
18 | - GAN은 Likelihood-free model 이다
19 | - 분포에 대해 mean-field family 를 가정하지 않는다
20 |
21 |
22 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter02/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Understanding Machine Learning"
4 | title: "Part 1. Foundations"
5 | ---
6 |
7 | - 1장에서는 기초 확률 이론을 이용하여 패턴 인식의 여러 문제들을 간단하게 살펴보았다.
8 | - 이번 장에서는 다양한 확률 분포를 먼저 살펴보는 시간을 가진다.
9 | - 좀 재미 없는 영역이지만 이후에 빈번하게 사용되는 기초 내용이 수록되어 있으니 꼼꼼하게 읽어야 한다.
10 | - 여기서는 랜덤 변수 \\( x \\) 에 대해 확률 함수 \\( p(x) \\) 를 모델링하는 것을 배운다.
11 | - 이것을 밀도 추정(density estimation)이라고 한다.
12 | - 우선 가장 먼저 고려해야 할 것은 모든 샘플 데이터는 독립적으로 생성되었다고 가정하는 것이다.
13 | - 사실 관찰된 데이터로 부터 추측해볼 수 있는 확률 분포는 정말 끝도없이 많을 것이다.
14 | - 물론 어떤 모델을 선택하여야 할 것인가의 문제는 1장의 커브 피팅 문제에서도 살짝 다루긴 했다.
15 | - 우리는 먼저 파라미터를 가지고 있는 분포들(parametric distribution)을 살펴볼 예정이다.
16 | - 이건 거의 정형화되어 있는 분포들이다.
17 | - 가우시안 분포도 이러한 분포 중 하나이며, 이번 장에서도 자세히 다룰 예정이다.
18 | - 또한 우리는 공액 사전 분포(conjugate prior distribution)라는 것도 잠시 다루어볼 예정이다.
19 | - 이 분포는 사후 분포(posterior distibution)를 수학적으로 계산하기 쉽도록 도움을 준다.
20 | - 예를 들어 베타(Beta) 분포나 디리슈레(Dirichlet) 분포 등이 있다.
21 | - 이런 분포들을 살펴보면서 지수 분포족(exponetial family of distrivution)도 살펴볼 것이다.
22 | - 파라미터를 가지는 분포의 한계점은 함수 자체가 이미 특별한 형태의 구조를 포함하고 있다는 것이다
23 | - 따라서 실제 샘플과 다른 양상의 분포를 선택하게 되는 경우 원하는 결과를 얻지 못할 때가 많다.
24 | - 마지막에는 파라미터를 사용하지 않는 분포에 대한 모델링도 살펴볼 것이다.
25 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter03/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Chapter. 3"
4 | title: "0. Linear Models for Regression"
5 | ---
6 |
7 | - 이번 장은 Supervised Learning 의 일종인 회귀분석(Regression)에 관한 이야기를 진행할 것이다.
8 | - 사실 회귀분석은 전통적인 통계학에서 많이 다루는 학문인데, 여기서는 확률론에 입각하여 기존의 회귀 분석을 해석해 보도록 한다.
9 | - 사실 1장에서 다항식을 이용한 커브 피팅 문제를 다루면서 어느 정도 다루어보기는 했다.
10 | - 이번 장에서는 이를 좀 더 구체적으로 다루어본다.
11 |
12 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter03/6.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Chapter. 3"
4 | title: "6. Limit. of Fixed Basis Functions"
5 | ---
6 |
7 | - 이번 장을 통해 우리는 고정된 크기를 가지며 비선형 기저 함수를 가지는 선형 결합 모델들을 비교해 보았다.
8 | - 우리는 또한 파라미터의 선형식을 적용하는 것이 `closed-form` 형태의 솔루션인 최소 제곱법에 아주 적합한 방식임을 살펴보았다.
9 | - 그리고 이를 활용하여 다루기 쉬운 베이지안 기법들을 살펴보았다.
10 | - 또한 다양한 기저 함수를 선택하여 입력과 출력을 매핑하는 복잡한 형태의 비선형 모델도 사용해 보았다.
11 | - 이 다음 장에서는 우리는 분류(classification)를 위한 모델을 살펴볼 예정이다.
12 |
13 | -----
14 |
15 | - 지금까지 살펴본 선형 모델들은 패턴 인식 문제를 풀기위한 일반적인 목적의 솔루션들이다.
16 | - 하지만 안타깝게도 이러한 선형 모델에는 일부 단점들이 존재한다.
17 | - 우리는 신경망이나 SVM 을 통해 이러한 문제점들을 보안하는 방법을 살펴볼 예정이다.
18 | - 가장 문제가 되는 가정은 기저 함수 \\( \phi_j(x) \\) 가 고정되어 있다는 것이다.
19 | - 따라서 관찰된 학습 데이터의 차원이 증가하는 경우 1.4절에서 언급한 차원의 저주 문제가 그대로 나타나게 된다.
20 | - 이 결과로 차원이 증가할 수록 기저 함수의 크기가 보통 입력 공간 $D$ 에 대해 지수로 증가하게 된다.
21 |
22 | -----
23 |
24 | - 이러한 문제를 해결하기 위한 기법으로 두가지 정도를 제시할 것이다.
25 | - 가장 먼저 알아야 할 것은 우선 데이터 \\( \{x_n\} \\) 가 입력 공간보다 작은 내부 차원을 가진 비선형 매니폴드 공간에 놓여있다는 사실이다.
26 | - 그 결과로 입력 데이터 사이에는 강한 상관관계가 존재한다.
27 | - 이 말이 무슨 말인지 모르겠으나 뒤로 가다보면 알겠지.
28 | - 12장에서 손글씨(mnist)를 처리하는 예제를 통해 이를 살펴볼 예정이다.
29 | - 만약 우리가 국소화된 기저 함수(localized basis function)를 사용한다면 입력 공간 내에 흩어진 데이터를 재배열할 수 있다.
30 | - 이러한 접근 방식을 방사 기저 함수 (radial basis function) 네트워크라고 한다.
31 | - 시그모이드(sigmoid)를 사용하는 비선형 기법의 신경망을 도입할 수도 있다.
32 |
33 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter05/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Chapter. 5"
4 | title: "0. Introduction"
5 | ---
6 |
7 | - 지금까지 우리는 3장과 4장을 통해 회귀(regression) 모형과 분류(classification) 모형을 다루어 보았다.
8 | - 이를 처리하기 위해 고정된 기저 함수를 이용하여 선형 결합을 만들어내는 모델들을 학습했다.
9 | - 이런 방식은 꽤나 유용하게 사용될 수 있는 기법들이지만, 차원이 증가하는 경우 차원의 저주를 막을 수 없다.
10 | - 선형 모델에서 차원의 저주 문제는 '고정된 기저 함수'라는 가정에 기인하므로,
11 | - 이를 해결하기 위한 방안으로 "입력 데이터에 맞게 적응하는 기저 함수"의 도입이 필수적이다.
12 |
13 | ----
14 |
15 | - **SVM**
16 | - 앞으로 나올 7장에서는 SVM 기법을 다루고 있다.
17 | - 이 기법은 학습 데이터로부터 모델을 학습 과정 중에 학습 데이터의 일부 데이터 집합에만 집중하여 학습을 하게 된다.
18 | - SVM이 가지는 장점 중 하나는 목적 함수가 convex 하기만 하면 비선형적인 함수를 통한 최적화 과정을 통해서도 결과를 도출해 낼 수 있다는 것이다.
19 | - 이런 경우 실제 사용되는 학습 데이터 수에 비해 기저 함수의 개수가 현격히 줄어들 수 있다.
20 | - 이와 관련된 내용은 7장에서 좀 더 자세히 보도록 하자.
21 |
22 | ----
23 |
24 | - **Nueral Network (or Perceptrons)**
25 | - SVM 방식과는 다른 방식으로, 비록 기저 함수의 개수는 고정시키지만 좀 더 적합한 모델을 구성하는 방법도 있다.
26 | - 여기서는 이를 위해 "다중 레이어를 가진 신경망" (*multilayer perceptron*) 을 이용한다.
27 | - 이름이 너무 길다. 그냥 MLP 라고 부른다.
28 |
29 | - 신경망은 생물학적 시스템을 모방한 시도로 피트, 로젠블렛, 럼멜하트 등 초기 많은 학자들의 노력으로 발전하였다.
30 | - 하지만 신경망의 역사에 대한 내용은 생략하도록 한다.
31 |
32 | ----
33 |
34 | - 우리는 어쨌거나 기저 함수의 파라미터를 결정하는 함수적 형태로 신경망 공부를 시작할 예정이다.
35 | - 역시나 *MLE* 등을 이용하여 문제를 해결하겠지만, 여기서는 비선형 함수를 다룬다는 특징이 있다.
36 | - 파라미터 학습을 위해 *error backpropagation* 이라는 기법을 사용한다. 뒤에서 자세히 나온다.
37 | - 후반부에서는 정칙화(regularization) 기법이나 혼합 모델(mixture density networks)에 관련된 내용도 다룰 것이다.
38 | - 당연히 베이지안 방식의 신경망도 안 다룰수 없는 법.
39 |
40 |
--------------------------------------------------------------------------------
/docs/previous/PRML/chapter05/5.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Chapter. 5"
4 | title: "5. Regularization in NN."
5 | ---
6 |
7 | - 신경망에서 입력 데이터와 출력 데이터의 차원은 데이터집합에 의해 결정된다.
8 | - 따라서 실제 제어 가능한 파라미터는 hidden 레이어의 크기 \\(M\\) 의 값이다.
9 |
10 | (작성중)
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
22 |
--------------------------------------------------------------------------------
/docs/previous/agm/0205.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "VAE"
4 | title: "5. Algorithm"
5 | ---
6 |
7 |
8 | {:class="center-block" height="300px"}
9 |
10 |
--------------------------------------------------------------------------------
/docs/previous/aons/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "All of Nonparametric Statistics"
4 | title: "Preface"
5 | ---
6 |
7 | 이 페이지에서는 Larry Wasserman 의 All of Nonparametric Statistics 의 내용들을 요약 설명합니다.
--------------------------------------------------------------------------------
/docs/previous/aons/0100.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "All of Nonparametric Statistics"
4 | title: "1. Introduction"
5 | ---
6 |
7 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "Preface"
5 | ---
6 |
7 | - 이 페이지에서는 Larry Wasserman 의 All of Statistics 중 Part 2 : Statistical Inference 내용을 소개합니다
8 | - Models, Statistical Inference and Learning
9 | - Estimating the CDF and Statistical Functionals
10 | - The Bootstrap
11 | - Parametric Inference
12 | - Hypothesis Testing and p-values
13 | - Bayesian Inference
14 | - Statistical Decision Theory
--------------------------------------------------------------------------------
/docs/previous/aos2/0100.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "1. Models, Statistical Inference and Learning"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 통계적 학습(Statistical Learning)에 관한 개념을 소개한다
10 | - Parametric 와 Nonparametric 모형의 차이를 이해한다
11 | - Point estimation, Confidence interval, Hypothesis test 의 개념을 이해한다
12 |
13 | ---
14 |
15 | ## List
16 |
17 | [1. Introduction](https://sungbinlim.github.io/sl/docs/aos2/0101)
18 |
19 | [2. Parametric and Nonparametric Models](https://sungbinlim.github.io/sl/docs/aos2/0102)
20 |
21 | [3. Fundamental Concepts in Inference](https://sungbinlim.github.io/sl/docs/aos2/0103)
22 |
23 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0101.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Models, Statistical Inference and Learning"
4 | title: "1. Introduction"
5 | ---
6 |
7 | - 통계적 **추론(Inference)**, 또는 **학습(Learning)** 은 주어진 데이터를 기반으로 데이터를 생성하는 분포(Distribution)을 추론하는 프로세스를 말한다
8 | - 어떤 경우엔 분포 자체가 아니라 분포의 특성(예: 평균, 모멘트)만 계산하고 싶을 수 있다
9 | - 전형적인 통계적 추론 문제는 다음과 같다
10 |
11 | ---
12 |
13 | `Question` 분포함수 \\( F \\) 에서 추출한 표본 \\( X_{1}, X_{2},\ldots, X_{n} \\) 이 있다. 이 때 \\( F \\) 를 어떻게 추론할 수 있을까?
14 |
15 | ---
16 |
17 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0200.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "2. Estimating the CDF and Statistical Functionals"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 누적분포함수(CDF) \\( F \\) 를 추정하는 방법론을 이해한다
10 | - 통계적 범함수(Statistical functional) 를 이해한다
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. The Empirical Distribution Function](https://sungbinlim.github.io/sl/docs/aos2/0201)
17 |
18 | [2. Statistical Functionals](https://sungbinlim.github.io/sl/docs/aos2/0202)
19 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0202.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Estimating the CDF and Statistical Functionals"
4 | title: "Statistical Functionals"
5 | ---
6 |
7 | - 통계적 범함수(statistical functional) $$ T(\cdot) $$ 는 분포함수 $$ F \in \mathfrak{F} $$ 에 정의된 함수로 $$ T : \mathfrak{F} \to \mathbb{R} $$ 이다. 평균(mean), 분산(variance), 중앙값(median) 등이 대표적인 통계적 범함수이다 :
8 |
9 | $$
10 | \mu = \int x dF(x),\quad \sigma^{2} = \int(x-\mu)^{2}dF(x),\quad m=F^{-1}(1/2)
11 | $$
12 |
13 | ---
14 |
15 | `Definition 1`. 통계적 범함수 $$ \theta = T(F) $$ 의 **plug-in estimator** 는 $$ T(\cdot) $$ 안에 ECDF $$ \hat{F}_{n} $$ 를 대입한 범함수로 정의한다 :
16 |
17 | $$
18 | \hat{\theta}_{n}=T(\hat{F}_{n})
19 | $$
20 |
21 | ---
22 |
23 | `Definition 2`. 주어진 통계적 범함수가 어떤 함수 $$ r(x) $$ 에 의해 $$ T(F) = \int r(x) dF(x) $$ 형태로 표현된다면, $$ T $$ 는 **선형 범함수(linear functional)** 이라 부른다
24 |
25 | ---
26 |
27 | - `Comment` 선형대수를 공부한 독자라면 위 정의는 선형 범함수의 원래 정의와 다르다는 걸 알 것이다. 사실 위 정의는 원래의 정의와 동치이다! Riesz representation theorem 에 의한 결과이다
28 |
29 | - 연속확률분포나 이산확률분포일 경우 $$ \int r(x)dF(x) $$ 는 각각 $$ \int r(x)f(x)dx $$ 와 $$ \sum_{i} r(x_{i})f(x_{i}) $$ 로 표현된다
30 |
31 | - ECDF 는 각 $$ X_{i} $$ 에 $$ 1/n $$ 씩 mass 가 부여된 이산확률분포의 CDF 이므로, $$ T $$ 가 선형 범함수일 경우 plug-in estimator 는 아래와 같이 표현된다 :
32 |
33 | $$
34 | T(\hat{F}_{n}) = \frac{1}{n}\sum_{i=1}^{n} r(X_{i})
35 | $$
36 |
37 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0300.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "3. The Bootstrap"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Bootstrap 방법론을 이해한다
10 |
11 | ---
12 |
13 | ## List
14 |
15 | [1. Simulation](https://sungbinlim.github.io/sl/docs/aos2/0301)
16 |
17 | [2. Bootstrap Variance Estimation](https://sungbinlim.github.io/sl/docs/aos2/0302)
18 |
19 | [3. Bootstrap Confidence Intervals](https://sungbinlim.github.io/sl/docs/aos2/0303)
20 |
21 | [4. Appendix](https://sungbinlim.github.io/sl/docs/aos2/0304)
22 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0400.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "4. Parametric Inference"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Parametric Model 를 다룬다
10 | - Parametric Model 은 다음과 같이 parameter \\( \theta=(\theta_{1},\ldots,\theta_{k}) \\) 가 finite dimension 인 모형을 고려한다
11 |
12 | $$
13 | \mathfrak{F}=\left\{ f(x;\theta):\theta\in\Theta \right\},\quad \theta\subset\mathbb{R}^{k}
14 | $$
15 |
16 | - Parameter 를 추정하는 방법론으로 method of moments 와 method of maximum likelihood 를 소개한다
17 |
18 |
19 | ---
20 |
21 | ## List
22 |
23 | [1. Parameter of Interest](https://sungbinlim.github.io/sl/docs/aos2/0401)
24 |
25 | [2. The Method of Moments](https://sungbinlim.github.io/sl/docs/aos2/0402)
26 |
27 | [3. Maximum Likelihood](https://sungbinlim.github.io/sl/docs/aos2/0403)
28 |
29 | [4. Properties of Maximum Likelihood Estimators](https://sungbinlim.github.io/sl/docs/aos2/0404)
30 |
31 | [5. Consistency of Maximum Likelihood Estimators](https://sungbinlim.github.io/sl/docs/aos2/0405)
32 |
33 | [6. Equivariance of the MLE](https://sungbinlim.github.io/sl/docs/aos2/0406)
34 |
35 | [7. Asymptotic Normality](https://sungbinlim.github.io/sl/docs/aos2/0407)
36 |
37 | [8. Optimality](https://sungbinlim.github.io/sl/docs/aos2/0408)
38 |
39 | [9. The Delta Method](https://sungbinlim.github.io/sl/docs/aos2/0409)
40 |
41 | [10. Multiparameter Models](https://sungbinlim.github.io/sl/docs/aos2/0410)
42 |
43 | [11. The Parametric Bootstrap](https://sungbinlim.github.io/sl/docs/aos2/0411)
44 |
45 | [12. Checking Assumptions](https://sungbinlim.github.io/sl/docs/aos2/0412)
46 |
47 | [13. Appendix](https://sungbinlim.github.io/sl/docs/aos2/0413)
48 |
49 |
50 |
51 |
52 |
53 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0500.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "5. Hypothesis Testing and p-values"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 **가설검정(Hypothesis test)** 에 대해 다룰 것이다
10 | - 확률변수 \\( X \\) 가 공간 \\( \mathcal{X} \\) 에서 치역(range)을 가진다고 가정하자. 우리는 적절한 **기각역(rejection region)** \\( R \subset \mathcal{X} \\) 을 찾아서 아래 Procedure 을 통해 가설을 검정한다:
11 |
12 | $$
13 | X \in R\quad \Longrightarrow\quad \text{reject }H_{0}
14 | $$
15 |
16 | $$
17 | X \notin R\quad \Longrightarrow\quad \text{retain }H_{0}
18 | $$
19 |
20 | - 보통 \\( R \\) 은 **검정통계량(test statistic)** \\( T \\) 와 **임계값(critical value)** \\( c \\) 에 대해 다음의 형태를 가진다:
21 |
22 | $$
23 | R=\{x: T(x) > c\}
24 | $$
25 |
26 | - 가설검정의 핵심은 기각역을 결정하는 적절한 \\( T \\) 와 \\( c \\) 를 찾는 것이다
27 |
28 | ---
29 |
30 | ## List
31 |
32 | [1. The Wald Test](https://sungbinlim.github.io/sl/docs/aos2/0501)
33 |
34 | [2. p-values](https://sungbinlim.github.io/sl/docs/aos2/0502)
35 |
36 | [3. The \\( \chi^{2} \\) Distribution](https://sungbinlim.github.io/sl/docs/aos2/0503)
37 |
38 | [4. Pearson’s \\( \chi^{2} \\) Test For Multinomial Data](https://sungbinlim.github.io/sl/docs/aos2/0504)
39 |
40 | [5. The Permutation Test](https://sungbinlim.github.io/sl/docs/aos2/0505)
41 |
42 | [6. Multiple Testing](https://sungbinlim.github.io/sl/docs/aos2/0506)
43 |
44 | [7. Goodness-of-fit Tests](https://sungbinlim.github.io/sl/docs/aos2/0507)
45 |
46 | [8. Appendix](https://sungbinlim.github.io/sl/docs/aos2/0508)
47 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0600.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "6. Bayesian Inference"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 베이지안 추론(Bayesian inference) 에 대해 다룰 것이다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. The Bayesian Philosophy](https://sungbinlim.github.io/sl/docs/aos2/0601)
17 |
18 | [2. The Bayesian Method](https://sungbinlim.github.io/sl/docs/aos2/0602)
19 |
20 | [3. Functions of Parameters](https://sungbinlim.github.io/sl/docs/aos2/0603)
21 |
22 | [4. Simulation](https://sungbinlim.github.io/sl/docs/aos2/0604)
23 |
24 | [5. Large Sample Properties of Bayes’ Procedures](https://sungbinlim.github.io/sl/docs/aos2/0605)
25 |
26 | [6. Flat Priors, Improper Priors, and Noninformative Priors](https://sungbinlim.github.io/sl/docs/aos2/0606)
27 |
28 | [7. Multiparameter Problems](https://sungbinlim.github.io/sl/docs/aos2/0607)
29 |
30 | [8. Bayesian Testing](https://sungbinlim.github.io/sl/docs/aos2/0608)
31 |
32 | [9. Strengths and Weaknesses of Bayesian Inference](https://sungbinlim.github.io/sl/docs/aos2/0609)
33 |
34 |
--------------------------------------------------------------------------------
/docs/previous/aos2/0700.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Inference"
4 | title: "7. Statistical Decision Theory"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 통계적 결정이론(Statistical Decision Theory) 에 대해 다룰 것이다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Preliminaries](https://sungbinlim.github.io/sl/docs/aos2/0701)
17 |
18 | [2. Comparing Risk Functions](https://sungbinlim.github.io/sl/docs/aos2/0702)
19 |
20 | [3. Bayes Estimators](https://sungbinlim.github.io/sl/docs/aos2/0703)
21 |
22 | [4. Minimax Rules](https://sungbinlim.github.io/sl/docs/aos2/0704)
23 |
24 | [5. Maximum Likelihood, Minimax, and Bayes](https://sungbinlim.github.io/sl/docs/aos2/0705)
25 |
26 | [6. Admissibility](https://sungbinlim.github.io/sl/docs/aos2/0706)
27 |
28 | [7. Stein’s Paradox](https://sungbinlim.github.io/sl/docs/aos2/0707)
29 |
30 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "Preface"
5 | ---
6 |
7 | - 이 페이지에서는 Larry Wasserman 의 All of Statistics 중 Part 3 : Statistical Models and Methods 내용을 소개합니다
8 | - Linear and Logistic Regression
9 | - Multivariate Models
10 | - Inference About Independence
11 | - Causal Inference
12 | - Directed Graphs and Conditional Independence
13 | - Undirected Graphs
14 | - Log-Linear Models
15 | - Nonparametric Curve Estimation
16 | - Smoothing Using Orthogonal Functions
17 | - Classification
18 | - Probability Redux: Stochastic Processes
19 | - Simulation Methods
--------------------------------------------------------------------------------
/docs/previous/aos3/0100.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "1. Linear and Logistic Regression"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Parametric regression 에 대해 다룬다
10 | - 여기서는 Regression function 이 선형(linear) 인 경우만 다룬다
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Simples Linear Regression](https://sungbinlim.github.io/sl/docs/aos3/0101)
17 |
18 | [2. Least Squares and Maximum Likelihood](https://sungbinlim.github.io/sl/docs/aos3/0102)
19 |
20 | [3. Properties of the Least Squares Estimators](https://sungbinlim.github.io/sl/docs/aos3/0103)
21 |
22 | [4. Prediction](https://sungbinlim.github.io/sl/docs/aos3/0104)
23 |
24 | [5. Model Selection](https://sungbinlim.github.io/sl/docs/aos3/0105)
25 |
26 | [6. Logistic Regression](https://sungbinlim.github.io/sl/docs/aos3/0106)
27 |
28 | [7. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0107)
--------------------------------------------------------------------------------
/docs/previous/aos3/0200.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "2. Multivariate Models"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 다변수(Multivariate) 모형에 대해 다룬다
10 |
11 | ---
12 |
13 | ## List
14 |
15 | [1. Random Vectors](https://sungbinlim.github.io/sl/docs/aos3/0201)
16 |
17 | [2. Estimating the Correlation](https://sungbinlim.github.io/sl/docs/aos3/0202)
18 |
19 | [3. Multivariate Normal](https://sungbinlim.github.io/sl/docs/aos3/0203)
20 |
21 | [4. Multinomial](https://sungbinlim.github.io/sl/docs/aos3/0204)
22 |
23 | [5. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0205)
24 |
25 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0300.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "3. Inference About Independence"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 독립성(Independence) 에 대한 추론을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Two Binary Variables](https://sungbinlim.github.io/sl/docs/aos3/0301)
17 |
18 | [2. Two Discrete Variables](https://sungbinlim.github.io/sl/docs/aos3/0302)
19 |
20 | [3. Two Continuous Variables](https://sungbinlim.github.io/sl/docs/aos3/0303)
21 |
22 | [4. One Continuous Variable and One Discrete](https://sungbinlim.github.io/sl/docs/aos3/0304)
23 |
24 | [5. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0305)
--------------------------------------------------------------------------------
/docs/previous/aos3/0400.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "4. Causal Inference"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 인과관계(Causal) 에 대한 추론을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. The Counterfactual Model](https://sungbinlim.github.io/sl/docs/aos3/0401)
17 |
18 | [2. Beyond Binary Treatments](https://sungbinlim.github.io/sl/docs/aos3/0402)
19 |
20 | [3. Observational Studies and Confounding](https://sungbinlim.github.io/sl/docs/aos3/0403)
21 |
22 | [4. Simpson’s Paradox](https://sungbinlim.github.io/sl/docs/aos3/0404)
23 |
24 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0500.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "5. Directed Graphs and Conditional Independence"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Directed Graph 모형을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Introduction](https://sungbinlim.github.io/sl/docs/aos3/0501)
17 |
18 | [2. Conditional Independence](https://sungbinlim.github.io/sl/docs/aos3/0502)
19 |
20 | [3. DAGs](https://sungbinlim.github.io/sl/docs/aos3/0503)
21 |
22 | [4. Probability and DAGs](https://sungbinlim.github.io/sl/docs/aos3/0504)
23 |
24 | [5. More Independence Relations](https://sungbinlim.github.io/sl/docs/aos3/0505)
25 |
26 | [6. Estimation for DAGs](https://sungbinlim.github.io/sl/docs/aos3/0506)
27 |
28 | [7. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0507)
29 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0600.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "6. Undirected Graphs"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Undirected Graph 모형을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Undirected Graphs](https://sungbinlim.github.io/sl/docs/aos3/0601)
17 |
18 | [2. Probability and Graphs](https://sungbinlim.github.io/sl/docs/aos3/0602)
19 |
20 | [3. Cliques and Potentials](https://sungbinlim.github.io/sl/docs/aos3/0603)
21 |
22 | [4. Fitting Graphs to Data](https://sungbinlim.github.io/sl/docs/aos3/0604)
23 |
24 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0700.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "7. Log-Linear Models"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Log-Linear 모형을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. The Log-Linear Model](https://sungbinlim.github.io/sl/docs/aos3/0701)
17 |
18 | [2. Graphical Log-Linear Models](https://sungbinlim.github.io/sl/docs/aos3/0702)
19 |
20 | [3. Hierarchical Log-Linear Models](https://sungbinlim.github.io/sl/docs/aos3/0703)
21 |
22 | [4. Model Generators](https://sungbinlim.github.io/sl/docs/aos3/0704)
23 |
24 | [5. Fitting Log-Linear Models to Data](https://sungbinlim.github.io/sl/docs/aos3/0705)
25 |
26 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0800.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "8. Nonparametric Curve Estimation"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Nonparametric Curve Estimation 을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. The Bias-Variance Tradeoff](https://sungbinlim.github.io/sl/docs/aos3/0801)
17 |
18 | [2. Histograms](https://sungbinlim.github.io/sl/docs/aos3/0802)
19 |
20 | [3. Kernel Density Estimation](https://sungbinlim.github.io/sl/docs/aos3/0803)
21 |
22 | [4. Nonparametric Regression](https://sungbinlim.github.io/sl/docs/aos3/0804)
23 |
24 | [5. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0805)
25 |
26 |
--------------------------------------------------------------------------------
/docs/previous/aos3/0900.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "9. Smoothing Using Orthogonal Functions"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Orthogonal function 을 이용한 방법론을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Orthogonal Functions and \\( L_{2} \\) Spaces](https://sungbinlim.github.io/sl/docs/aos3/0901)
17 |
18 | [2. Density Estimation](https://sungbinlim.github.io/sl/docs/aos3/0902)
19 |
20 | [3. Regression](https://sungbinlim.github.io/sl/docs/aos3/0903)
21 |
22 | [4. Wavelets](https://sungbinlim.github.io/sl/docs/aos3/0904)
23 |
24 | [5. Appendix](https://sungbinlim.github.io/sl/docs/aos3/0905)
25 |
26 |
--------------------------------------------------------------------------------
/docs/previous/aos3/1000.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "10. Classification"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Classification 방법론을 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Introduction](https://sungbinlim.github.io/sl/docs/aos3/1001)
17 |
18 | [2. Error Rates and the Bayes Classifier](https://sungbinlim.github.io/sl/docs/aos3/1002)
19 |
20 | [3. Gaussian and Linear Classifiers](https://sungbinlim.github.io/sl/docs/aos3/1003)
21 |
22 | [4. Linear Regression and Logistic Regression](https://sungbinlim.github.io/sl/docs/aos3/1004)
23 |
24 | [5. Relationship Between Logistic Regression and LDA](https://sungbinlim.github.io/sl/docs/aos3/1005)
25 |
26 | [6. Density Estimation and Naive Bayes](https://sungbinlim.github.io/sl/docs/aos3/1006)
27 |
28 | [7. Trees](https://sungbinlim.github.io/sl/docs/aos3/1007)
29 |
30 | [8. Assessing Error Rates and Choosing a Good Classifier](https://sungbinlim.github.io/sl/docs/aos3/1008)
31 |
32 | [9. Support Vector Machines](https://sungbinlim.github.io/sl/docs/aos3/1009)
33 |
34 | [10. Kernelization](https://sungbinlim.github.io/sl/docs/aos3/1010)
35 |
36 | [11. Other Classifiers](https://sungbinlim.github.io/sl/docs/aos3/1011)
--------------------------------------------------------------------------------
/docs/previous/aos3/1100.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "11. Probability Redux: Stochastic Processes"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Stochastic Process 에 대해 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Introduction](https://sungbinlim.github.io/sl/docs/aos3/1101)
17 |
18 | [2. Markov Chains](https://sungbinlim.github.io/sl/docs/aos3/1102)
19 |
20 | [3. Poisson Processes](https://sungbinlim.github.io/sl/docs/aos3/1103)
21 |
22 |
--------------------------------------------------------------------------------
/docs/previous/aos3/1200.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Models and Methods"
4 | title: "12. Simulation Methods"
5 | ---
6 |
7 | ## Preface
8 |
9 | - 이 Chapter 에서는 Stochastic simulation 에 대해 다룬다
10 |
11 |
12 | ---
13 |
14 | ## List
15 |
16 | [1. Bayesian Inference Revisited](https://sungbinlim.github.io/sl/docs/aos3/1201)
17 |
18 | [2. Basic Monte Carlo Integration](https://sungbinlim.github.io/sl/docs/aos3/1202)
19 |
20 | [3. Importance Sampling](https://sungbinlim.github.io/sl/docs/aos3/1203)
21 |
22 | [4. MCMC Part I: The Metropolis–Hastings Algorithm](https://sungbinlim.github.io/sl/docs/aos3/1204)
23 |
24 | [5. MCMC Part II: Different Flavors](https://sungbinlim.github.io/sl/docs/aos3/1205)
25 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "Preface"
5 | ---
6 |
7 | 이 페이지에선 Statistical Learning Theory 에서 사용되는 방법론의 수학적 원리들을 소개할 것입니다
8 |
9 | - Hilbert Spaces and Functional Analysis
10 | - Fourier Analysis
11 | - Wavelet Analysis
12 | - Advanced Statistical Models
13 |
14 | - Reference
15 | 1. Gabriel Peyré 의 Mathematical Foundations of Data Sciences
16 | 2. Shai Shalev-Shwartz & Shai Ben-David 의 Understanding Machine Learning: From Theory to Algorithms
17 | 3. Stéhane Mallat 의 a Wavelet Tours of Signal Processing
18 | 4. James, Witten, Hastie, Tibshirani 의 An Introduction to Statistical Learning
19 | 2. Hastie, Tibshirani, Friedman 의 The Elements of Statistical Learning
--------------------------------------------------------------------------------
/docs/previous/mpsl/0100.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "1. Elementary Probability Theory"
5 | ---
6 |
7 | - 이 Chapter 에서는 확률론에서 사용되는 기본적인 내용과 Kolmogorov 의 Probability Axiom 을 다룹니다
8 |
9 |
10 | [1. Basic Set Theroy](https://sungbinlim.github.io/sl/docs/mpsl/0101)
11 |
12 | [2. Metric Topology $$ \& $$ Analysis](https://sungbinlim.github.io/sl/docs/mpsl/0102)
13 |
14 | [3. Kolmogorov Probability Axiom](https://sungbinlim.github.io/sl/docs/mpsl/0103)
--------------------------------------------------------------------------------
/docs/previous/mpsl/0104.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Probability Theory"
4 | title: "4. Basic Measure Theory"
5 | ---
6 |
7 | - 기본적인 측도론(Measure theory)을 소개하고 이에 기반한 확률론을 전개한다
8 | -
9 |
10 |
11 |
12 | ---
13 | ## Measure Theory and Integration
14 |
15 | - [Kolmogorov Probability Axiom](https://sungbinlim.github.io/sl/docs/mpt/2) 을 통해 확률을 정의하기 위한 기본적인 공리들을 소개하였다
16 | - 이번 장에서는 확률공간(Probability space) \\( (\Omega,\mathcal{F},\mathbb{P}) \\) 이 주어져 있다는 전제 하에 이론을 전개한다
17 | - 표본공간 \\( \Omega \\) 에서 실수(real-value) 로 사상(mapping)되는 함수 \\( \mathbb{R} \\) \\( X : \Omega\to\mathbb{R}\\) 가 있다고 하자. 이 함수가 다음 성질을 만족하면 **확률변수(Random variable)** 라 부른다:
18 |
19 | $$
20 | \{\omega\in\Omega :X(\omega)\in(a,b)\}\in\mathcal{F},\quad \forall a,b\in\mathbb{R}
21 | $$
22 |
23 | - 동전 던지기를 예를 들어보자. 동전을 던졌을 때 앞(\\( H \\))이 나오면 1, 뒤(\\( T \\))가 나오면 0 이 나오는 함수 \\( X \\) 가 있다고 하자
24 | - 이 때 \\( a, b \\) 의 범위에 따라 아래와 같이 구분할 수 있다
25 |
26 | $$
27 | \{\omega \in \Omega : X(\omega) \in (a,b)\} = \begin{cases}\Omega & : a < 0 < 1 < b \\ \{H\} & : 0 \leq a < 1 < b \\ \{T\} & : a < 0 < b \leq 1 \\ \emptyset & : \text{otherwise} \end{cases}
28 | $$
29 |
30 | {:class="center-block" height="200px"}
31 |
32 |
33 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0200.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "2. Norm and Hilbert spaces"
5 | ---
6 |
7 | ## Preface
8 |
9 | - Statistical Learning 은 확률론(Probability Theory) 과 함수해석학(Functional Analysis) 지식을 바탕으로 전개된다. 지금까지 확률론의 기초 지식들을 배웠다면 이번에는 함수해석학의 기본 내용들을 소개한다
10 |
11 |
12 |
13 | ---
14 |
15 | ## List
16 |
17 | [1. Hilbert Spaces](https://sungbinlim.github.io/sl/docs/mpsl/0201)
18 |
19 | [2. Function Spaces](https://sungbinlim.github.io/sl/docs/mpsl/0202)
20 |
21 | [3. Elements of Functional Analysis](https://sungbinlim.github.io/sl/docs/mpsl/0203)
22 |
23 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0202.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Norm and Hilbert Spaces"
4 | title: "2. Function Spaces"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
9 |
10 | ---
11 |
12 | ## 2.1 Hilbert spaces and Fourier Transforms
13 |
14 | - **힐베르트 공간(Hilbert space)** \\( \mathcal{H} \\) 는 **내적(inner product)** \\( \langle\cdot,\cdot\rangle \\)으로 Norm \\( \\| \cdot \\| \\)이 정의된 **완비공간(Complete space)** 이다
15 |
16 | $$
17 | \|f\|_{\mathcal{H}}=\sqrt{\langle f,f \rangle},\quad f\in\mathcal{H}
18 | $$
19 |
20 | - 대표적인 힐베르트 공간은 \\( L_{2} \\) 공간과 Sobolev 공간 \\( W_{2}^{k} \\) 이 있다
21 |
22 | - 힐베르트 공간이 [분해가능(Separable)](https://en.wikipedia.org/wiki/Separable_space) 인 경우 [가산개의(Countable)](https://en.wikipedia.org/wiki/Countable_set) [직교기저(Orthogonal basis)](https://en.wikipedia.org/wiki/Orthonormal_basis) \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 이 존재한다:
23 |
24 | $$
25 | f = \sum_{n}\langle f,\varphi_{n} \rangle\varphi_{n},\quad f\in\mathcal{H}
26 | $$
27 |
28 | - 참고로 위 식은 아래와 같은 \\( \\| \cdot \\|_{\mathcal{H}} \\) -sense 하에서 수렴한다:
29 |
30 | $$
31 | \lim_{N\to\infty}\left\|f-\sum_{n=1}^{N}\langle f,\varphi_{n}\rangle \varphi_{n}\right\|_{\mathcal{H}}=0
32 | $$
33 |
34 | - \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 는 [Gram-Schmidt procedure](https://en.wikipedia.org/wiki/Gram%E2%80%93Schmidt_process) 를 통해 구축할 수 있다
35 |
36 |
37 | {:class="center-block" height="200px"}
38 |
39 |
40 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0203.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Norm and Hilbert Spaces"
4 | title: "3. Elements of Functional Analysis"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
--------------------------------------------------------------------------------
/docs/previous/mpsl/0300.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "3. SVM and Kernel Methods"
5 | ---
6 |
7 | ## Preface
8 |
9 | - SVM
10 |
11 |
12 |
13 | ---
14 |
15 | ## List
16 |
17 | [1. Mercer Kernels and RKHS](https://sungbinlim.github.io/sl/docs/mpsl/0301)
18 |
19 | [2. Hard SVM](https://sungbinlim.github.io/sl/docs/mpsl/0302)
20 |
21 | [3. Soft SVM](https://sungbinlim.github.io/sl/docs/mpsl/0303)
22 |
23 | [4. Duality and Optimality](https://sungbinlim.github.io/sl/docs/mpsl/0304)
24 |
25 | [5. Kernel Trick](https://sungbinlim.github.io/sl/docs/mpsl/0305)
26 |
27 | [6. Multi-class Problem](https://sungbinlim.github.io/sl/docs/mpsl/0306)
28 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0301.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "SVM and Kernel Methods"
4 | title: "1. Mercer Kernels and RKHS"
5 | ---
6 |
7 | -
8 |
9 |
10 | - 위 표현을 기호로 나타내면
11 |
12 |
13 | {:class="center-block" height="400px"}
14 |
15 | - 거리함수의 종류는 매우 다양하다. 맨허튼 거리(Manhattan distance) 역시 유클리드 공간에서의 거리함수이다
16 |
17 | ---
18 |
19 | `Definition 2`. 벡터공간 $$ \mathcal{X} $$ 에서 정의된 함수 $$ \Vert \cdot \Vert : \mathcal{X} \to [0,\infty) $$ 이 다음 세 조건을 만족하면 **노름(Norm)** 이라 부르고, $$ (\mathcal{X},\Vert\cdot\Vert) $$ 를 **노름공간(Normed space)** 라 부른다
20 |
21 | 1. 벡터 $$ x $$ 가 영벡터($$ \mathbf{0} $$) 이기 위한 필요충분조건은 $$ \Vert x \Vert = 0 $$ 이다
22 |
23 |
24 |
25 |
26 |
27 |
28 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0302.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "SVM and Kernel Methods"
4 | title: "2. Hard SVM"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
9 |
10 | ---
11 |
12 | ## 2.1 Hilbert spaces and Fourier Transforms
13 |
14 | - **힐베르트 공간(Hilbert space)** \\( \mathcal{H} \\) 는 **내적(inner product)** \\( \langle\cdot,\cdot\rangle \\)으로 Norm \\( \\| \cdot \\| \\)이 정의된 **완비공간(Complete space)** 이다
15 |
16 | $$
17 | \|f\|_{\mathcal{H}}=\sqrt{\langle f,f \rangle},\quad f\in\mathcal{H}
18 | $$
19 |
20 | - 대표적인 힐베르트 공간은 \\( L_{2} \\) 공간과 Sobolev 공간 \\( W_{2}^{k} \\) 이 있다
21 |
22 | - 힐베르트 공간이 [분해가능(Separable)](https://en.wikipedia.org/wiki/Separable_space) 인 경우 [가산개의(Countable)](https://en.wikipedia.org/wiki/Countable_set) [직교기저(Orthogonal basis)](https://en.wikipedia.org/wiki/Orthonormal_basis) \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 이 존재한다:
23 |
24 | $$
25 | f = \sum_{n}\langle f,\varphi_{n} \rangle\varphi_{n},\quad f\in\mathcal{H}
26 | $$
27 |
28 | - 참고로 위 식은 아래와 같은 \\( \\| \cdot \\|_{\mathcal{H}} \\) -sense 하에서 수렴한다:
29 |
30 | $$
31 | \lim_{N\to\infty}\left\|f-\sum_{n=1}^{N}\langle f,\varphi_{n}\rangle \varphi_{n}\right\|_{\mathcal{H}}=0
32 | $$
33 |
34 | - \\( (\varphi_{n})_{n\in\mathbb{N}} \\) 는 [Gram-Schmidt procedure](https://en.wikipedia.org/wiki/Gram%E2%80%93Schmidt_process) 를 통해 구축할 수 있다
35 |
36 |
37 | {:class="center-block" height="200px"}
38 |
39 |
40 |
--------------------------------------------------------------------------------
/docs/previous/mpsl/0303.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "SVM and Kernel Methods"
4 | title: "3. Soft SVM"
5 | ---
6 |
7 | - Hilbert 공간의 성질과 Fourier Transform 의 관계를 이해한다
8 | -
--------------------------------------------------------------------------------
/docs/previous/mpsl/0400.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Statistical Learning"
4 | title: "4. Regularization"
5 | ---
6 |
7 | ## Preface
8 |
9 | - SVM
10 |
11 |
12 |
13 | ---
14 |
15 | ## List
16 |
17 | [1. Regularized Loss Minimization](https://sungbinlim.github.io/sl/docs/mpsl/0401)
18 |
19 | [2. Ridge regression](https://sungbinlim.github.io/sl/docs/mpsl/0402)
20 |
21 |
22 | [3. Lasso regression](https://sungbinlim.github.io/sl/docs/mpsl/0403)
23 |
24 |
25 | [4. Tikhonov Regularization](https://sungbinlim.github.io/sl/docs/mpsl/0404)
26 |
27 | [5. Controlling the Fitting-Stability Tradeoff](https://sungbinlim.github.io/sl/docs/mpsl/0405)
28 |
29 | [6. Regularization and RKHS](https://sungbinlim.github.io/sl/docs/mpsl/0406)
30 |
--------------------------------------------------------------------------------
/docs/previous/mpt/0.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Modern Probability Theory"
4 | title: "Preface"
5 | ---
6 |
7 | - 이 페이지에선 측도론 기반의 확률론을 수학적으로 심도있게 다룰 것입니다.
8 | - Preliminaries
9 | - Kolmogorov Probability Axiom
10 | - Measure Theory
11 | - Convergence of Random Variables
12 | - Stochastic Processes
13 | - Gaussian Processes
14 | - Markov Theory
15 | - Stochastic calculus
16 |
17 | - All of Statistics 의 Part 1. Probability 을 이 페이지로 대체합니다
--------------------------------------------------------------------------------
/docs/previous/mpt/0000.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Modern Probability Theory"
4 | title: "0. Preliminaries"
5 | ---
6 |
7 | - 이 Chapter 에서는 확률론에서 사용되는 기본적인 수학을 다룹니다
8 | [1. Basic Set Theroy](https://sungbinlim.github.io/sl/docs/mpt/0001)
9 | [2. Metric Topology $$ \& $$ Analysis](https://sungbinlim.github.io/sl/docs/mpt/0002)
--------------------------------------------------------------------------------
/docs/previous/mpt/0201.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Modern Probability Theory"
4 | title: "2. Basic Measure Theory"
5 | ---
6 |
7 | - 기본적인 측도론(Measure theory)을 소개하고 이에 기반한 확률론을 전개한다
8 | -
9 |
10 |
11 |
12 | ---
13 | ## Measure Theory and Integration
14 |
15 | - [Kolmogorov Probability Axiom](https://sungbinlim.github.io/sl/docs/mpt/2) 을 통해 확률을 정의하기 위한 기본적인 공리들을 소개하였다
16 | - 이번 장에서는 확률공간(Probability space) \\( (\Omega,\mathcal{F},\mathbb{P}) \\) 이 주어져 있다는 전제 하에 이론을 전개한다
17 | - 표본공간 \\( \Omega \\) 에서 실수(real-value) 로 사상(mapping)되는 함수 \\( \mathbb{R} \\) \\( X : \Omega\to\mathbb{R}\\) 가 있다고 하자. 이 함수가 다음 성질을 만족하면 **확률변수(Random variable)** 라 부른다:
18 |
19 | $$
20 | \{\omega\in\Omega :X(\omega)\in(a,b)\}\in\mathcal{F},\quad \forall a,b\in\mathbb{R}
21 | $$
22 |
23 | - 동전 던지기를 예를 들어보자. 동전을 던졌을 때 앞(\\( H \\))이 나오면 1, 뒤(\\( T \\))가 나오면 0 이 나오는 함수 \\( X \\) 가 있다고 하자
24 | - 이 때 \\( a, b \\) 의 범위에 따라 아래와 같이 구분할 수 있다
25 |
26 | $$
27 | \{\omega \in \Omega : X(\omega) \in (a,b)\} = \begin{cases}\Omega & : a < 0 < 1 < b \\ \{H\} & : 0 \leq a < 1 < b \\ \{T\} & : a < 0 < b \leq 1 \\ \emptyset & : \text{otherwise} \end{cases}
28 | $$
29 |
30 | {:class="center-block" height="200px"}
31 |
32 |
33 |
--------------------------------------------------------------------------------
/docs/previous/mpt/0203.md:
--------------------------------------------------------------------------------
1 | ---
2 | layout: page-sidenav
3 | group: "Modern Probability Theory"
4 | title: "2. Basic Measure Theory"
5 | ---
6 |
7 | - 기본적인 측도론(Measure theory)을 소개하고 이에 기반한 확률론을 전개한다
8 | -
9 |
10 |
11 |
12 | ---
13 | ## Measure Theory and Integration
14 |
15 | - [Kolmogorov Probability Axiom](https://sungbinlim.github.io/sl/docs/mpt/2) 을 통해 확률을 정의하기 위한 기본적인 공리들을 소개하였다
16 | - 이번 장에서는 확률공간(Probability space) \\( (\Omega,\mathcal{F},\mathbb{P}) \\) 이 주어져 있다는 전제 하에 이론을 전개한다
17 | - 표본공간 \\( \Omega \\) 에서 실수(real-value) 로 사상(mapping)되는 함수 \\( \mathbb{R} \\) \\( X : \Omega\to\mathbb{R}\\) 가 있다고 하자. 이 함수가 다음 성질을 만족하면 **확률변수(Random variable)** 라 부른다:
18 |
19 | $$
20 | \{\omega\in\Omega :X(\omega)\in(a,b)\}\in\mathcal{F},\quad \forall a,b\in\mathbb{R}
21 | $$
22 |
23 | - 동전 던지기를 예를 들어보자. 동전을 던졌을 때 앞(\\( H \\))이 나오면 1, 뒤(\\( T \\))가 나오면 0 이 나오는 함수 \\( X \\) 가 있다고 하자
24 | - 이 때 \\( a, b \\) 의 범위에 따라 아래와 같이 구분할 수 있다
25 |
26 | $$
27 | \{\omega \in \Omega : X(\omega) \in (a,b)\} = \begin{cases}\Omega & : a < 0 < 1 < b \\ \{H\} & : 0 \leq a < 1 < b \\ \{T\} & : a < 0 < b \leq 1 \\ \emptyset & : \text{otherwise} \end{cases}
28 | $$
29 |
30 | {:class="center-block" height="200px"}
31 |
32 |
33 |
--------------------------------------------------------------------------------
/feed.xml:
--------------------------------------------------------------------------------
1 | ---
2 | layout: null
3 | ---
4 |
5 |