From 1aa03c3236666d77cd7daaf13e2faddb8be3f8d5 Mon Sep 17 00:00:00 2001 From: wannabesuperteur Date: Fri, 11 Jul 2025 16:21:28 +0900 Subject: [PATCH] =?UTF-8?q?update:=20Xavier,=20He=20=EC=B4=88=EA=B8=B0?= =?UTF-8?q?=ED=99=94=EC=9D=98=20=EB=8B=A4=EB=A5=B8=20=EC=9D=B4=EB=A6=84=20?= =?UTF-8?q?=EC=B6=94=EA=B0=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- answers/3-deep-learning.md | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/answers/3-deep-learning.md b/answers/3-deep-learning.md index 10f9c40..061a7cc 100644 --- a/answers/3-deep-learning.md +++ b/answers/3-deep-learning.md @@ -344,7 +344,7 @@ $$ W \sim U(- \sqrt{\frac{1}{n_{in}}}, + \sqrt{\frac{1}{n_{in}}}) $$ -> **Xavier Initialization** +> **Xavier Initialization** (또는 Glorot Initialization) LeCun 방법과 비슷하지만 들어오는 노드 수와 나가는 노드 수에 의존하고, 적절한 상수값도 발견하여 사용한 방법이다. @@ -363,7 +363,7 @@ $$ sigmoid 나 tanh 함수와는 좋은 결과를 보여주지만 ReLU 함수와 사용할 경우 0에 수렴하는 문제가 발생한다. 따라서 `sigmoid` 나 `tanh` 함수와 주로 많이 사용한다. -> **He Initialization** +> **He Initialization** (또는 Kaiming Initialization) `ReLU` 와 함께 많이 사용되는 방법으로, LeCun 방법과 같지만 상수를 다르게 하였다. 들어오는 노드만 고려한다. @@ -382,6 +382,7 @@ $$ #### References - [가중치 초기화 (Weight Initialization) - reniew's blog](https://reniew.github.io/13/) +- [[Deep learning] 가중치 초기화(weight initialization) (feat. Xavier, He,normal, uniform) - 독립성이 강한 ISFP](https://resultofeffort.tistory.com/114) ---