Skip to content

[딥러닝] 8번 답변 Xavier, He 초기화의 다른 이름 추가 #202

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
wants to merge 1 commit into
base: main
Choose a base branch
from
Open

[딥러닝] 8번 답변 Xavier, He 초기화의 다른 이름 추가 #202

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
5 changes: 3 additions & 2 deletions answers/3-deep-learning.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -344,7 +344,7 @@ $$
W \sim U(- \sqrt{\frac{1}{n_{in}}}, + \sqrt{\frac{1}{n_{in}}})
$$

> **Xavier Initialization**
> **Xavier Initialization** (또는 Glorot Initialization)

LeCun 방법과 비슷하지만 들어오는 노드 수와 나가는 노드 수에 의존하고, 적절한 상수값도 발견하여 사용한 방법이다.

Expand All @@ -363,7 +363,7 @@ $$
sigmoid 나 tanh 함수와는 좋은 결과를 보여주지만 ReLU 함수와 사용할 경우 0에 수렴하는 문제가 발생한다.
따라서 `sigmoid` 나 `tanh` 함수와 주로 많이 사용한다.

> **He Initialization**
> **He Initialization** (또는 Kaiming Initialization)

`ReLU` 와 함께 많이 사용되는 방법으로, LeCun 방법과 같지만 상수를 다르게 하였다. 들어오는 노드만 고려한다.

Expand All @@ -382,6 +382,7 @@ $$
#### References

- [가중치 초기화 (Weight Initialization) - reniew's blog](https://reniew.github.io/13/)
- [[Deep learning] 가중치 초기화(weight initialization) (feat. Xavier, He,normal, uniform) - 독립성이 강한 ISFP](https://resultofeffort.tistory.com/114)

---

Expand Down