다층 퍼셉트론 문서 원본 보기

'''다층 퍼셉트론'''(multilayer perceptron, MLP)은 여러 개의 완전연결 계층을 쌓아 만든 인공신경망 구조이다. 딥러닝의 가장 기본적인 구조로, 다른 신경망 구조들의 공통 기반이 된다.

== 개요 ==
단층 퍼셉트론은 입력을 선형 결합한 뒤 판정하는 구조로, 선형으로 나뉘는 문제만 풀 수 있었다. 은닉층을 추가하고 비선형 활성화 함수를 사용한 다층 구조는 XOR 문제를 포함한 비선형 분류를 가능하게 했다. 1986년 오차역전파(backpropagation) 알고리즘이 제안되면서 은닉층의 가중치를 학습할 수 있게 되었고, 이후 딥러닝의 기반이 되었다.

== 핵심 개념 ==

=== 완전연결 계층 ===
완전연결 계층은 이전 계층의 모든 뉴런이 다음 계층의 모든 뉴런과 연결되는 구조이다. 각 연결에는 가중치가 있고, 계층에는 편향(bias)이 더해진다. 입력 차원이 클수록 가중치 수가 급격히 늘어나는 것이 특징이다.

=== 활성화 함수 ===
활성화 함수는 뉴런의 출력에 비선형성을 부여한다. 대표적으로 ReLU, 시그모이드(sigmoid), tanh가 있으며, 활성화 함수가 없으면 계층을 아무리 쌓아도 선형 변환과 같아진다.

=== 오차역전파 ===
오차역전파는 손실 함수의 기울기를 출력 계층에서 입력 계층 방향으로 전파하여 각 가중치의 기울기를 계산하고, 경사하강법으로 가중치를 갱신하는 학습 방법이다.

=== 손실 함수와 경사하강법 ===
모델의 출력과 정답 사이의 차이를 손실 함수로 계산하고, 그 기울기를 따라 가중치를 반복적으로 갱신한다. 분류에는 교차 엔트로피, 회귀에는 평균 제곱 오차가 자주 사용된다.

== 구조적 특징과 한계 ==
MLP는 구조가 단순하고 범용적이어서 테이블 형태의 정형 데이터에 강하다. 보편 근사 정리(universal approximation theorem)에 따르면 충분한 크기의 단일 은닉층으로도 다양한 연속 함수를 근사할 수 있다.

다만 입력을 1차원 벡터로 평탄화해야 하므로, 이미지나 시퀀스처럼 구조를 가진 입력에서는 파라미터가 폭증하고 위치·순서 정보를 활용하기 어렵다. 이러한 한계를 개선하기 위해 [[컨볼루션 신경망]], [[순환 신경망]], [[트랜스포머]]가 등장했다.

== 함께 보기 ==
* [[컨볼루션 신경망]]
* [[순환 신경망]]
* [[트랜스포머]]

== 출처 ==
* [https://en.wikipedia.org/wiki/Multilayer_perceptron 위키백과: Multilayer perceptron]
* [https://www.nature.com/articles/323533a0 Learning representations by back-propagating errors (Rumelhart et al., 1986)]
* [https://en.wikipedia.org/wiki/Universal_approximation_theorem 위키백과: Universal approximation theorem]

[[분류:인공신경망]]
[[분류:머신 러닝]]