다층 퍼셉트론
다층 퍼셉트론(multilayer perceptron, MLP)은 여러 개의 완전연결 계층을 쌓아 만든 인공신경망 구조이다. 딥러닝의 가장 기본적인 구조로, 다른 신경망 구조들의 공통 기반이 된다.
개요
단층 퍼셉트론은 입력을 선형 결합한 뒤 판정하는 구조로, 선형으로 나뉘는 문제만 풀 수 있었다. 은닉층을 추가하고 비선형 활성화 함수를 사용한 다층 구조는 XOR 문제를 포함한 비선형 분류를 가능하게 했다. 1986년 오차역전파(backpropagation) 알고리즘이 제안되면서 은닉층의 가중치를 학습할 수 있게 되었고, 이후 딥러닝의 기반이 되었다.
핵심 개념
완전연결 계층
완전연결 계층은 이전 계층의 모든 뉴런이 다음 계층의 모든 뉴런과 연결되는 구조이다. 각 연결에는 가중치가 있고, 계층에는 편향(bias)이 더해진다. 입력 차원이 클수록 가중치 수가 급격히 늘어나는 것이 특징이다.
활성화 함수
활성화 함수는 뉴런의 출력에 비선형성을 부여한다. 대표적으로 ReLU, 시그모이드(sigmoid), tanh가 있으며, 활성화 함수가 없으면 계층을 아무리 쌓아도 선형 변환과 같아진다.
오차역전파
오차역전파는 손실 함수의 기울기를 출력 계층에서 입력 계층 방향으로 전파하여 각 가중치의 기울기를 계산하고, 경사하강법으로 가중치를 갱신하는 학습 방법이다.
손실 함수와 경사하강법
모델의 출력과 정답 사이의 차이를 손실 함수로 계산하고, 그 기울기를 따라 가중치를 반복적으로 갱신한다. 분류에는 교차 엔트로피, 회귀에는 평균 제곱 오차가 자주 사용된다.
구조적 특징과 한계
MLP는 구조가 단순하고 범용적이어서 테이블 형태의 정형 데이터에 강하다. 보편 근사 정리(universal approximation theorem)에 따르면 충분한 크기의 단일 은닉층으로도 다양한 연속 함수를 근사할 수 있다.
다만 입력을 1차원 벡터로 평탄화해야 하므로, 이미지나 시퀀스처럼 구조를 가진 입력에서는 파라미터가 폭증하고 위치·순서 정보를 활용하기 어렵다. 이러한 한계를 개선하기 위해 컨볼루션 신경망, 순환 신경망, 트랜스포머가 등장했다.