아무것도 모르는 공대생의 지식 탐험기
모두의 딥러닝 5일차 (ch 07 ) 본문
퍼셉트론과 인공지능의 시작
퍼셉트론과 XOR 문제: 인공지능의 시작과 한계
오늘날 인공지능(AI)은 다양한 문제를 해결하며, 특히 신경망을 기반으로 한 딥러닝이 큰 주목을 받고 있다. 그 출발점에는 퍼셉트론(Perceptron)이 있다. 퍼셉트론은 가장 기초적인 인공 신경망 모델로, 데이터를 기반으로 참(True)과 거짓(False)을 분류하는 역할을 한다. 하지만, XOR 문제와 같은 특정한 한계가 존재했으며, 이를 극복하기 위한 연구가 딥러닝 발전의 시발점이 되었다.
1. 퍼셉트론이란?
퍼셉트론은 프랭크 로젠블랫(Frank Rosenblatt)이 1958년에 개발한 기계 학습 모델로, 신경망의 기본 단위이다. 퍼셉트론은 이진 분류(Binary Classification) 문제를 해결하는 데 사용되며, 여러 입력 값을 받아 특정 기준에 따라 분류하는 역할을 한다.
퍼셉트론의 구조
퍼셉트론의 동작 방식은 아래와 같다:
- 입력 값과 가중치 결합: 여러 개의 입력 값(X)에 각각의 가중치(W)를 곱한 후 더한다.
- 바이어스 추가: 일정한 값을 더하여 모델이 더 유연하게 학습할 수 있도록 한다.
- 활성화 함수 적용: 특정 임계값을 넘으면 1(참), 그렇지 않으면 0(거짓)으로 변환한다.
퍼셉트론의 계산식은 다음과 같다:
여기서,
- x: 입력 값
- w: 가중치
- b: 바이어스(절편)
- z: 최종 계산 값(가중합)
출력 값은 활성화 함수(Activation Function)를 통해 결정된다. 대표적으로 시그모이드 함가 사용되며, 아래와 같은 방식으로 작동한다.
이러한 원리를 바탕으로 퍼셉트론은 논리 AND, OR 같은 간단한 문제를 해결할 수 있다.
2. 퍼셉트론의 한계와 XOR 문제
퍼셉트론은 강력한 모델이지만, 한 가지 중요한 한계를 가지고 있다. 바로 XOR(배타적 논리합) 문제를 해결할 수 없다는 점이다.
XOR 문제란?
- XOR 문제는 선형 분리(퍼셉트론, 아달라인)가 불가능한 문제로, 하나의 단층 퍼셉트론으로는 해결할 수 없음을 보여줌
퍼셉트론의 한계를 증명한 마빈 민스키
1969년, 마빈 민스키(Marvin Minsky)는 논문 "Perceptrons"에서 퍼셉트론이 XOR 문제를 해결할 수 없음을 수학적으로 증명했다. 이는 당시 인공지능 연구에 큰 충격을 주었으며, AI 연구가 한동안 침체되는 "AI의 겨울(AI Winter)"을 초래하는 계기가 되었다.
3. XOR 문제 해결 방법
XOR 문제를 해결하기 위해 연구자들은 새로운 접근법을 모색했다. 그 과정에서 다층 퍼셉트론(Multi-layer Perceptron, MLP)과 오차 역전파(Backpropagation)라는 개념이 등장했다.