• 앞선 PCA는 선형차원에서 새로운 축을 찾을 때 사용

• 오토인코더는 비선형 차원 축소를 수행할 수 있도록 하는 심층 신경망

• 입력을 출력으로 복사하는 신경망

  • 여기에 여러 제약을 주면 어려운 신경망이 됨

  

• 인코더와 디코더로 구성되어 있음
• 인코더 : 데이터의 차원 축소와 복원 진행
  • 입력을 내부 표현으로 변환
• 디코더 : 인코더의 중간 결과물을 받아 입력 샘플과 같아지도록 압축 해제를 수행함
  • 내부 표현을 출력으로 변환

→ 이 때 입력과 출력 사이에 입력층보다 적은 수의 뉴런을 가진 은닉층을 중간에 넣어 차원을 줄임

→ 학습을 통해 소실된 데이터를 복원함

→ 입력데이터의 특징을 효율적으로 응축한 새로운 출력이 나오게 됨

은닉표현

• 중간 결과물 벡터 z를 입력 샘플 x에 대한 은닉표현이라고 부름
• 이 z가 존재하는 공간 = 은닉공간
• 아래 그림은 MNIST 데이터 셋의 각 숫자들의 은닉공간을 다른 색으로 표현함

• 은닉 벡터는 원하는 출력을 뱉어내는데 필요한 정보를 해당 모델만 알고 있는 방법으로 감춰놓고 있음