• 이런 경우, 흰 바탕은 전부 0이고 검정색으로 표현된 부분은 255를 가짐
• 얘는 28 x 28사이즈의 그림인데 좌측 상단부터 쭉 1차원 벡터로 펴서 이어붙이면 0000000000 ….. 1111 ….000000이렇게 1인 부분은 별로 안되고 전부 0일거임
• 그렇다면 28^2의 784를 전부 모델에 넣을 필요가 있는가?
• 아님 → 그래서 진행하는 것이 차원 축소!

1. 선형 차원 축소 : 주성분분석(PCA)

• 고차원의 공간에 샘플들이 분포하고 있을 때 분포를 잘 설명하는 새로운 축을 찾아내는 과정
• 이를 진행하면 111로 표현되는 희소한 벡터들이 존재할 때 좀 더 밀도 높은 표현의 벡터로 나타낼 수 있게됨

• 위 두가지를 만족하는 축을 찾음!
• 데이터를 축에 사영했을 때 가장 높은 분산을 가지는 데이터의 축을 찾아 그 축으로 차원을 축소하는 것인데, 이 축을 주성분이라고 함
• 높은 분산을 가진다 = 정보의 손실이 적다 = 원래 데이터의 분포를 잘 설명한다.

• 좌측의 축이 데이터를 잘 설명함
• 우측은 너무 따닥따닥 붙어있어서 구분이 힘들고 데이터 간의 거리가 멀다.
• 그러나, 비선형 경계선은 PCA를 통한 축을 찾는게 어렵다.