PixelRNN

PixelRNN은 이미지 생성 모델로, 이미지의 픽셀을 순차적으로 예측하는 방식을 사용한다. 주로 자연스러운 이미지 생성을 목표로 하며, 각 픽셀의 값은 이전 픽셀들의 값에 의존하는 확률 모델을 기반으로 계산된다. PixelRNN은 픽셀 간의 의존성을 학습하여 점진적으로 이미지를 생성하는데, 이를 통해 더 세밀하고 자연스러운 이미지를 얻을 수 있다.

arXiv:1601.06759

주요 특징:

1. 순차적 예측: 이미지를 한 번에 생성하는 대신, PixelRNN은 픽셀을 하나씩 순차적으로 예측한다. 각 픽셀은 그 이전에 생성된 픽셀들에 의존하게 된다.
2. RNN 구조: PixelRNN은 순환 신경망(RNN)을 사용하여 이미지의 각 픽셀을 생성한다. 각 픽셀은 행렬의 가로와 세로 방향에서 각각의 RNN 계층을 통해 계산되며, 이를 통해 픽셀 간의 장기적인 종속성을 유지한다.
3. 위치 의존성: PixelRNN은 각 픽셀의 위치에 따라 다르게 동작하는데, 이는 같은 이미지에서도 위치에 따른 픽셀 값이 달라지는 현상을 반영한 것이다. 이를 통해 이미지의 구조적 특성을 잘 포착할 수 있다.
4. 모델 변형: PixelRNN에는 두 가지 주요 변형이 있다.
   • 직렬 PixelRNN: 이미지를 픽셀 단위로 순차적으로 예측하는 방식이다.
   • PixelCNN: RNN 대신 CNN(합성곱 신경망)을 사용하여 병렬화된 형태로 이미지를 생성하며, 연산 속도가 빠르다.
5. 손실 함수: 각 픽셀은 확률적 예측을 기반으로 생성되기 때문에, 손실 함수로는 로그 가능도(log likelihood)를 사용하여 실제 픽셀 값과 예측된 확률 분포 간의 차이를 줄이는 방식으로 모델을 학습한다.

장점:

• 정확한 이미지 생성: 순차적 방식으로 픽셀을 생성하기 때문에 고해상도 이미지에서 더 세밀한 디테일을 유지할 수 있다.
• 높은 표현력: RNN 구조 덕분에 이미지의 복잡한 패턴과 장기적인 종속성을 효과적으로 학습할 수 있다.

단점:

• 느린 속도: 픽셀을 하나씩 생성하기 때문에 이미지 생성 속도가 느리다. 특히 고해상도 이미지의 경우 시간이 많이 걸릴 수 있다.
• 병렬화 어려움: 순차적 예측 과정 때문에 병렬 처리가 어려워, 대규모 데이터셋에서의 학습 속도도 상대적으로 느리다.

PixelRNN은 이후에 나온 모델들(예: GAN, VAE 등)보다 학습 속도가 느리지만, 픽셀 수준의 세밀한 이미지 생성을 위해 중요한 기여를 한 모델로 평가된다.