styleGAN2 논문리뷰_2. StyleGAN2
논문제목 : Analyzing and Improving the Image Quality of StyleGAN
논문 사이트 : 1912.04958.pdf (arxiv.org)
발행년도 : 2020.03.23
StyleGAN2의 contribution
- 본 논문에서는 w space 에서의 analysis를 진행함 -> 이전연구와 마찬가지로 z->w 매핑네트워크 사용
- 기존 아키텍처의 문제점을 지적함
- 1) AdaIN style transfer -> blob like artifact 발생
- 2) progressive growing -> 얼굴 특정 부분이 fixed position갖는문제(phase artifact) 발생
- 성능 개선 위한 방법 제안
- 1) 새로운 generation 아키텍처 제안 : path length regularization : fixed-size step in W results in a fixed-magnitude change in the image -> 결과적으로, latent interpolation에 따라 이미지가 부드러운 변화를 보이게됨
- 2) 이미지를 latent vector로 inversion 하는 새로운 알고리즘 제안 : 특정사람 얼굴이있을떄, 이러한 사람얼굴을 만들수있는 latent vector를 찾음 -> 이 latent vector를 조금씩 변경해서 성별, 나이등 manipulation이 가능해짐
[ styleGAN2까지의 발전과정 ]
StyleGAN의 문제상황
1. Blob-like(droplet) artifact
- 이러한 artifact(빨간 표시 부분)는 생성자에서 만들어지는 이미지의 해상도가 커지며 더욱 확실히 드러남
- 1000장중 1장이 artifact 안나오는데, 결국 corrupted 이미지 생성된다
2. Phase artifact
- 특정요소가 아닌, 특정한 로케이션에 stuck되어서 빠져나오지 못하는 상황.
- Ex) 얼굴방향과 시선이 바뀌더라도 치아의 위치가 바뀌지 않고 그대로임
Removing Normalization Artifacts
결과적으로, nolmalization 을 demodulation으로 대체하여 blob-artifact가 제거된 것을 확인할수있음
( full controllability : 아키텍처가 변경되었지만 여전히 기존과동일하게 controllability가 있는 네트워크)
--- 두줄정리 ---
styleGAN = high-resolution이미지를 효과적으로 생성 / visible artifacts 존재
styleGAN2 = droplet artifact가 제거되고, 결과이미지의 퀄리티 좋아짐
- 위에 두줄 : 스타일갠 2 : coarse grained 유지, find graind 만 변경됨 (치아, 얼굴 배경 등 색상정보 위주로 변경됨, 방향은 변경 안됨) -> 의도한 스타일대로 변경 가능, 예측 가능함
- 아래두줄 : 기존 스타일갠1에서 사용하는 그대로를 가져온 것
StyleGAN2 : Image Quality and Generator Smoothness
recall : 이미 학습되어 있는 CNN 기반의 이미지분류모델을 feature extractor 로 사용하여 이미지의 feature값 뽑은 뒤 그것을 분석하여 점수를 얻는 방식
PPL : latent vector가 변경됨에 따라 이미지가 얼마나 부드럽게 바뀔 수 있는지 수치로 나타내는 것( 낮을수록 더 좋은 결과 이미지 보임)
새로운 평가지표 smaller ppl 의 필요성
PPL을 줄이는방법
Lazy regularization : 매번 정규화를 진행하지 않고 가끔 한번씩 진행하자
Path length regularization : 생성자를 학습할 때 사용한 정규화 테크닉
자주보이는 현상(문제점) : strong location preference
StyleGAN 에서는 feature가 다음 preferred location으로 이동하기전에 한 부분에 머무르는 현상이 있음
-> StyleGAN2 는 progressive growing의 장점을 유지한상태로 단전 개선함
styleGAN2: Resolution Usage
- 각각의 해상도가 실질적으로 최종결과에 어느 정도의 영향을 미치는지 분석
Stand deviation 값이 높다 = 실질적으로 결과 이미지에 미치는 contribution이 크다 = 다양한결과 생성가능
결과적으로 이미지의 (b)에 해당하는 config F 가 styleGAN2 에서 제안하는 아키텍처
Image Manipulation Using StyleGAN
- Engoding step = 특정이미지 x가 있을떄, 이러한x를 만들수있는 latent 벡터를 찾는것
- Manipulation step = Latent 벡터를 업데이트해서 웃는얼굴을 만드는 것 등
이러한 inversion 의 수행방법 : 가장 대표적인 메소드 = Gradient Descent
styleGAN을 통해 만들어진 결과이미지 G(w) 가 특정이미지 x와 같아질수 있도록 w 업데이트를 진행(vgg와 같은 feature extractor를 이용해서 두 이미지의 feature가 유사해질수있도록 업데이트 = MSE loss)
아래는 유사해진 G(w) 볼수있음
StyleGAN2 : Inversion 메소드 제안
- Inversion : mapping, projection등으로 불리기도 함
- Inversion을 수행한 결과를 보면, 가짜사진인 초록색 차가 더 정확하게 inversion을 수행한걸 볼수있음
각각의 스타일이 잘 분리될 수 있도록 정규화(regularization)를 함께 추가해 주는게 이점이 있음
styleGAN2 : 특정이미지가 주어졌을떄 그러한 이미지를 생성할 수 있는 latnent벡터 찾는 새로운 방법제안
-> 이는 이미지포렌식에 유용하게 쓰일수있음,
- 스타일갠2 : 생성된이미지 : inversion 거의 완벽 (실제이미지와의 차이가 있음) -> inversion 비교하며 어떤게 생성된이미지이고, 어떤게 실제 이미지인지 구분위해 활용할수도 있음
만들어진 이미지와 실제이미지가 가지는 차이를 나타내는 그래프
설명속 이미지 출처 : (7) StyleGAN2 설명 (쉽고 자세한 최신 딥러닝 논문 설명) - YouTube