작년 CVPR 2019에서 발표한 논문 중에 Story로 부터 주요 문장들을 추출하여 각 문장에 해당하는 이미지를 생성하는 Story Visualization이라는 재밌는 task를 제안했네요.논문을 간단히 요약하자면, 입력으로 Story를 받고 이를 요약하여 출력으로 이미지를 만들어 낸다는 것인데 입력story의 contextual information을 포착해서 적절한 이미지를 생성합니다.이미지를 생성하는 과정에서 요즘 가장 핫한 모델인 Generative model (GAN)을 사용해서 성공적으로 학습했다는 것이 흥미롭네요. 확실히 요즘 GAN이 여기저기 다양하게 적용되면서 신선한 주제가 많이 나오는 것 같아요. 제안하는 모델인 StoryGAN은 Story Encoder, Context Encoder, Image Discriminator, Story Discriminator로 구성된다고 합니다! 궁금하신 분들을 위해 논문 링크 첨부드립니다~
