칼럼
웹툰 스토리 작가를 도울 수 있는 AI 기술은 무엇이 있을까?
그림 말고 스토리에서도 인공지능의 도움을 받을 순 없을까?
엘프화가 (AB프로젝트 대표) 2021.06.25



웹툰 스토리 작가를 도울 수 있는 AI 기술은 무엇이 있을까?

4차 산업혁명이 대두되며 인공지능이 우리의 삶을 어떻게 바꿔놓을지에 대한 관심이 뜨겁습니다. 이러한 추세는 만화계 역시 마찬가집니다. 만화계에서는 인공지능을 활용한 기술을 어떻게 만화에 접목 수 있을지가 주목받고 있습니다. 대표적인 사례가 바로 작년 2월 일본에서 나온 <파이돈>이라는 작품입니다. 이미 사후 30년이 지난 데즈카 오사무의 신작이라며 홍보한 이 만화는 데즈카의 작품을 학습한 인공지능을 통해 제작되었습니다. 실상을 확인해보니 인공지능보단 협업한 사람의 손이 더 많이 간 작품이었지만, ‘인공지능이 만화를 만들 수 있을까?’라는 질문에 대해 만화계 내외에 한번 생각해보게 된 계기가 된 것은 분명합니다. 



△ <파이돈> 속표지

<파이돈>과 같이 독특한 사례가 아니더라도, 인공지능을 이용한 기술을 만화 제작 공정에 활용하려는 시도는 늘어나고 있습니다. 특히 눈에 띄는 것은 자동채색 기술입니다. 2019년 네이버 웹툰 AI tech 팀에서는 자동채색 기술을 시연한 바 있습니다. 네이버 웹툰은 자동채색 외에 자동 펜 터치 등에도 관심을 보이며 만화 제작 공정의 자동화 기술 개발에 꽤나 적극적인 모습을 보이고 있습니다. 또한 픽시브 사에서는 이전에 ‘Petalica Paint’라는 이름의 자동채색을 할 수 있는 사이트를 내놓았는데요. 지난달에는 ‘Petalica Paint for Manga’라는 이름의 새로운 자동채색 서비스를 법인용으로 시범 출시했습니다. ‘Petalica Paint’와의 차이점은 ‘for Manga’라는 이름처럼 만화 원고에 특화되어있어, 각 채색 부위를 독립된 레이어로 생성해 준다는 점 등이 있습니다. 


하지만 이처럼 만화와 인공지능의 접목은 대부분 이미지에 집중되어 있습니다. 펜선, 채색 등에 비해 만화의 스토리에 특화된 인공지능 연구는 잘 보이지 않습니다. 아마 만화에서 가장 눈에 띄는 부분이 그림이라서 그렇겠지만, 스토리 역시 만화를 구성하는 중요한 한 축입니다. 그럼 스토리 작가가 사용할 수 있는 AI 기술은 없을까요? 다행히도, '만화' 스토리에 특화된 연구는 잘 보이지 않지만 소설이나 스토리 작법과 관련된 AI 기술은 꽤 진전이 있는 편입니다. 

여기서 잠깐 만화 스토리 작가가 하는 일을 짚고 넘어가도록 하겠습니다. 만화 스토리 작가는 시나리오 작성을 합니다. 전체 이야기의 얼개와 흐름을 잡고 나면, 그다음에는 각 화의 갈등을 만듭니다. 이 과정에서 스토리 작가는 글 콘티를 작성합니다. 글 콘티는 만화에 들어가는 글(대사나 효과음 등)을 포함하여 배경, 상황 묘사, 캐릭터의 행동 등을 적어 놓은 것 말합니다. 대본 형식으로 적는 분도 있고 소설처럼 쓰시는 분도 있어 형식은 다양합니다. 또한 최근에는 스토리 작가가 글 콘티뿐만 아니라 그림 콘티도 함께 담당하는 경우가 늘어나고 있습니다. 이 중 인공지능을 활용할 수 있는 부분은 어떤 게 있는지 한 번 알아보도록 합시다. 


인공지능의 글쓰기


인공지능이 만화 작가에게 어떤 영향을 미칠까요?

제가 이 질문을 한 이유는 제가 작가이기 때문이자, 제 직업이 인공 지능의 영향을 받을 것임을 알기 때문입니다. 

또한 만화를 만들고 AI를 사용하고 싶은 입장이기도 합니다.

더 나은 만화를 만들기 위해서라고 할 수 있겠습니다. 

또한 저는 소프트웨어 프로그래머이기도 하며, AI의 미래에 매우 관심이 있습니다. 

내 주요 질문 중 하나는, 직업이 없는 모든 인간에게 어떤 일이 벌어질 지입니다. 모든 일이 AI에 의해 수행되기 때문입니다. 

나는 많은 질문이 있지만 나중에 글을 게시하겠습니다.

시간을 내어 읽어 주셔서 감사합니다. 1)


  어떤가요? 약간 어설프긴 하지만, 꽤 그럴듯하지 않나요? 상단의 글은 이 글의 주제인 'AI가 만화 작가에게 어떤 영향을 미치게 될까?' 를 AI에게 제시한 다음 출력된 내용을 옮긴 것입니다.  GPT-3는 2020년 6월에 등장한 언어 모델로, 질문을 넣으면 상당히 자연스러운 답변이 출력됩니다. 실제로 GPT-3을 활용한 다양한 글 작성 소프트웨어가 발표되고 있습니다.



△ TotalLib의 화면

팀은 고양이를 잡았지만...

나는 그 집을 지나가다가 팀이 문에서 나오는 것을 보았다. 

나는 전에 그를 본 적이 있었지만, 꽤 오래전 일이었다. 

내가 자선단체에서 운영하는 한 가게에서 일하고 있을 때, 그가 들어왔다. 

나는 그곳에서 무언가를 사려고 하고 있었고, 그는 거기에서 멈추지 않고 가게를 지나갔다.

그는 다시 차고 문으로 들어가고 있었다. 나는 고양이가 아직 거기에 있는지 확인하기 위해 그를 따르기로 결정했다. 

나는 그의 운전 끝에 있는 불이 꺼지는 것을 보았다. 그리고 나는 안에서 움직임을 보았다. 나는 현관으로 올라가서 문을 두드렸다.

그는 "들어와"라고 이야기했다. 나는 고양이의 인사를 받았다. 그녀는 나를 쳐다보며 야옹 하기 시작했다. 

하지만 나는 그에게 내가 잠시만 있을 것이라고 말했고, 그는 고개를 끄덕였다.

나는 그가 뒷방으로 천천히 움직이는 것을 보았고 나는 따라갔다.


위 글은 역시 GPT-3를 이용한 Shortly AI라는 서비스에서 작성한 글입니다. 앞서 언급한 totalLib과 달리 문학에 특화된 서비스입니다. 역시 영어문장을 한글로 의역한 글이긴 합니다만, 상당한 수준의 글을 만들어 내는 것을 알 수 있습니다.



△ Shortly AI의 화면

GPT-3을 활용한 인공지능의 개선은 해외만의 일은 아닙니다. 2021년 5월 25일, 네이버는 ‘하이퍼클로바’ 라는 GPT-3기반 인공지능을 발표하였습니다. 앞선 연구와 달리 한글을 기반으로 학습한 AI이므로, 국내에서도 관련 서비스가 쏟아져 나오리라 기대됩니다. 기회가 된다면 저도 사용해 보고 싶은 기술 중 하나입니다.


이미 영화계에서는 인공지능을 활용해 시나리오를 만드는 시도를 하고 있습니다. 2016년에는 발표된 <Sunspring>은 최초로 AI가 시나리오를 담당한 영화입니다. 2020년 10월에 발표된 <Solicitors>는 앞서 언급한 GPT-3로 시나리오를 작성했습니다. 둘 다 아주 짧은 단편이고, 개연성이 없거나 난해하다는 평을 듣긴 했지만 인공지능을 이용한 스토리 창작의 단서를 얻을 수 있는 사례들입니다. 



그럼, 국내에서 인공지능을 스토리작가의 작업 프로세스에 활용하는 것을 시도한 사례는 없었을까요? 시나리오 작가들에게 유명한 이라는 작법서가 있습니다. 이 작법서는 헐리우드에서 널리 사용되는, 하나의 시나리오를 15개의 장으로 나누어 정리하고 구성하는 작법을 설명하고 있습니다. 작년, 저는 국내에서 진행된 ‘Save the AI Cat’이라는 프로젝트에 참여했습니다. Save the AI Cat은 Save the cat 기반으로 분석한 데이터를 AI에게 학습 시켜 스토리 작가에게 도움을 줄 수 있는 프로그램을 만들고자 하는 프로젝트였습니다. 많지 않은 데이터를 사용한 터라 오류는 많았지만 나름대로 유의미한 결과를 보였습니다. 



△ Save the AI cat의 UI (제공 : 엘프화가)

그림 콘티는 인공지능이 못하나?

최근에는 글 콘티뿐만 아니라 그림 콘티까지 담당할 수 있는 스토리작가가 환영받고 있습니다. 스토리 작가가 그림 콘티까지 그릴 수 있으면 그림 작가에게 스토리나 연출 의도가 훨씬 더 명확하게 전달되기 때문이죠. 하지만 그림 콘티 역시 상당한 시간이 소요되는 작업입니다. 만약 AI가 그림 콘티를 자동으로 작성해준다면 어떨까요? 그럼 스토리작가는 스토리 구성이나 재미에 좀 더 집중할 수 있지 않을까요? 글 콘티와 마찬가지로 그림 콘티를 목적으로 인공지능을 학습시키는 연구를 아직까지는 찾을 수 없습니다. 다만, 관련 기술들은 상당히 발전된 상태입니다.

먼저, 이미지를 넣으면 거기에 태그를 넣어주는 AI 기술은 이미 상업화되어 있습니다. 이를 적극적으로 사용하는 서비스 중 mymind라는 서비스가 있습니다. Mymind는 일종의 자료 정리 서비스인데, 사진 등을 넣으면 AI를 이용해 관련된 태그를 생성해줍니다. 얼굴 이미지를 넣으면 머리카락 색상, 얼굴 각도, 어떤 부위가 보이는지, 색상은 어떤 것이 사용되었는지 등을 분석해줍니다. AI 학습에 가장 중요한 것이 이렇게 데이터를 ‘태깅(Tagging)’하는 일인데요. 이런 데이터 태깅을 웹툰에 적용하면 훌륭한 기반데이터를 생성할 수 있을 것으로 생각됩니다.

또, 작년에는 영화 WALL•E에서 이름을 따온 DALL•E라는 AI 기술이 공개되어 인공지능계에 큰 반향을 불러일으킨 적이 있습니다. 이 기술의 특징은 두 가지입니다. 하나는 글을 입력하면 그걸 이미지로 표현해준다는 것이고, 다른 하나는 그 이미지가 실제 사진이나 인간이 만든 것 같은 멋진 결과물로 출력된다는 것입니다. 앞서 이야기한 기술로 스토리 작가들이 만든 콘티를 학습시키고, 이 글을 이미지로 바꿔주는 기술로 적용한다면, 아마 상당히 빠르게 자동 그림 콘티 기술이 상용화될 것으로 짐작해볼 수 있습니다.


인공지능이라는 도구를 통해 더 나아질 미래를 꿈꾸며

현재 저는 ‘웹툰툴’ 이라는 장기 프로젝트를 진행하고 있습니다. 웹툰 제작에 필요한 다양한 신기술을 개발하고 실제로 적용하는 프로젝트로, 현재는 '글 콘티를 그림 콘티로 변환'하는 자동화를 진행 중입니다. 차후 캐릭터 관리나 자동 그림 콘티 생성 기능, 시나리오 매력 체크 등 인공지능을 활용한 다양한 기능을 개발할 예정이며, 이중 상당수가 웹툰 작가들에게 도움이 되는 기능이 될 것이라고 생각합니다. 



△ 현재 개발 중인 웹툰툴의 글 콘티를 그림 콘티로 변환하는 화면

 인공지능의 발전이 결국에는 인간을 위협하게 되는 게 아닐지에 대한 우려가 많습니다. 하지만 저는 인공지능의 발전은 우리의 삶을 더욱 효율적으로 만들고, 우리의 삶을 더 나은 방향으로 이끌어 갈 것이라고 생각합니다. 생각해보면 인류는 원시 시절부터 원하는 목적을 이루기 위해 도구를 발명해왔습니다. 인공지능도 인간이 목적을 위해 발명한 도구인 것이죠. 도구의 발전을 통해 우리의 삶은 과거보다 확실히 편리하고 윤택해졌습니다. 이제 우리는 이제 불을 피우고 싶을 때 손 아프게 몇 백 번씩 마찰을 할 게 아니라 라이터를 켜거나 가스레인지 레버를 돌리면 되는 것처럼요. 인공지능을 어떤 목적으로 사용할지에 대해서는 앞으로도 끊임없는 고민이 필요하겠지만, 저는 인공지능으로 조금 더 나은 세계가 되길 바라고, 그러리라 믿습니다.



1) GPT-3 언어 모델을 활용한 TotalLib의 글. 영어에서 한국어로 번역했다.
칼럼
즉시 전력이 되고 싶은 작가에게 필요한 역량과 덕목
윤석은
2021.09.17
학교나 아카데미 등을 통해 차근차근 역량을 쌓고 싶은 사람도 있지만, 웹툰업계에서 즉각 활약하고 싶은 사람도 있다. 그런 이들을 위해 실무를 진행하는 스튜디오에서는 어떤 인재를 원하는지 소개한다.
세계의 만화축제, 글로 배웠습니다만
조경숙
2021.09.16
이번 달 9월에는 부천국제만화축제가 열렸다. 해외에서는 어떤 만화축제들이 열리고 있는지 알아보자.
몇 분의 즐거움을 위해 일주일을 일한다 : 전업 웹툰 어시스턴트
정예리
2021.08.31
웹툰업계의 수많은 구성원 중 하나인 어시스턴트. 어시스턴트가 하는 일, 작업 방식에 대해 알아본다.
코로나 시대 만화 분야 종사자는 어떻게 지내고 있을까?
남희승
2021.08.26
코로나로 인해 타격을 받은 예술분야, 하지만 한편으로는 코로나로 인해 언택트의 부흥을 등에 업고 오히려 성장중이기도 하다. 이 가운데 만화업계 종사자들은 어떤 고민을 하며 무엇을 필요로 하고 있을까?
오픈 플랫폼이 다르게 일하는 방식 : 포스타입의 사례
신규섭
2021.08.24
오픈 플랫폼은 창작자들에게 모든 것을 맡긴다는 인상이 있다. 오픈 플랫폼에서는 어떤 일을 할까?
각색 작가는 무슨 일을 하나요?
바킹독
2021.08.23
노블코믹스가 유행하는 요즘, 각색 작가는 어떻게 원작을 웹툰으로 각색할까? 각색할 때 중요한 것은?
만화의 역사로 만화 보기 ①: 만화는 그림이 아니다
박인하
2021.08.20
찬찬히 들여다보는 만화의 역사
웹소설계에서 바라보는 웹소설 원작 웹툰화
이융희
2021.08.20
웹소설 작가이자 교수의 시선으로 보는 웹소설 웹툰화
웹툰의 플레이어들: 스마트폰에서 만나는 작품이 되기까지
홍윤선
2021.08.19
웹툰 기업의 '웹툰사업부'에서는 어떤 일을 할까?
굿즈의 탄생 : 만화 마케터의 굿즈 제작 일대기
김수현
2021.08.19
정년이부터 하네되까지, 실제로 굿즈를 만들기 위해 조력하는 마케터의 이야기를 들어본다.
웹툰 작가 데뷔에는 왕도가 없다! 수많은 선택지 중, 당신의 선택은?
김한재
2021.08.11
과거에 비해 훨씬 다양해진 만화가로 데뷔하는 방법, 총정리!
웹툰 원고의 월화수목금토일
조경숙
2021.08.06
웹툰 작가의 손에서 시작해 독자들이 보기까지, 1주일마다 한편씩 만들어지는 웹툰은 어떻게 만들어지는 걸까?
웹툰 관련 대학에 어서오세요 (2) : 웹툰 전공 커리큘럼 및 입시 방법
김은권
2021.08.02
대학의 웹툰 관련 전공의 커리큘럼은 어떻게 구성되어있을까? 웹툰 관련 대학의 입시 방법에는 무엇이 있고 어떻게 입시를 준비할 수 있을까?
웹툰 관련 대학에 어서오세요 (1) : 웹툰을 대학에서 배워야 하는 이유
김은권
2021.07.30
대학에 가지 않고 웹툰 작가로 데뷔하는 경우도 많다. 그렇다면 웹툰 관련 대학에 진학해야 하는 이유는 무엇일까?
나의 데뷔 스토리 : 박물관 학예사에서 웹툰작가로
2021.07.23
처음부터 만화가를 준비하진 않았지만 결국에는 만화가가 된 꼬 작가의 데뷔 이야기
편집부에서는 이런 작가님을 찾습니다
이형동
2021.07.21
플랫폼의 PD는 어떤 기준으로 작품을 고를까? 계약부터 작품 런칭까지 PD는 작가와 어떤 식으로 협업할까? 만화경 PD가 답한다.
데뷔 전에 미리 알았으면 좋았을 것들
곽나나
2021.07.21
연재를 시작하면 끝없이 휘몰아치는 마감을 견뎌야하는 웹툰 작가들. 연재를 시작하기 전에 미리 알았으면 좋았을 것들을 소개한다.
나의 데뷔 스토리 : 그렇게 만화가가 된다
양세준
2021.07.16
공모전, 투고만이 데뷔 방법은 아니다. 웹툰과 출판만화를 오가며 데뷔한 양세준 작가의 이야기.
모두가 잘 되는 작품을 만드는 건 아니니까 : 이렇게 사는 작가도 있습니다
히요
2021.07.16
작가라고 모두가 성공하는 것은 아니다. 재능도, 운도 없다면 작가가 될 수 없는 걸까? 크게 성공하지 않아도 전업 작가로 살아가는 작가의 이야기.
좋은 포트폴리오 만드는 방법 : 어떤 SNS를 활용해서 어떻게 쌓을까?
이동우
2021.07.13
포트폴리오의 중요성은 알겠는데, 어떻게 해야 좋은 포트폴리오를 만들 수 있을까?