img2img로 손그림 스케치를 완성작으로 변환하는 방법

이 글에서는 손그림 스케치를 단계별로 차근차근 정리했습니다.

목차

• 손그림 스케치 — img2img가 텍스트-투-이미지와 다른 점
• 디노이즈 강도가 결과를 좌우한다
• 프롬프트는 스케치와 방향이 맞아야 한다
• 실전 진행 순서
• 자주 겪는 문제

종이에 대충 그려둔 손그림 스케치, 아이디어는 좋은데 완성까지 옮기지 못하고 서랍에 쌓아두는 경우가 많습니다. 선 정리나 채색, 명암 표현까지 손으로 마무리하려면 시간과 실력이 모두 필요하기 때문입니다. 이럴 때 활용할 수 있는 것이 스테이블 디퓨전 같은 이미지 생성 AI의 img2img(이미지-투-이미지) 기능입니다. 텍스트만으로 새 이미지를 만드는 대신, 직접 그린 스케치를 기반 이미지로 넣어 그 구도와 형태를 살리면서 완성작 느낌으로 변환하는 방식입니다.

손그림 스케치 — img2img가 텍스트-투-이미지와 다른 점

일반적인 이미지 생성은 텍스트 프롬프트만으로 처음부터 이미지를 만들어냅니다. 반면 img2img는 사용자가 업로드한 이미지(스케치, 러프, 사진 등)를 출발점으로 삼고, 여기에 프롬프트로 원하는 스타일이나 디테일을 더해 새로운 이미지를 생성합니다. 즉 원본 스케치의 구도, 인물 배치, 큰 형태는 어느 정도 유지하면서 채색이나 질감, 완성도만 AI가 보완해주는 구조입니다.

이 방식이 스케치 완성에 특히 유용한 이유는, 손으로 그린 구도와 아이디어를 그대로 존중하면서 마무리 작업만 AI에 맡길 수 있다는 점입니다. 텍스트만으로 생성하면 원하는 구도가 재현되지 않는 경우가 많은데, img2img는 그 구도 자체를 입력으로 주기 때문에 결과물이 원래 의도에서 크게 벗어나지 않습니다.

디노이즈 강도가 결과를 좌우한다

img2img를 사용할 때 가장 중요한 설정은 디노이즈 강도(Denoising Strength)입니다. 이 값은 원본 이미지를 얼마나 많이 “허물고” 새로 그릴지를 결정합니다.

값이 낮을수록(대략 0.1~0.3) 원본 스케치의 선과 구조가 강하게 유지되고, AI는 색과 질감 정도만 얹는 수준으로 개입합니다. 반대로 값이 높을수록(0.7 이상) 원본은 대략적인 구도 참고용으로만 쓰이고, 사실상 새로운 이미지에 가깝게 재구성됩니다. 중간값(0.4~0.6) 구간은 구도는 유지하면서도 선 정리나 스타일 변화가 뚜렷하게 나타나는 지점으로, 러프 스케치를 완성작처럼 바꾸는 작업에서 많이 쓰이는 범위입니다.

스케치의 완성도에 따라 적절한 값도 달라집니다. 선이 거칠고 형태만 잡힌 러프 스케치라면 디노이즈 강도를 다소 높게 잡아야 자연스러운 완성작이 나옵니다. 반대로 이미 선화가 깔끔하게 정리된 상태라면 강도를 낮게 유지해야 애써 그린 선이 사라지지 않습니다. 정답이 정해진 수치는 아니므로, 0.3부터 시작해 결과를 보며 0.1 단위로 조정해보는 방식이 실전에서는 더 안정적입니다.

프롬프트는 스케치와 방향이 맞아야 한다

img2img에서도 프롬프트는 여전히 중요한 역할을 합니다. 다만 텍스트-투-이미지처럼 장면 전체를 새로 지시하기보다는, 원본 스케치에 이미 담긴 요소(인물 수, 포즈, 배경 요소)와 어긋나지 않는 선에서 스타일과 매체감을 지정하는 것이 핵심입니다.

예를 들어 “수채화 느낌”, “선명한 셀 애니메이션 스타일”, “부드러운 유화 질감”처럼 완성 스타일을 구체적으로 적어주면, 디노이즈 강도와 맞물려 원하는 톤의 결과물을 얻기 쉬워집니다. 반대로 스케치에 없는 새로운 요소(다른 인물, 다른 배경)를 프롬프트로 무리하게 넣으면, 디노이즈 강도가 낮을 때는 반영되지 않고 높을 때는 원본 구도 자체가 깨지는 경우가 많습니다. 원하는 변화가 클수록 디노이즈 강도를 함께 올려야 한다는 점을 염두에 두는 것이 좋습니다.

실전 진행 순서

스케치를 스캔하거나 사진으로 찍어 배경과 종이 얼룩이 최대한 적게 나오도록 정리한 뒤, 이를 img2img의 기반 이미지로 업로드합니다. 이후 디노이즈 강도를 중간값 정도로 두고 한 번 생성해본 뒤, 원본 구도가 얼마나 유지되는지 확인합니다. 구도가 너무 많이 바뀌었다면 강도를 낮추고, 스케치 느낌이 그대로 남아 완성작 같지 않다면 강도를 조금씩 올려가며 여러 번 시도하는 것이 일반적인 흐름입니다.

한 번에 만족스러운 결과가 나오지 않는 경우가 많으므로, 같은 스케치로 여러 시드(seed)와 디노이즈 값을 바꿔가며 여러 장을 생성한 뒤 그중 가장 마음에 드는 결과를 고르는 방식이 효율적입니다. 얼굴이나 손처럼 세부적으로 어색한 부분만 남았다면, 전체를 다시 생성하기보다 해당 영역만 인페인팅으로 손보는 편이 원본의 완성도를 더 잘 지킬 수 있습니다.

자주 겪는 문제

결과물이 원본 스케치와 거의 똑같이 나온다면 디노이즈 강도가 지나치게 낮았을 가능성이 높습니다. 반대로 구도나 인물 비율이 스케치와 전혀 다르게 나온다면 강도가 너무 높았거나, 프롬프트가 원본과 맞지 않는 방향으로 작성되었을 수 있습니다. 손가락이나 눈코입처럼 세밀한 부분이 뭉개지는 문제는 img2img 자체의 한계이기도 해서, 이런 부분은 결과를 그대로 받아들이기보다 인페인팅으로 별도 수정하는 편이 낫습니다.

손그림의 장점은 그 사람만의 선과 감각이 담긴다는 점입니다. img2img는 그 감각을 지우는 도구가 아니라, 원래 그리려 했던 완성작에 가깝게 다듬어주는 보조 수단으로 활용할 때 가장 만족스러운 결과로 이어집니다.

손그림 스케치에 대해 더 궁금한 점은 아래 자주 묻는 질문에서 확인하실 수 있습니다.

손그림 스케치 자주 묻는 질문

디노이즈 강도가 너무 낮거나 높으면 어떤 문제가 발생하나요?

디노이즈 강도가 너무 낮으면 원본 스케치의 선과 구조가 강하게 남아 AI가 색과 질감 정도만 얹는 수준에 그치고, 너무 높으면 원본은 대략적인 구도 참고용으로만 사용되어 완전히 새로운 이미지에 가깝게 재구성됩니다.

프롬프트를 작성할 때 원본 스케치에 없는 새로운 요소를 추가해도 괜찮나요?

원본 스케치에 없는 무리한 요소를 프롬프트에 넣으면 디노이즈 강도가 낮을 때는 반영되지 않고, 높을 때는 원래의 구도가 완전히 깨지기 쉽습니다. 프롬프트는 스케치의 방향성과 일치하도록 완성 스타일과 질감 위주로 지정하는 것이 좋습니다.

눈코입이나 손가락처럼 세부적인 묘사가 뭉개지는 현상은 어떻게 해결하나요?

세밀한 영역이 어색하게 생성되는 문제는 img2img 자체의 한계일 수 있으므로, 전체를 다시 생성하기보다는 자연스럽게 나온 결과물을 바탕으로 어색한 부분만 인페인팅 기능으로 지정해 개별 수정하는 것이 효율적입니다.

손그림 스케치와 함께 보면 좋은 글: AI 심리스 텍스처 생성: 미드저니 vs 스테이블 디퓨전 타일링 방식 비교와 PBR 맵 활용

참고 공식 자료: Hugging Face Diffusers img2img 문서 · Stable Diffusion WebUI 기능 안내