커플 사진이나 가족 일러스트처럼 두 사람 이상을 한 장면에 담으려고 AI 다중 인물 생성을 시도하면, 어느 순간 두 사람의 얼굴이나 옷, 머리카락이 서로 뒤섞여 버리는 경우가 자주 생깁니다. 특히 “두 사람이 나란히 서 있는 장면”처럼 단순한 프롬프트일수록 이런 현상이 두드러지는데, 이는 사용하는 도구가 미드저니든 스테이블 디퓨전이든 공통적으로 나타나는 문제입니다. 이 글에서는 얼굴이 섞이는 원인을 먼저 짚고, 실제로 적용할 수 있는 해결 방법을 단계별로 정리합니다.
얼굴과 신체 정보가 섞이는 이유
생성형 이미지 모델은 프롬프트 전체를 하나의 의미 공간으로 받아들여 이미지를 만듭니다. “긴 머리 여성과 짧은 머리 남성이 함께 있는 모습”이라고 입력하면, 모델은 “긴 머리”와 “짧은 머리”라는 속성을 각각의 인물에게 정확히 나눠 배정하는 대신, 두 속성을 화면 전체에 뒤섞어 반영하는 경향을 보입니다. 인물 수가 늘어나거나 각 인물의 외형 묘사가 비슷할수록 이런 혼합 현상은 더 심해집니다.
특히 다음과 같은 조건에서 얼굴 섞임이 자주 발생합니다.
- 두 인물의 성별이나 헤어스타일처럼 구분 짓는 특징이 적을 때
- 인물 간 거리가 가깝게 묘사되거나 포옹, 근접 샷처럼 신체가 겹치는 구도일 때
- 한 문장 안에 두 인물의 묘사를 모두 나열해 모델이 각 속성의 소속을 혼동할 때
단계별로 섞임을 줄이는 방법
영역별 프롬프트 기능을 활용하기
스테이블 디퓨전 계열에서는 화면을 좌우나 영역으로 나눠 각 영역에 서로 다른 프롬프트를 적용하는 기능을 지원하는 경우가 많습니다. Automatic1111이나 Forge, ComfyUI 환경에서 리전널 프롬프터(Regional Prompter) 계열 확장을 설치하면 “왼쪽 영역에는 인물 A 묘사, 오른쪽 영역에는 인물 B 묘사”처럼 공간을 나눠 지정할 수 있습니다. 이 방식은 모델이 속성을 혼합하는 근본 원인, 즉 “어떤 특징이 누구의 것인지 구분하지 못하는 문제”를 구조적으로 해결해 주기 때문에 다중 인물 생성에서 가장 안정적인 결과를 보여줍니다.
미드저니처럼 영역 지정 기능이 없는 서비스를 쓴다면, 멀티 프롬프트 구문(::)으로 각 인물의 묘사를 분리하고 가중치를 조절하는 방식을 시도해볼 수 있습니다. 다만 이 방법은 영역별 프롬프트만큼 확실하게 공간을 구분해주지는 않으므로, 결과물을 여러 번 생성해 비교하는 과정이 필요합니다.
공간 배치를 문장으로 명확히 지정하기
프롬프트에서 인물의 위치를 구체적으로 명시하면 모델이 속성을 혼동할 가능성이 줄어듭니다. 단순히 “두 사람이 함께”라고 쓰는 대신 “화면 왼쪽에 짧은 머리의 남성, 화면 오른쪽에 긴 머리의 여성이 나란히 서 있는 모습”처럼 좌우 위치와 각 인물의 특징을 한 문장 안에서 짝지어 명확히 적어주는 방식이 도움이 됩니다. 이때 두 인물의 묘사 순서와 위치 표현을 일관되게 유지하는 것이 중요합니다.
포즈나 레퍼런스를 고정하는 기능 사용하기
인물의 얼굴 생김새 자체가 장면마다 흔들리는 것이 문제라면, 레퍼런스 고정 기능을 활용하는 방법이 있습니다. 미드저니의 캐릭터 레퍼런스 기능은 특정 인물의 생김새를 다른 장면에서도 유지하도록 도와주며, 스테이블 디퓨전에서는 ControlNet의 오픈포즈(OpenPose) 모델로 각 인물의 자세와 위치를 먼저 고정한 뒤 이미지를 생성하는 방식을 많이 사용합니다. 포즈가 먼저 분리되어 있으면 모델이 각 인물의 영역을 더 명확하게 인식하기 때문에 섞임 현상이 줄어드는 효과가 있습니다.
따로 생성한 뒤 합성하기
가장 확실한 방법은 처음부터 한 장면에 두 인물을 동시에 생성하지 않는 것입니다. 각 인물을 개별적으로 생성한 뒤 이미지 편집 도구나 인페인팅(inpainting) 기능으로 한 장면에 합치는 방식은 작업 단계가 늘어나는 단점이 있지만, 섞임 현상 없이 각 인물의 디테일을 그대로 살릴 수 있다는 장점이 있습니다. 배경과 조명, 그림자의 방향을 맞추는 보정 작업이 함께 필요하다는 점은 미리 고려해야 합니다.
흔히 하는 실수
다중 인물 프롬프트를 작성할 때 다음과 같은 실수가 섞임 현상을 더 키우는 경우가 많습니다.
- 두 인물의 외형 묘사를 쉼표로만 나열해 소속 관계를 모호하게 만드는 경우
- 인물 수를 명확히 쓰지 않고 “사람들”처럼 뭉뚱그려 표현하는 경우
- 결과물에서 얼굴이 흐릿하거나 이상하게 나왔을 때 같은 프롬프트를 그대로 재생성만 반복하는 경우. 이럴 때는 프롬프트 구조 자체를 바꾸거나 영역별 프롬프트, 포즈 고정 같은 다른 접근으로 전환하는 것이 더 효율적입니다
상황에 따라 다르게 접근하기
인물 수가 두 명을 넘어가거나 세 명 이상을 한 장면에 담아야 한다면, 영역별 프롬프트만으로는 한계가 있을 수 있습니다. 이런 경우 인물 수만큼 영역을 세밀하게 나누거나, 인물별로 따로 생성해 합성하는 방식을 함께 고려하는 것이 현실적입니다. 반대로 두 인물이 뚜렷하게 구분되는 특징(예를 들어 성별이나 복장이 완전히 다른 경우)을 가지고 있다면, 기본적인 공간 배치 표현만으로도 섞임 현상이 상당히 줄어드는 경우도 있습니다.
결국 다중 인물 생성에서 얼굴 섞임을 줄이는 핵심은 모델이 어떤 특징을 누구에게 배정해야 하는지 혼동하지 않도록 프롬프트와 생성 방식 자체로 공간을 분리해주는 것입니다. 사용하는 도구가 지원하는 기능을 먼저 확인하고, 간단한 프롬프트 조정부터 영역별 프롬프트, 포즈 고정, 개별 합성까지 단계를 높여가며 시도해보면 원하는 장면에 더 가까운 결과를 얻을 수 있습니다.
자주 묻는 질문
영역별 프롬프트 확장 기능은 미드저니에서도 사용할 수 있나요?
미드저니는 별도의 영역 분할 확장 프로그램을 직접 지원하지 않습니다. 대신 멀티 프롬프트 구문(::)을 사용해 인물 묘사별 가중치를 나누거나, 포커스 및 인페인팅 기능을 활용해 부분 수정을 진행하는 방식을 시도할 수 있습니다.
두 인물의 성별이나 스타일이 비슷한 경우에는 어떻게 해야 하나요?
성별이나 스타일이 비슷하면 혼합 현상이 더 심해집니다. 이 경우 좌우 위치를 문장으로 더욱 명확히 지목하거나, ControlNet 포즈 고정 및 영역별 프롬프트를 사용해 공간을 명확히 분리하는 것이 좋습니다.
따로 생성한 후 한 장면에 합성할 때 주의할 점은 무엇인가요?
각 인물을 개별 생성해 합칠 때는 인물의 디테일은 살릴 수 있으나, 이미지 간 배경, 조명, 그림자의 방향을 이화감 없이 맞춰주는 추가 보정 작업이 필요합니다.