스테이블 디퓨전 LoRA 설치와 적용으로 화풍 고정하는 방법

이 글의 순서

• LoRA가 정확히 어떤 역할을 하는가
• LoRA 파일 설치하는 방법
• 프롬프트에 LoRA 적용하기
• 화풍을 안정적으로 고정하는 방법
• 자주 하는 실수

스테이블 디퓨전을 로컬에 설치해 쓰다 보면 기본 체크포인트만으로는 원하는 화풍을 매번 똑같이 재현하기가 쉽지 않습니다. 프롬프트를 아무리 정교하게 다듬어도 결과물의 분위기가 그때그때 달라지는 경우가 많은데, 이럴 때 활용하는 것이 LoRA(Low-Rank Adaptation)입니다. 이번 글에서는 스테이블 디퓨전 LoRA를 설치하고 적용해서 원하는 화풍을 안정적으로 고정하는 방법을 정리합니다.

LoRA가 정확히 어떤 역할을 하는가

LoRA는 체크포인트 모델 전체를 다시 학습시키지 않고도 특정 화풍이나 캐릭터, 재질 표현 등을 추가로 덧입힐 수 있게 해주는 작은 크기의 보조 모델입니다. 체크포인트가 “그림을 그리는 기본 뼈대”라면 LoRA는 그 위에 얹는 “스타일 필터”에 가깝습니다.

기본 체크포인트만으로는 표현하기 어려운 특정 화풍, 예를 들어 특정 일러스트레이터 느낌의 선화나 특정 애니메이션 스타일의 채색 방식을 반복적으로 재현하고 싶을 때 LoRA가 필요합니다. 반대로 매번 다른 화풍을 실험적으로 시도하는 단계라면 굳이 LoRA를 추가하지 않고 프롬프트만으로 조정하는 편이 관리하기 쉬울 수 있습니다.

LoRA 파일 설치하는 방법

파일을 어디에 넣어야 하는가

LoRA 파일은 대부분 .safetensors 또는 .pt 형식으로 배포됩니다. 스테이블 디퓨전 웹UI(예: AUTOMATIC1111 계열)를 로컬에 설치했다면, 설치 폴더 안의 models 디렉터리 하위에 Lora라는 이름의 폴더가 있습니다. 다운로드한 LoRA 파일을 이 폴더에 그대로 복사해 넣으면 됩니다.

파일명에 한글이나 공백, 특수문자가 섞여 있으면 인식 과정에서 오류가 나는 경우가 있으므로, 설치 직후 문제가 생긴다면 파일명을 영문과 숫자, 언더바 정도로 단순하게 바꿔보는 것도 하나의 점검 방법입니다.

웹UI에서 인식이 안 될 때 확인할 점

파일을 폴더에 넣었는데도 웹UI 화면에 LoRA 목록이 뜨지 않는다면 다음 순서로 확인해 보는 것이 좋습니다.

• 파일을 넣은 뒤 웹UI를 완전히 재시작했는지 (새로고침만으로는 새 파일이 반영되지 않는 경우가 많습니다)
• LoRA 폴더 경로가 실제로 웹UI가 참조하는 경로와 일치하는지
• 파일 확장자가 손상되지 않았는지, 다운로드가 중간에 끊기지는 않았는지
• 웹UI 버전이 오래되어 최신 LoRA 형식을 지원하지 않는 것은 아닌지

이 중에서도 재시작을 생략하고 새로고침만 하는 실수가 가장 흔합니다. LoRA 목록은 웹UI가 처음 구동될 때 폴더를 스캔해서 불러오는 방식이 대부분이라, 실행 중에 파일을 추가했다면 프로그램을 껐다 다시 켜는 편이 확실합니다.

프롬프트에 LoRA 적용하기

LoRA를 설치했다면 프롬프트 안에서 특정 문법으로 불러와야 실제로 적용됩니다. 웹UI 화면에서 LoRA 탭을 열어 원하는 파일을 클릭하면 프롬프트 입력창에 해당 LoRA를 호출하는 태그가 자동으로 삽입되는 방식이 일반적입니다.

이때 중요한 것이 가중치 값입니다. LoRA를 호출하는 태그 뒤에는 보통 가중치를 나타내는 숫자가 붙는데, 이 값이 높을수록 LoRA가 학습한 화풍이 강하게 반영되고, 낮을수록 원래 체크포인트의 화풍이 더 많이 남습니다. 처음 사용하는 LoRA라면 중간 정도의 가중치로 시작해서 결과물을 보며 조금씩 조정하는 방식이 안전합니다.

일부 LoRA는 특정 트리거 단어를 프롬프트에 함께 넣어야 제대로 효과가 나타나도록 설계되어 있습니다. 이 트리거 단어는 LoRA 제작자가 배포 페이지에 안내해 두는 경우가 많으므로, 적용이 잘 안 된다고 느껴진다면 배포처의 설명을 먼저 확인하는 것이 순서에 맞습니다.

화풍을 안정적으로 고정하는 방법

같은 LoRA를 써도 매번 결과물의 분위기가 들쭉날쭉하다면 아래 요소들을 점검해 볼 수 있습니다.

체크포인트와의 궁합을 먼저 살펴봐야 합니다. LoRA는 특정 체크포인트를 기준으로 학습된 경우가 많아서, 학습 당시와 크게 다른 계열의 체크포인트에 적용하면 화풍이 원하는 만큼 나오지 않을 수 있습니다. LoRA 배포 페이지에 권장 체크포인트가 안내되어 있다면 가능한 한 그에 맞춰 사용하는 것이 화풍을 고정하는 데 도움이 됩니다.

가중치를 고정값으로 관리하는 것도 방법입니다. 결과물마다 가중치를 임의로 바꾸면 그때그때 화풍의 강도가 달라지므로, 원하는 결과가 나온 가중치 값을 기록해 두고 이후 작업에서도 동일하게 적용하는 방식이 안정적입니다.

여러 LoRA를 동시에 적용할 때는 상호 간섭을 주의해야 합니다. 두 개 이상의 LoRA를 함께 사용하면 각각의 화풍 특성이 섞이면서 의도하지 않은 결과가 나올 수 있습니다. 이런 경우 각 LoRA의 가중치를 낮춰서 합산 강도를 조절하거나, 어떤 LoRA가 최종 결과물에 더 큰 영향을 주고 있는지 하나씩 꺼가며 확인하는 과정이 필요합니다.

시드 값을 고정해서 같은 조건에서 화풍만 비교해보는 것도 실질적인 점검 방법입니다. 프롬프트와 시드를 동일하게 두고 LoRA 가중치만 바꿔가며 생성해 보면, 어느 값에서 원하는 화풍이 가장 안정적으로 나오는지 판단하기가 훨씬 수월해집니다.

자주 하는 실수

LoRA를 처음 다루는 단계에서는 다음과 같은 실수가 반복적으로 나타납니다.

• 가중치를 지나치게 높게 설정해서 형태가 왜곡되거나 화면 전체가 과포화되는 경우
• 트리거 단어 없이 LoRA만 호출해 놓고 왜 효과가 안 나타나는지 확인하지 않는 경우
• 서로 다른 체크포인트 계열에서 학습된 LoRA를 섞어 쓰면서 결과물이 불안정한 이유를 파악하지 못하는 경우
• 파일 출처가 불분명한 LoRA를 그대로 다운로드해 상업적으로 활용하려는 경우

특히 마지막 항목은 신경 써야 할 부분입니다. LoRA는 특정 작가나 특정 저작물의 이미지를 학습해 만들어지는 경우가 있어서, 배포 페이지에 명시된 라이선스나 사용 범위를 확인하지 않고 결과물을 상업적으로 사용하면 저작권 문제로 이어질 수 있습니다. 개인적으로 화풍을 실험하는 용도를 넘어 실제 콘텐츠 제작이나 판매에 활용할 계획이라면, 해당 LoRA의 라이선스 조건을 배포처에서 다시 한번 확인하고, 애매한 부분이 있다면 구체적인 사안에 대해 법률 전문가와 상담하는 것이 안전합니다.

LoRA 설치 자체는 파일을 정해진 폴더에 넣는 단순한 작업이지만, 화풍을 원하는 대로 고정하려면 가중치와 체크포인트 궁합, 트리거 단어까지 함께 관리해야 합니다. 위의 점검 순서를 하나씩 따라가다 보면 매번 다르게 나오던 결과물도 훨씬 일관된 화풍으로 정리할 수 있을 것입니다.

궁합한 점 정리

LoRA 파일을 폴더에 넣었는데도 웹UI에서 인식하지 못할 때는 어떻게 해야 하나요?

가장 흔한 원인은 새로고침만 하고 프로그램을 재시작하지 않은 경우입니다. 실행 중 추가한 LoRA 파일은 웹UI를 완전히 종료한 후 다시 켜야 스캔을 통해 인식됩니다. 또한, 파일 형식이 손상되지 않았는지 확인하고 파일 이름에 한글이나 특수문자가 있다면 영문과 숫자로 단순화해 보시기 바랍니다.

LoRA 가중치는 어느 정도의 값으로 설정하는 것이 가장 적절합니까?

가중치가 지나치게 높으면 이미지가 왜곡되거나 과포화될 수 있습니다. 처음 접해보는 LoRA라면 중간 값에서 테스트를 시작한 뒤, 결과물을 모니터링하며 세부 수치를 점검하고 원하는 화풍이 나올 때 해당 값을 기록해 두고 고정하는 방법을 권장합니다.

다운로드한 LoRA를 상업적인 목적으로 마음대로 사용해도 괜찮을까요?

출처가 불분명하거나 특정 창작물 및 작가의 데이터를 무단 학습한 LoRA는 사용 범위 확인이 필요합니다. 배포처의 라이선스 규정을 필히 확인해야 하며, 불확실한 요소가 존재할 경우 법률 전문가와 상담 후 상업용 콘텐츠에 적용하는 것이 저작권 침해 우려를 방지하는 방법입니다.