(스테이블디퓨전) AI 이미지 이상 형상, 패턴,점,얼룩 나오는 이유 및 개선 방법 공유

오늘은 Stable Diffusion을 진행하면서 발생하는 한 번쯤 만나게 되는 이미지 일부분에 이상 형상이 나타나는 이유를 설명하고,  그 원인 중 하나인 CFG와 Step의 조합의 중요성에 대하여 설명드리겠습니다. 

이미지를 생성하시면서 가끔 위와 같이 그림 일부분에 이상한 형상이 들어가 나온다던가 피부에 점이나 얼룩이 들어가 나온다던가 하는 경험을 하셨을 수 있습니다. 처음 툴을 돌리던 초보자 시절엔 셋팅을 뭘 건든 지도 모른 채 갑자기 저런 이상한 그림들만 계속 생성되는 걸 경험하고 쓸데없이 프로그램만 껐다 켰다했던 기억이 있습니다. 도대체 그럼 저런 얼룩은 왜 나타나는 걸까요?
 

과도한 CFG 수치와 부족한 Step 수 조합에 의한 이상 형상

이유를 설명하기 전 이미지 생성에 사용되는 옵션 중 CFG와 Sampling step 수에 대하여 간단히 설명드리겠습니다. 

Stable Diffusion의 원리를 간단히 말하면 무수한 원본 이미지를 점 단위로 분해하는 노이즈 과정을 통해 학습하고 이를 다시 디노이즈 과정을 통해 원본 이미지와 유사하게 복원시키는 방식입니다. 이때 Sampling steps은 이런 복원에 사용되는 디노이즈 단계를 몇단계로 하는지를 나타내는 것이고, CFG Scale은 이미지를 생성할 때 사용자가 제시한 프롬프트를 얼마나 반영할지를 나타내는 수치입니다. 수치가 클수록 더 많은 정보를 담게 되고 이는 복원을 위해서 더 많은 단계를 필요로 하게 됩니다. 쉽게 말하자면 CFG가 클수록 더 많은 정보가 그림에 입력되고 이를 정확하게 복원하기 위해서는 더 많은 Sampling Step 수가 필요한 겁니다.
 
아래 이미지를 참고해 보겠습니다. CFG를 높게 가져갈 수록 Step 수를 그에 맞춰 높여주지 않을 경우 이미지가 뭉개지거나 원하지 않는 형상들이 섞여 들어가는 것을 볼 수 있습니다. 최적의 값은 개인의 사용 조건에 따라 다를 수 있으니 여러 실험을 통해 적절한 CFG와 Sampling steps 조합을 찾는 게 필요합니다.  저는 보통 CFG 5~10, Sampling Steps 15~25 사이에서 조절해 가며 사용하는 편입니다. 

 

마치며, 

오늘은 SD(Stable Diffusion)을 사용하면서 겪게되는 이상 얼룩의 원인과 그 해결법인 CFG와 Sampling Steps 조합에 대해 말씀드렸습니다. 앞으로 그런 이미지를 만나게 된다면 당황하지 말고 CFG가 과도하지 않은 지 Sampling Steps가 너무 낮지 않은 지 확인하여 원하는 이미지를 생성하실 수 있으시면 좋겠습니다. 오늘도 읽어 주셔서 감사합니다. 좋은 하루 보내세요.