Stable Diffusion Webui-Embedding, Vae

지난 번 강좌에서는 시비타이 사이트에서 샘플이미지를 참고하고 원하는 모델을 다운로드 한 다음 설치해서 사용해 보는 방법을 배웠보았다. 최근에는 부정프롬프트나 기본 설정값을 모두 포함하여 최적화 한 파일이 많이 올라와 있지만, Embedding과 Vae를 활용해 모델을 더 섬세하고 디테일하게 완성도를 높이는 방법을 알아두면 좋을것 같아 정리해 본다. 

1. Embedding

1.1 Embedding 임베딩이란

이미지를 생성하다보면 정상적이지 않은 팔과 다리 모양, 갯수가 넘치는 손가락, 다리 등 상식적이지 않은 형태의 결과물이 나올 때가 많다. Embedding은 이미지의 기본 모델에는 영향을 주지 않으면서도 꼭 지켜줬으면 하는 부분들만 종합하여 학습시켜놓은 모델이기 때문에 파일 용량이 작다. 부정프롬프트 모델 뿐만 아니라 여러 역할을 학습한 임베딩도 다양하게 있으므로 여러개를 조합하여 사용할 수 있다. 

 

1.2 Embedding 다운받기

 civitai 접속 -> Model -> Fillter -> Embedding 선택 / 베이스 모델 SD 1.5 선택 후 나온 이미지 중 맘에 드는 것을 선택하고 다운 받는다. 

가장 많이 사용하는 임베딩을 몇 개 추천하자면 아래 이미지와 같다.  2주 전 스테이블 디퓨전의 라이트닝 버전인 Forge가 나왔는데 이 버젼용으로 나온 모델에는 기본적으로 포함되어 나오는 경우가 많아서 Embedding, Vae는 개념만 알아두어도 충분할 듯 하다.

 

1.3 Embedding 설치 및 적용

마음에 드는 이미지를 골랐다면 지난 강좌와 동일하게 다운을 받고 스테이블 디퓨전 설치 경로 stable-diffusion-webui \ embeddings 폴더에 파일을 넣어주면 된다.

 

웹유아이 창의 제너레이션 탭 옆에 있는 Textual Inversion 이란 탭을 누르면 좀 전에 넣었던 파일 이미지가 뜨는것을 확인 할 수 있다. 만약 뜨지 않는다면 오른쪽 상단의 둥근 화살표(새로고침) 아이콘을 누르면 나타난다. 

Embedding을 적용하는 방법은 부정프롬프트에 커서를 놓고 필요한 이미지를 클릭해주면 된다. 여러개를 함께 사용가능하기때문에 다운 받은것을 모두 선택해도 괜찮다. 

적용 전 / 적용 후

기존에 사용하던 체크포인트에 간단한 프롬프트를 넣고 진행해봤다.

girl,full shot,long heir     적용 전은 임베딩을 선택하지 않고 생성한 이미지이고 적용 후는 임베딩 두개를 다 선택하고 생성한 이미지이다. 훨씬 완성도가 높은 이미지가 생성된것을 알 수 있다. 

2. VAE(Variational Auto Encoder)

2.1 VAE 란

데이터 분포의 잠재 공간을 학습하여 이미지의 품질을 보정하는 역할을 하며 이미지 필터라고 이해해도 좋다. 간단하게 말해서는 그림 보정 기능이라고 생각하면 된다. 같은 모델인데 그림이 흐리거나 퀄리티가 떨어진다면 VAE를 사용하지 않아서 그런 이유가 크다.

 

2.2 VAE 활성화 방법

Vae는 설치하는 것이 아니고 세팅을 해야 활성화가 된다. 아래 화면을 참고하여 순서대로 진행하기로 하자. 1 Setting 탭을 누르고 좌측 메뉴 아랫쪽에 있는 2 User Interface를 누르면 중앙 빨간라인 안에 보이는 화면이 나온다. [info]아래 3 빈 박스에 vae라고 치면 메뉴가 뜨는데 그 중에서 4 sd_vae를 선택해고 5 Apply settings 를 클릭해 준 뒤 6 Reload uI를 누르면 세팅 끝!!

vae 세팅 화면

사실 이 글을 정리하는 시점에는 스테이블 티퓨전을 좀 더 가볍게 사용할 수 있는 버전이 업그레이드 되었다. Auto 1111 버젼을 설치하기 위한 컴퓨터 사양이 워낙 고사양이어야 하다 보니 일반인들의 접근이 어렵다는 점을 보완하기 위해 좀 더 가벼워진 버젼을 발표한 것이다. 그래서  지금은 요즘 버전인 Forge를 사용해 보고 있는데 그 버젼에서 vae는 자동으로 세팅이 되어 있다. 

메뉴의 구성이나 설정 방법을 이해하면 변화된 시스템에 대한 이해에도 도움이 될 거 같고 강화버젼이 나왔음에도 Auto 1111 버젼의 세밀한 컨트롤 방법을 더 선호하는 사람이 많아서 일단 여기까지는 정리해 보았다. 

Auto 1111 버젼에서의 여러 메뉴 사용 방법은 유튜브와 블로그에 잘 정리된 영상과 글이 많기에 앞으로는 Forge버젼으로 공부하면서 정리되는 부분을 순차적으로 공유해보려 한다.

 

모델 다운 및 설정