사실 확장기능은 아니고 여러 컨트롤넷 모델 중 하나입니다(https://github.com/tencent-ailab/IP-Adapter).
이미지 자체를 프롬프트로 사용할 수 있도록 해주는 역할을 해준다고 보면 될 거 같아요.
모델은 https://huggingface.co/h94/IP-Adapter/tree/main/models 에서 다운받을 수 있습니다.
여러 모델이 있는데, 저는 ip-adapter-plus_sd15.bin를 쓰는 중입니다. ip-adapter_sd15.bin와의 차이점은 잘 모르겠습니다.
그리고 제 경우에는 다운받은 모델을 제대로 된 위치(models\ControlNet)에 넣었지만 모델을 인식하지 못했는데,
확장자를 pth로 바꾸니까 인식을 했습니다.
Automatic1111이 아닌 SD.next를 쓰고 있어서 세부 설정에서 명칭 등이 조금 다를 수 있습니다.
저는 2단계를 거쳐서 사용합니다.
1단계에서는 ip-apater 모델을 통해 레퍼런스가 되는 이미지와 비슷한 이미지를 생성하고
2단계에서는 ip-apater 모델에 추가적으로 tile 모델을 적용해서 고해상도로 업스케일링합니다.
프롬프트는 masterpiece, best quality 같은 기본적인 퀄리티 태그만 사용해도 무난합니다.
부정 프롬프트 또한 (worst quality, low quality:1.4)만 써도 되는데,
사진을 베이스로 하면서 2D 느낌을 내려면 부정 프롬프트에 realistic 정도는 추가적으로 넣어주는 것이 좋을 것 같습니다.
1단계
레퍼런스가 될 이미지를 컨트롤넷에 넣어주고 전처리기(Preprocessor) 및 모델을 알맞게 선택해줍니다.
(사용된 이미지: https://unsplash.com/photos/woman-sitting-on-rock-during-daytime-gG70fyu3qsg)
이때 컨트롤넷 강도를 0.7~0.8정도로 설정해줍니다.
컨트롤넷 강도를 1까지 높히면 "이 사진같은 느낌"의 이미지가 아니라 "이 사진이랑 비슷한" 이미지가 생성되는 느낌이기도 하고
제가 쓰는 모델이 2d용 모델이라 그런지 이미지가 많이 뭉개지기도 하더라고요.
아무튼 생성해서 다음과 같은 이미지를 만들 수 있었습니다.
2단계
레퍼런스 이미지와 1단계에서 생성된 이미지를 함께 사용합니다.
ip-adapter에는 기존 레퍼런스 이미지를 그대로 넣어주되 강도를 0.5 정도로 확 낮추고, 종료 시점을 총 스텝의 50% 시점 정도로 맞춰줍니다.
tile에는 1단계에서 생성된 이미지를 넣어주고 강도를 취향에 따라 (경험상 0.6~1.0까지 무난한듯) 넣어줍니다.
hiresfix부분(Second pass부분)의 ui가 Automatic1111과 많이 다르지 않을까 싶은데, 다른 것들은 전부 무시하고 강도만 0.6~0.8 정도로 맞춰주면 무난하지 않을까 싶습니다.
2단계를 통해 생성하면 다음과 같은 결과가 생성됩니다.
추가적으로 adetailer도 적용된 상태입니다.
masterpiece, best quality만 가지고도 제법 멋진 이미지를 뽑을 수 있습니다.
기타 예시들
|
|
|
https://unsplash.com/photos/woman-on-wheat-field-during-daytime-R1Ku62Z7zqE
|
|
프롬프트에 looking back, happy, smile, open mouth 추가 |
|
|
|
https://unsplash.com/photos/woman-sitting-on-rock-during-daytime-gG70fyu3qsg