Stable Diffusion

스테이블 디퓨전 Stable Diffusion
<colbgcolor=#ddd,#010101> 분류	그림 인공지능, 오픈 소스
개발사	Stability AI
출시일	1.0 2022년 8월 22일 2.0 2022년 11월 24일 3.0 2024년 2월 23일
버전	3.0
링크

1. 개요

2. 상세

3. 모델 아키텍처

4. 라이선스

5. 직접 구동하기

• Stable Diffusion web UI - 웹 기반의 유저 인터페이스("Web UI")를 통해 Stable Diffusion 모델을 편리하게 사용할 수 있도록 만들어 놓은 프로젝트이다. 개발자[7]의 꾸준한 업데이트를 통해, Stable Diffusion의 프론트엔드 기능 외에도 GFPGAN 보정, ESRGAN 업스케일링, Textual Inversion 등 다양한 기능을 도입하고 있다. NVIDA가 아닌 타사 GPU를 사용중일경우 사용가능한 DirectML[8]
• 원작자 - 논문을 게재한 CompVis의 원본 프로젝트. 사용성은 떨어지니 참고만 하자.
• Diffusers - Transformers나 Datasets 같은 머신러닝 프레임워크 제공사로 유명한 HuggingFace의 새로운 diffusion 모델용 프레임워크. stable diffusion의 finetuning을 하고 싶다면 가장 쉽게 할 수 있는 방법을 제공해준다.
• DiffusionBee - Stable Diffusion을 직접 돌려볼 수 있는 맥용 앱이다. 텍스트 입력과 이미지 입력 둘 다 가능하며 인페인팅과 아웃페인팅 기능도 지원한다. 일반 Apple Silicon 버전은 애플 실리콘 내부의 뉴럴 엔진을 사용하고, HQ 버전은 GPU를 활용하여 퀄리티가 더 높은 대신 속도가 2배 정도 느리다. 인텔 맥도 지원 중이며 향후 윈도우도 지원 예정. [9]
• Draw Things - Stable Diffusion을 직접 구동할 수 있는 iOS, iPadOS 및 macOS용 앱이다. CPU + GPU, CPU + Neural Engine, CPU + GPU + Neural Engine(All)의 3가지 모드를 지원한다. WebUI와 동일하게 Checkpoint, LoRA, Textual Inversion 등을 활용할 수 있고 Inpaint 등의 WebUI 핵심기능들도 지원하고 있어 WebUI 사용자라면 빠르게 적응할 수 있는 것이 장점. 다만 WebUI 확장기능과 같은 것은 지원하지 않으며, iOS 및 iPadOS의 경우 메모리 용량의 한계로 인해 2023년 기준으로 구형 기기는 물론 신형 기기에서조차 일정 해상도 이상으로 구동했을 경우 메모리 부족으로 앱이 꺼지는 일이 종종 발생한다.
• Riffusion - 스펙트로그램을 역이용해 작곡 AI에 응용하려는 사례
• 디시인사이드 AI 이미지 갤러리 - civitai의 서비스를 이용해서 AI이미지 생성이 가능한 전용 갤러리를 오픈했다.
• 뤼튼 채팅창에 '~그려줘' 를 입력하면 AI이미지를 생성해준다.
• comfyui 스테이블 디퓨전 오픈소스 중 webui 를 대체할 가능성이 가장 높은 오픈소스 프레임워크, 속도도 빠르고 훨씬 구체적이고 다양하게 옵션을 조합할 수 있다. [10] webui 에 익숙한 사람들은 적응이 안될만큼 복잡한 노드 연결과 구성을 요구하기도 하지만 익숙해지면 이것 만큼 편리한 스테이블 디퓨전 프레임워크가 없다. 타 개발자들이 생성한 워크플로우를 그대로 복사해서 그대로 사용할 수 있는 것도 장점.
  그러나, 인페인팅 부분으로는 A1111이 아직 성능이 우수하니 COMFYUI 보단 webui 를 쓰는것이 좋다.
• SDAI - Android용 Stable Diffusion 클라이언트 앱으로 Stable Diffusion을 이용한 클라우드 서비스 외에도 Local Diffusion이라고 모델을 집적 설치해서 사용할수도 있다.

6. 사건 사고

6.1. 저작권 관련 소송

7. 관련 문서

• Stability AI

그림 인공지능
• NovelAI/이미지 제네레이터

8. 외부 링크

• 위키백과(영문)
• Civitai: LoRA, Textual Inversion, Hypernetwork 등 다양한 타입의 모델과 적용 예시를 공유하고, 자체적인 이미지 생성과 학습 서비스도 지원해주는 플랫폼으로, 학습 파일 공유 사이트에 있어서는 제일 대중적으로 이용되고 있다. 특히 예시를 썸네일로 바로 볼 수 있고 세세한 검색도 지원하기 때문에 쉽게 사용할 수 있다는 점이 강점. 그리고 높은 대중성 덕분에 각종 WebUI 확장 프로그램과 연계가 되어있다는 점도 장점이다. 다만 갑자기 몰려온 유저들을 포용할 만큼 인프라 구축을 하지 못해서 잔 문제가 많은 편이다. 우선 서버가 불안정한 편이고, 플랫폼 사이트도 여전히 완성된 상태가 아니며, 여러 실험적인 업데이트를 자주 실행해서 완성도가 들쑥날쑥하다.
  검열도 빡세게 하는 편으로 많은 NSFW 자료를 제법 쉽게 얻을 수는 있지만, 고어물[11], 료나물 등 폭력적인 자료, 일정 수위 이상 NSFW 자료, 너무 혐오스러운 자료 등은 운영진이 검열 후 올릴 수 없도록 조치를 취하거나 어쩌다 업로드가 되어도 대부분 빠르게 차단한다. 물론 Stable Diffusion이 조금만 응용해도 각종 범죄에 악용될 수 있기 때문에 가장 대중적인 공유 사이트가 된 만큼 찍혀서 문 닫지 않으려면 어쩔 수 없는 일로, Civitai 뿐만 아니라 검열을 거의 하지 않았던 여러 공유 사이트들도 대부분 검열을 강화하는 추세에 들어갔으며 아이러니하게도 Civitai 정도면 오히려 관대한 수준에 속하게 되었다.
  다만 툭하면 터지고 느린 서버, 서버 문제로 인해 소실된 일부 옛 자료들, 미숙한 운영과 느린 개선 등으로 인해 비판적인 평가도 많은 편이다.
• Openroleplay.ai: Stable Diffusion 모델 서너 개를 활용한 이미지 생성 기능을 제공한다. 애니메이션 화풍 이미지를 생성하는 Animagine XL이 기본값으로 설정되어 있다. 아직까지는 비공개로 이미지를 설정할 수 없는 것으로 보이고 NSFW 이미지는 생성이 가능하지만 블러처리된다.
• Hugging Face: Stable Diffusion을 비롯해 각종 인공지능 모델을 업로드하는 세계 최대의 인공지능 플랫폼이긴 하나, Stable Diffusion에 특화된 Civitai와 비교하면 불편한 점이 많아 일반인이 사용하기에는 아무래도 접근성과 편의성이 조금 떨어지는 편이다. 그래도 수준이 높거나 더욱 다양한 모델 및 임베딩 자료들이 이곳을 중심으로 공유되는 편이며, 잘 뒤져보면 Civitai에는 없는 자료나 재업로드된 과거 자료들을 많이 찾아 볼 수 있는 편.
• Pixai: Civitai와 마찬가지로 Stable Diffusion 관련 자료를 공유하는 플랫폼으로, Civitai에 비해서 좀 더 오타쿠 쪽 이용이 많았다. 자체 그림 생성 서비스를 제공하는데, 학습 및 LoRA 파일 제작 기능도 지원하고 있어서 학습에 대한 진입장벽을 어느정도 낮추는데 기여했다. 다만 학습이 간결화되어있고 제한 횟수도 있어 프롬프트와 태그가 부정확하거나 퀄리티가 낮은 저질 LoRA 파일도 자주 나오고 있고, 유료 구독을 하지 않으면 여러가지 기능이 제한되는지라 Civitai에 비하면 대중성이 떨어지는 편. 그러나 이후 자체 학습도 지원해주는 플랫폼이 더 생겨났고, 사이트 자체 검열이 크게 강화됨과 동시에 과거 자료들에 대한 관리가 제대로 이뤄지지 않고 있으며, 결정적으로 유저층이 SD1.5에서 SDXL로 넘어가는 추세에 잘 대응하지 못한 탓에 인기가 저조해졌다.

• Empty Canvas: Pixai처럼 Stable Diffusion 모델 기반 (추정)으로 애니메이션 화풍의 그림을 생성할 수 있는 서비스다. 조작 방식은 미드저니 등과 비슷한 것으로 보인다.