Updated: 5/27/2024
Witamy! W tym przewodniku eksplorujemy ekscytujące funkcje ComfyUI IPAdapter Plus, znanego również jako ComfyUI IPAdapter V2.
Modele IPAdapter są bardzo potężne do warunkowania obrazu na obraz, umożliwiając łatwe przenoszenie tematu lub stylu obrazów referencyjnych na nowe kreacje. Pomyśl o tym jak o 1-obrazowym LoRA.
Wprowadzenie IPAdapter Plus (IPAdapter V2) przyniosło mnóstwo nowych funkcji mających na celu usprawnienie procesu integracji modelu, zwiększenie użyteczności i rozszerzenie możliwości twórczych.
Ważne jest, aby zauważyć, że aktualizacja do ComfyUI IPAdapter Plus (IPAdapter V2) spowoduje, że Twoje poprzednie przepływy pracy, które opierają się na węźle ComfyUI IPAdapter V1, przestaną działać. W związku z tym będziesz musiał odbudować swoje projekty za pomocą ComfyUI IPAdapter Plus.
Omówimy:
Jeśli jesteś zainteresowany eksploracją Przepływu Pracy ComfyUI IPAdapter Plus (IPAdapter V2), użyj poniższej strony ComfyUI. Jest w pełni wyposażona we wszystkie niezbędne węzły i modele klientów, umożliwiając płynną kreatywność bez potrzeby ręcznych ustawień. Zacznij zdobywać praktyczne doświadczenie natychmiast lub kontynuuj ten samouczek, aby nauczyć się skutecznie używać IPAdapter Plus.
Wejścia "Model" i "IPAdapter" w węźle "IPAdapter" są podłączone do wyjścia węzła "IPAdapter Unified Loader". Tutaj możesz wybrać spośród różnych modeli IPAdapter, z których każdy jest dostosowany do różnych wymagań:
Wejście "Image" w węźle "IPAdapter" to obraz referencyjny używany do warunkowania obrazu na obraz. To tutaj węzeł "IPAdapter" stosuje swoje zdolności transformacyjne, modyfikując obraz referencyjny na podstawie zdefiniowanych parametrów i funkcjonalności modelu. W ten sposób generowane są nowe obrazy, dziedziczące cechy z obrazu referencyjnego i łączące je z kreatywnym potencjałem modelu IPAdapter.
Dzięki "Attn Mask" możesz wyróżnić konkretne obszary obrazu do ukierunkowanego przetwarzania lub skierowania uwagi modelu, wzmacniając lub zachowując określone cechy obrazu, jednocześnie kierując uwagę modelu.
Parametr "Weight" dostosowuje intensywność stosowanych modyfikacji; wyższe wartości prowadzą do bardziej wyraźnych efektów, podczas gdy niższe wartości skutkują subtelniejszymi zmianami.
Parametry "Start At" i "End At" określają początkowe i końcowe kroki, na których stosowane są efekty IPAdaptera, oferując kontrolę nad przetwarzaniem.
Typ "Weight Type" stosowany przez etapy przetwarzania wagi różni się, każdy wpływając na wynik w unikalny sposób:
Podczas pracy z modelami SDXL, model IPAdapter Plus płynnie integruje się i automatycznie dostosowuje do cech modelu SDXL. Jednakże, konieczne jest odpowiednie dostosowanie rozmiaru latentnego, aby zgrać się z wymaganiami modelu SDXL.
Oferując bardziej kompleksowy zestaw funkcji, węzeł ComfyUI IPAdapter Advanced zwiększa kontrolę nad procesem generowania za pomocą parametrów takich jak "Image Negative", "CLIP Vision", "Combine Embeds" i więcej opcji "Weight Type", dostosowując obrazy bliżej do Twojej wizji twórczej.
Parametr "Image Negative" umożliwia określenie, czego nie chcesz, aby pojawiło się na końcowym obrazie. Poprzez określenie negatywnych przykładów, model jest kierowany z dala od niepożądanych elementów, zbliżając się do bardziej pożądanego wyniku. Ta funkcja jest kluczowa w unikaniu specyficznych tematów, obiektów lub wzorców w generowanym obrazie, zapewniając, że wynik końcowy spełnia Twoje preferencje.
W węźle "IPAdapter Advanced" znajdziesz wejście "CLIP Vision". To łączy się z wyjściem węzła "Load CLIP Vision", gdzie możesz wybrać spośród różnych modeli CLIP-ViT.
Główna różnica między CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors a CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors polega na ich rozmiarze i potencjalnych zdolnościach do obsługi złożoności, przy czym ten drugi jest większy i ma 39 miliardów parametrów, sugerując, że może interpretować bardziej subtelne relacje tekst-obraz niż pierwszy z 32 miliardami parametrów.
W porównaniu z węzłem "IPAdapter", węzeł "IPAdapter Advanced" otwiera więcej opcji "weight type", każda wpływająca na wynik w unikalny sposób:
Funkcja "Combine Embeds" jest niezbędna dla tych, którzy chcą połączyć wejścia z wielu źróde źródeł w jeden spójny wizualny wynik. Korzystając z "Combine Embeds", masz elastyczność tworzenia obrazów, które łączą szeroki zakres artystycznych wpływów i inspiracji, prowadząc do naprawdę spersonalizowanych i innowacyjnych kreacji. Metody łączenia embedów, takie jak Concat, Add, Subtract, Average, i Norm Average, oferują różnorodne podejścia do łączenia tych wpływów. Zostaną one szczegółowo omówione w Sekcji 4, "Funkcja Scalania Obrazów ComfyUI IPAdapter".
W powyższej konfiguracji mogłeś zauważyć brak modelu FaceID. Aby zintegrować model Face ID z przepływem pracy, wymagane są dwa specyficzne węzły: "IPAdapter Unified Loader FaceID" i "IPAdapter FaceID".
Podczas pracy w węźle "IPAdapter Unified Loader FaceID" możesz wybrać najnowszy "Face ID Plus V2" z menu rozwijanego dostępnych modeli. Ta akcja instruuje loader, aby automatycznie zebrał i przygotował wszystkie niezbędne zależności unikalne dla modelu Face ID Plus V2.
Wybierz CPU jako Dostawcę. Pomimo potencjalnej dostępności wysokowydajnego GPU, zaleca się skonfigurowanie modelu Face ID do wykorzystania CPU jako dostawcy. To zalecenie wynika z korzyści zachowania cennej pamięci wideo (VRAM), strategii, która okazuje się korzystna i pomaga zoptymalizować ogólną efektywność i skuteczność alokacji zasobów projektu.
Jak używać wielu obrazów referencyjnych do wygenerowania nowego? Oto dwie metody, aby to osiągnąć za pomocą ComfyUI IPAdapter Plus, zapewniając elastyczność i kontrolę niezbędną do twórczego generowania obrazów.
Aby rozpocząć z węzłem "Batch Image", musisz najpierw wybrać obrazy, które chcesz połączyć. Te obrazy są następnie wprowadzane do węzła, tworząc zjednoczoną partię. Ta partia jest następnie wprowadzana do linii produkcyjnej IPAdapter, stosując każdy obraz sekwencyjnie do procesu generatywnego.
Węzeł "IPAdapter Advanced" wprowadza opcje "Combine Embeds", dając Ci zaawansowaną kontrolę nad tym, jak wiele obrazów wpływa na generację. Te opcje—Concat, Add, Subtract, Average, i Norm Average—określają, jak embedy z różnych obrazów są łączone, prowadząc do unikalnych wyników:
Na poniższym obrazku, używając różnych "Combine Embeds", uzyskasz różne wyniki.
Dla tych, którzy poszukują bardziej precyzyjnej kontroli nad tym, jak obrazy referencyjne są ważone w końcowym obrazie, IPAdapter oferuje rozwiązanie za pomocą węzłów "IPAdapter Encoder" i węzła "IPAdapter Combine Embeds".
Każdy obraz w procesie łączenia jest przetwarzany przez węzeł IPAdapter encoder, który koduje obrazy dla kompatybilności z IPAdapter. W węzłach "IPAdapter Encoder" użytkownicy mogą przypisać konkretne wagi do każdego obrazu, określając ich wpływ na łączony wynik. Regulacja tych wag pozwala na subtelną kontrolę nad dominacją lub subtelnością każdego obrazu w kompozycji.
Po zakodowaniu obrazów i ustawieniu ich wag, węzeł "IPAdapter Combine Embeds" łączy ich zakodowane reprezentacje. Łączy pozytywne embedy z węzłów enkodera, odzwierciedlając zamierzony wpływ każdego obrazu na łączony wynik. Ta zrównoważona embeda jest następnie gotowa do syntezy.
Syntetyzowana embeda jest ostatecznie przetwarzana przez IP Adapter w celu wygenerowania nowego obrazu. Chociaż połączenie negatywnych embedów jest opcjonalne, zaleca się to w celu oszczędzania zasobów obliczeniowych. Wybierając dowolny z dwóch negatywnych embedów z węzłów enkodera i łącząc go z węzłem IPAdapter, proces jest zoptymalizowany, minimalizując zbędne obliczenia i usprawniając proces łączenia.
Postępując zgodnie z tymi metodami, możesz skutecznie łączyć wiele obrazów, aby wygenerować nowe, kreatywne kompozycje, w pełni wykorzystując możliwości ComfyUI IPAdapter Plus!
Podczas przetwarzania wysokich obrazów możesz napotkać unikalne wyzwanie: enkoder CLIP Vision, podstawowy komponent ramy IPAdapter, z natury preferuje obrazy kwadratowe. Ta preferencja może prowadzić do problemów z kadrowaniem, gdy bezpośrednio podłączasz wysoki obraz do węzła IPAdapter, zazwyczaj skutkując tym, że tylko centralna część obrazu wpływa na wynik. W rezultacie górne i dolne sekcje Twojego obrazu mogą zostać zignorowane, wpływając na ogólną jakość generowanej treści.
Aby rozwiązać ten problem, węzeł "IPAdapter Tiled" oferuje dostosowane rozwiązanie. Pozwala na bezpośrednie podłączenie wysokich obrazów poprzez segmentację obrazu na mniejsze, zarządzalne kafelki. Ta metoda zapewnia, że każda część Twojego obrazu referencyjnego jest brana pod uwagę podczas procesu generowania, unikając problemu pominięcia części obrazu.
Dodatkową funkcją węzła "IPAdapter Tiled" jest wyjście kafelków i masek, które zapewnia wizualną reprezentację tego, jak Twój obraz jest przetwarzany. Ta funkcja pokazuje konkretne używane kafelki i ich odpowiadające maski, oferując wgląd w wewnętrzne działanie procesu generatywnego. Zrozumienie, jak Twój obraz jest segmentowany i przetwarzany, może pomóc w dokonywaniu świadomych dostosowań w celu osiągnięcia pożądanych wyników.
Ponadto, węzeł "IPAdapter Tiled" pozwala na dostosowanie masek, oferując elastyczność w podkreślaniu lub skoncentrowaniu się na konkretnych sekcjach obrazu. Poprzez dostosowywanie tych masek, możesz skierować więcej uwagi na określone elementy Twojego wysokiego obrazu, zapewniając większą kontrolę nad wynikiem. Ta funkcja okazuje się nieoceniona w podkreślaniu lub minimalizowaniu określonych aspektów w Twoim obrazie, zapewniając, że generowana treść ściśle odpowiada Twojej wizji.
Dlatego integracja węzła "IPAdapter Tiled" z ComfyUI IPAdapter Plus znacznie poprawia Twoją zdolność do obsługi projektów warunkowania obrazu na obraz obejmujących wysokie obrazy.
Jak używać ComfyUI IPAdapter Plus do manipulowania i łączenia stylów i kompozycji obrazów referencyjnych w celu tworzenia nowych, atrakcyjnych wizualizacji. ComfyUI IPAdapter Plus oferuje potężny zestaw narzędzi dla artystów i projektantów do eksperymentowania, w tym możliwość przenoszenia stylu jednego obrazu, zachowania kompozycji innego lub nawet połączenia zarówno stylu, jak i kompozycji z różnych referencji w jeden obraz.
Aby przenieść styl obrazu referencyjnego, jak 1-obrazowy LoRA, na docelową treść za pomocą węzła ComfyUI IPAdapter Advanced, postępuj zgodnie z tymi krokami:
Konfigurowanie węzła "IPAdapter Advanced": Zacznij od włączenia węzła "IPAdapter Advanced" do swojego przepływu pracy.
Konfigurowanie węzła: W ustawieniach węzła ComfyUI IPAdapter Advanced znajdź opcję "Weight Type". Użyj menu rozwijanego, aby wybrać "Style Transfer (SDXL)." Ta konfiguracja kieruje adapter, aby priorytetowo traktował przenoszenie stylu wizualnego obrazu referencyjnego na docelowy.
Dostosowanie wagi transferu stylu: Ustawienie "weight" określa siłę transferu stylu. Zwiększenie tej wartości wzmacnia wpływ stylu referencyjnego na docelowy obraz, sprawiając, że efekt jest bardziej wyraźny.
Aby zachować kompozycję obrazu referencyjnego podczas generowania nowego, również użyjesz węzła ComfyUI IPAdapter Advanced, ale z innym ustawieniem:
Konfigurowanie węzła "IPAdapter Advanced": Jak wcześniej, dodaj węzeł IPAdapter Advanced do swojego przepływu pracy.
Konfigurowanie węzła: Wybierz "Composition (SDXL)" z menu rozwijanego "Weight Type". To instruuje adapter, aby utrzymywał elementy kompozycyjne obrazu referencyjnego w nowej generacji.
Dostosowanie wagi kompozycji: Dostosuj ustawienie "weight", aby wpływać na to, jak ściśle nowy obraz trzyma się kompozycji referencyjnej. Wyższa waga bardziej rygorystycznie wprowadzi kompozycję referencyjną.
W projektach, które wymagają zarówno stylu jednego obrazu, jak i kompozycji innego, węzeł "IPAdapter style & composition SDXL" oferuje zintegrowane rozwiązanie:
Wybierz węzeł "IPAdapter Style & Composition SDXL": Dodaj ten specjalistyczny węzeł do swojego projektu, aby jednocześnie obsługiwać transfery stylu i kompozycji.
Ładowanie referencji stylu i kompozycji: Węzeł "IPAdapter Style & Composition SDXL" pozwala na dwa wejścia, jedno dla obrazu, którego styl chcesz przenieść, i drugie dla obrazu, którego kompozycję chcesz zachować. Załaduj obie referencje odpowiednio.
Konfigurowanie wag dla stylu i kompozycji: Węzeł "IPAdapter Style & Composition SDXL" zapewnia oddzielne ustawienia wagi dla stylu i kompozycji. Dostosuj te wagi, aby zrównoważyć wpływ każdej referencji na końcowy obraz. Ustawienie wyższej wagi dla stylu lub kompozycji priorytetowo traktuje ten aspekt w wygenerowanym obrazie.
Postępując zgodnie z tymi krokami i eksperymentując z ustawieniami, możesz wykorzystać ComfyUI IPAdapter Plus do tworzenia wizualnie oszałamiających obrazów, które łączą najlepsze cechy obu światów: charakterystyczny styl jednego dzieła sztuki z przemyślaną kompozycją innego.
Jeśli jesteś zainteresowany eksploracją Przepływu Pracy ComfyUI IPAdapter Plus (IPAdapter V2), użyj poniższej strony ComfyUI. Jest w pełni wyposażona we wszystkie niezbędne węzły i modele klientów, umożliwiając płynną kreatywność bez potrzeby ręcznych ustawień. Zacznij zdobywać praktyczne doświadczenie natychmiast!
© Prawa autorskie 2024 RunComfy. Wszelkie prawa zastrzeżone.