1. Résumé
Qwen-Image-Layered est un modèle de « superposition » d’images open source de l’équipe Qwen : il prend une image RVB normale et produit plusieurs couches RGBA physiquement isolées les unes des autres. Contrairement à la « modification sur la même carte plate », elle décompose le corps principal et la structure en couches indépendantes, rendant les opérations de base telles que l’ombrage intense, le déplacement, la mise à l’échelle et la suppression plus proches du processus non destructif des logiciels de conception, et en supportant la division continue d’une certaine couche pour obtenir une décomposition récursive à grain fin.
2. Caractéristiques principales
1. Couchage style Photoshop (modifiable nativement) : La sortie est composée de plusieurs calques RGBA, le canal transparent est clair, et il est moins probable qu’il « implique » l’arrière-plan avec d’autres objets lors de la modification du calque cible.
2. Nombre contrôlable de couches : Le nombre de couches peut être spécifié via des paramètres lors de l’inférence (l’exemple de l’entrepôt montre l’utilisation de 3 couches, 8 couches, etc.), ce qui est pratique pour faire des compromis entre « disposition grossière » et « objets fins ».
3. Décomposition récursive/infinie : N’importe quelle couche de sortie peut être poursuivie en entrée, en approfondissant progressivement vers des détails structurels plus fins.
4. Adapté au flux de travail : L’interface officielle de Gradio est fournie et permet d’exporter les résultats de décomposition vers pptx, ce qui est pratique pour le glisser-déposer et la composition directe dans les outils bureautiques/présentations courants.
3. Installation
1. Préparation de l’environnement : Il est recommandé d’utiliser un environnement GPU avec CUDA, et de suivre les consignes officielles pour s’assurer que les versions dépendantes telles que les transformateurs et diffuseurs répondent aux exigences.
2. Installer les dépendances : Installer la dernière version des diffuseurs et exporter les dépendances requises (comme python-pptx) selon Démarrage rapide dans le référentiel.
3. Inférence minimale : utiliser QwenImageLayeredPipeline.from_pretrained("Qwen/Qwen-Image-Layered") pour charger le modèle ; Entrez des images au format RGBA et définissez des paramètres tels que layers (nombre de couches décomposées), num_inference_steps, resolution, etc., pour obtenir une sortie multi-couches.
4. Lancer la démo de visualisation : exécuter le script Gradio fourni par l’entrepôt pour décomposer et exporter ; Pour une modification ultérieure des calques transparents, vous pouvez utiliser les scripts d’outils liés à l’édition de calques dans le dépôt (généralement utilisés avec le modèle d’édition d’image).
4. Cas d’usage typiques
1. Changement rapide de couleur/remplacement des supports e-commerce et publicitaires : Après avoir démonté le corps principal en couches indépendantes, il est plus intuitif de changer ou de remplacer un seul objet.
2. Mise en page affiche/couverture : Après la décomposition, vous pouvez directement déplacer et redimensionner différentes couches pour tester rapidement la relation entre composition et hiérarchie.
3. Prétraitement de la clé et de la synthèse : Comparé à la séparation/clé qui ne produit que le masque, la couche RGBA est plus adaptée pour entrer directement dans le pipeline de synthèse.
4. « Représentation intermédiaire » du montage cohérent : Limiter la cible de montage à une certaine couche, puis la redessiner/remplacer, ce qui peut réduire la probabilité de contamination en arrière-plan.
5. Raffinement récursif : commencez par effectuer une décomposition en petites couches pour obtenir une grande structure, puis continuez à décomposer une des couches, et obtenez progressivement une couche objet de granularité plus fine.
5. Écologie et produits concurrents
1. Écosystème : Fournir des poids de modèles de face émaillée et des interfaces de pipeline Diffusers, et le script de dépôt compatible peut lancer directement la Web Demo, et fournir un chemin d’atterrissage pour exporter vers pptx.
2. Concurrents/idées alternatives :
- IA traditionnelle de montage d’images (repeindre localement/édition d’instructions) : Elle est généralement toujours générée sur une « toile pixel plate » et est sujette à un couplage et à un dérive entre la cible et l’arrière-plan.
- Séparation/Découpe/Tapis : Des masques ou un premier plan peuvent être obtenus, mais ils ne forment pas nécessairement une structure RGBA multi-couches réarrangable, et la relation intercalaire ainsi que la cohérence de la reconstruction ne sont pas toujours l’objectif.
- Couche PSD pour les outils de conception : est une couche structurée générée par des chaînes d’outils artificielles ; Qwen-Image-Layered ressemble davantage à la modélisation « récupérant automatiquement la structure des couches à partir d’une image ».
6. Limitations et précautions
1. Coûts de puissance de calcul et de vitesse : La décomposition en plusieurs couches entraîne généralement des coûts d’inférence plus élevés, et les scénarios interactifs doivent peser le nombre de couches et d’étapes.
2. La sémantique des couches n’est pas toujours « l’objet que vous souhaitez » : Certaines occlusions complexes, matériaux transparents et zones denses en textures peuvent présenter des limites de couches instables ou des clivages peu intuitifs, nécessitant une sélection manuelle ou une décomposition secondaire.
3. Résolution et détails : La haute résolution favorise davantage les détails, mais consomme aussi plus de mémoire vidéo ; Il est recommandé de l’essayer selon la stratégie de résolution officielle recommandée et les paramètres.
4. Limites de modification des formats d’exportation : l’exportation vers PPTX est pratique pour la mise en page glisser-déposer, mais elle n’est pas équivalente à l’écosystème PSD complet (des fonctionnalités avancées comme les modes de fusion et les calques d’ajustement nécessitent encore des chaînes d’outils supplémentaires).
7. Adresse du projet
https://github.com/QwenLM/Qwen-Image-Layered
8. Questions fréquemment posées
Q : Qwen-Image-Layered supporte-t-il de spécifier le nombre de calques de décomposition ?
R : Oui. L’interface d’inférence fournit des paramètres tels que layers pour contrôler le nombre de couches de sortie ; Plus vous avez de couches, plus c’est petit, mais c’est aussi plus long et gourmand en ressources.
Q : Comment utiliser la « décomposition infinie/récursive » de Qwen-Image-Layered ?
R : Commencez par décomposer l’image originale pour obtenir plusieurs couches de RGBA, puis sélectionnez l’une des couches comme nouvelle entrée pour continuer la décomposition, ce qui peut être affiné couche par couche.
Q : La sortie Qwen-Image-Layered peut-elle être utilisée directement pour la mise en page de la conception ?
R : Vous pouvez exporter en pptx via le script officiel, et déplacer et mettre à l’échelle chaque calque comme un élément indépendant. Les capacités de conception plus complexes dépendent de votre chaîne d’outils en aval.
Q : Qwen-Image-Layered convient-il aux modèles alternatifs de découpe/segmentation ?
R : Ce n’est pas un remplacement complet. Il produit des structures RGBA multicouches modifiables, qui sont plutôt des « représentations intermédiaires d’édition » ; Le splitting/découpage est meilleur pour donner des masques précis, et les deux peuvent se compléter.
