מה Wan 2.2 image-to-video עושה
Wan 2.2, ששוחרר ביולי 2025 תחת רישיון Apache 2.0, הוא היורש של Wan 2.1 בסדרת מודלי הווידאו הפתוחים של Alibaba. גרסת ה-image-to-video, Wan2.2-I2V-A14B, משתמשת ב-diffusion transformer מסוג תערובת מומחים (mixture of experts): מומחה אחד מטפל בצעדים המוקדמים והרועשים שקובעים את הפריסה הכללית, ואחר מטפל בצעדים המאוחרים שמלטשים את הפרטים. כ-14 מיליארד פרמטרים פעילים בכל צעד מתוך 27 מיליארד בסך הכול. מודל היברידי קטן יותר, Wan2.2-TI2V-5B, מקבל גם טקסט וגם תמונה ורץ על כרטיס ביתי אחד.
אתם נותנים למודל תמונה, שהופכת לפריים הראשון של הסרטון, ופרומפט שאומר מה צריך לזוז. הוא מייצר 81 פריימים ב-16 פריימים לשנייה, בערך חמש שניות, ובונה את הסרטון על התמונה הזו: פנים, בגדים ותאורה נשארים קרובים למקור בזמן שהמצלמה או הנושא זזים.
איך כותבים את פרומפט התנועה
התמונה כבר נושאת את הנושא, הסגנון והקומפוזיציה, ולכן הפרומפט צריך לתאר רק את השינוי. כתבו משפט אחד או שניים קצרים: מי או מה זז, איך, ומה המצלמה עושה. "The woman turns her head to the right and smiles, soft wind in her hair, slow push-in" עובד; רשימת תגיות של סגנון לא. ציינו את המצלמה במפורש כשזה חשוב: "static camera", "slow pan to the left", "the drone rises".
שמרו על תנועה סבירה לסרטון של חמש שניות. פעולה אחת לפרומפט היא הבחירה הבטוחה. פעלים כמו walks, waves, blinks, flows, drifts, rotates נותנים תנועה צפויה. אל תבקשו דברים שאינם בתמונה: המודל יכול להזיז מכונית, אבל הוא צריך להמציא את הכביש מאחוריה, וזה פחות אמין ממה שהתמונה כבר מראה. לפרומפט שלילי יש השפעה רק כשה-guidance גבוה מ-1; תהליכי העבודה עם Lightning LoRA של 4 צעדים רצים על 1 ומתעלמים ממנו. אחרת הרשימה הרגילה עובדת: blurry, distorted hands, extra limbs, flickering, watermark, text.
הגדרות שחשובות
- רזולוציה: 480p מהיר בערך פי שלושה מ-720p ולרוב מספיק לרשתות חברתיות; השתמשו ב-720p לסרטון סופי.
- פריימים: 81 פריימים ב-16 fps הם הסרטון הסטנדרטי של חמש שניות. רצפים ארוכים יותר נסחפים; עדיף לייצר שני סרטונים ולחתוך.
- צעדים: 40 צעדי דגימה בסקריפט הרשמי, 20 בתהליך העבודה הבסיסי של ComfyUI. עם Lightning LoRA של 4 צעדים, 4 עד 8 מספיקים.
- Guidance (CFG): 3.5 כברירת מחדל למודל ה-I2V של 14B, ו-1 עם ה-LoRA של 4 צעדים. ערכים גבוהים יותר עוקבים אחרי הפרומפט באופן מילולי יותר אבל מוסיפים הבהוב.
- Seed: כמו ב-Stable Diffusion, אותה תמונה, פרומפט, הגדרות ו-seed משחזרים את אותו סרטון; שנו רק את ה-seed כדי לקבל תנועה אחרת לאותה תמונה.
בדקו את הפרומפט ב-480p לפני שאתם משקיעים זמן ב-720p. ה-seed לא נשמר בין הרזולוציות: ב-720p לרעש יש צורה אחרת, ולכן התנועה משתנה.
אילו תמונות מונפשות הכי טוב
Wan 2.2 עובד מכל צילום או תמונה שנוצרה ב-AI, אבל יש תמונות שקלות לו בהרבה. נושא ראשי ברור על רקע פשוט נותן תנועה נקייה; סצנות עמוסות מכריחות את המודל לבחור מה להזיז. הסרטון מקבל את יחס הגובה-רוחב של התמונה, ולכן גם לאורך וגם לרוחב עובדים. ב-ComfyUI, הגדירו רוחב וגובה באותו יחס, אחרת התמונה נחתכת. תמונות חדות ומוארות היטב שומרות על פרטים לאורך הסרטון אם הן לפחות בגודל הפלט (832 פיקסלים בצד הארוך ב-480p, 1280 ב-720p); מקור מטושטש או דחוס מאוד מייצר וידאו מטושטש.
תמונות שנוצרו עם Stable Diffusion, SDXL או Flux מונפשות מצוין, וזה הופך את image-to-video לדרך הקלה ביותר להשיג סרטון קצר עם מראה מדויק: צרו קודם בדיוק את הפריים שאתם רוצים, ואז הנפישו אותו.
הרצת Wan 2.2 I2V בבית
המשקולות נמצאות ב-Hugging Face ורצות ב-ComfyUI, ב-Diffusers ובמאגר הרשמי של Wan. עם הסקריפט הרשמי, ש-Alibaba אומרת שהוא דורש כרטיס של 80 GB, מודל ה-I2V של 14B מגיע לשיא של כ-41 GB של VRAM ב-480p ו-60 GB ב-720p. ב-ComfyUI הוא רץ על כרטיס של 24 GB עם checkpoints מכווצים ל-fp8 ועם offloading, במחיר של כמה דקות לסרטון. מודל ה-TI2V של 5B מייצר סרטון 720p של חמש שניות על RTX 4090 בפחות מעשר דקות וצריך כ-24 GB של VRAM עם הסקריפט הרשמי; ב-ComfyUI הוא נכנס בכרטיס של 8 GB. מתחת לזה, השתמשו ב-GPU בענן או בדמו החינמי באתר הזה.