Bagaimana kalau kamu bisa memasukkan satu adegan film ke sebuah tool open source, lalu mendapatkan adegan yang sama kembali sebagai kartun gaya Pixar, dengan karakter yang sama, gerakan kamera yang sama, dan alur cerita yang sama? Itulah yang dilakukan Soap2Soap. Dibangun oleh Show Lab di National University of Singapore, tool ini adalah pipeline open source yang me-remake video panjang dengan gaya baru atau dengan pemeran baru, bukan sekadar menghasilkan beberapa detik footage dari sebuah prompt teks.
Poin Penting
>
Soap2Soap me-remake segmen video utuh, hingga 42 shot berturut-turut, bukan hanya klip pendek.
Tiga AI agent membagi pekerjaan: satu memahami video, satu menghasilkan remake, dan satu memverifikasi setiap shot agar konsisten.
Gaya yang tersedia di kode ini antara lain Pixar, Disney, LEGO, anime, clay, dan Family Guy.
Kodenya ada di GitHub di showlab/soap2soap, dengan 120 star per 25 Oktober 2026.
Kamu butuh API key Gemini dan BytePlus untuk Seed Dance 2.0 agar bisa menghasilkan video sungguhan.
Apa sebenarnya yang dilakukan Soap2Soap
Kebanyakan tool video AI berawal dari prompt dan menghasilkan beberapa detik footage. Soap2Soap berawal dari video yang sudah ada, lalu me-remake-nya. Implementasi kode resminya menyebut dirinya video-to-video generation yang didukung Google Gemini dan Seed Dance 2.0, dan paper penelitian pendampingnya, Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration, menjelaskan dua skenario.
Skenario pertama adalah remake real-to-stylized: ambil adegan live action lalu render menjadi kartun gaya Pixar, film LEGO, animasi clay, atau sekuens anime. Skenario kedua adalah re-casting live action: adegannya tetap, tapi pemerannya diganti, menggunakan gambar referensi dari pemeran baru. Pada kedua kasus, tujuannya sama: menjaga narasi, koreografi gerakan, dan identitas setiap karakter di sepanjang segmen.
Contoh demo di README menunjukkan sejauh apa jangkauannya. Sebuah klip Huaqiang Watermelon Meme menjadi animasi clay sepanjang 18 shot dan 6 karakter, dengan dialog Mandarin aslinya tetap terjaga. Sebuah adegan Titanic menjadi remake gaya Pixar sepanjang 12 shot dan 5 karakter, dengan dialog Inggris yang utuh. Showcase lain mengubah adegan Doctor Strange menjadi LEGO dan drama istana menjadi kartun 2D gaya Family Guy.
Tonton signal repo 30 detiknya: Turn Any Video Into Pixar With Soap2Soap.
Cara tiga agent me-remake sebuah film
Bagian tersulit dari me-remake video panjang adalah konsistensi. Karakter yang tampil satu rupa di shot 1 harus tampil sama di shot 40, dan ceritanya harus tetap nyambung saat semua shot dirangkai kembali. Soap2Soap menyelesaikan ini dengan tiga agent yang bekerja di bawah apa yang disebut paper ini Dual-Bridge Consistency.
Agent pemahaman membaca filmnya dulu
Sebelum ada yang dihasilkan, agent pemahaman menonton video sumber dan menulis naskah detail dalam format JSON. Ia memecah video menjadi scene dan shot, dan untuk setiap shot ia mencatat karakter, latar, bahasa kamera, aksi, dan dialog. Transkripsi berasal dari Whisper, dan analisisnya berjalan dalam potongan sekitar 60 detik secara paralel, sehingga video panjang diproses dalam bagian-bagian yang mudah dikelola.
Agent generasi menggambar dalam grid, bukan satu frame per satu frame
Agent generasi tidak me-render shot secara terpisah. Ia membuat keyframe untuk beberapa shot sekaligus dalam grid 2x2 atau 3x3, sehingga karakter dan lingkungan tetap konsisten secara visual antar shot. Sebuah Design Sheet terpadu, yang dibangun dari gambar referensi karakter, menjadi jangkar rupa setiap karakter. Keyframe itu kemudian diubah menjadi klip video pendek lewat model image-to-video.
Agent verifikasi memeriksa setiap shot
Agent ketiga mengaudit keyframe dan klip berdasarkan naskah bersama dan jangkar visual. Saat ada yang melenceng, misalnya wajah karakter berubah, latar bergeser, atau alur cerita putus, hanya shot atau jendela waktu yang terdampak yang di-generate ulang. Loop regenerasi selektif inilah yang membuat pipeline ini tetap utuh di puluhan shot berturut-turut, bukan berantakan setelah beberapa shot pertama.
Paper versus kode: dua stack model yang berbeda
Satu detail yang perlu disampaikan dengan jelas: paper penelitian dan kode publiknya tidak memakai model yang persis sama, jadi jangan anggap keduanya sebagai stack yang identik.
Aspek | Paper penelitian | Kode publik |
|---|---|---|
Pemahaman dan verifikasi | Gemini 3 Flash | Gemini (lewat GENAI_API_KEY) |
Generasi keyframe | Nano Banana 2 | Generasi gambar Gemini, Imagen 3 |
Generasi video | Veo 3, klip 4 sampai 8 detik | Seed Dance 2.0 sebagai default, Veo 3 sebagai alternatif |
Keluaran | Hasil benchmark di SoapBench | Video final digabung dengan ffmpeg pada 1280x720 |
Benchmark paper ini, SoapBench, mencakup 10 film dengan 607 shot di jalur pemahamannya, dan lebih dari 95 persen shot membawa jangkar karakter eksplisit. Di jalur remake, setiap film menyumbang satu segmen kontinu berdurasi 1,5 sampai 5 menit, dengan sekuens terpanjang mencapai 42 shot berturut-turut. Pada skor VLM 10 poin di paper ini, Soap2Soap mencapai 9,17 untuk identitas karakter, 8,84 untuk konsistensi scene, dan 8,67 untuk alur, di depan Kling O1 yang mencatat 8,11, 8,37, dan 8,60. Satu catatan berasal dari paper itu sendiri: juri VLM-nya adalah Gemini 3 Flash, dari keluarga model yang sama dengan yang dipakai untuk generasi, dengan skor CLIP dilaporkan sebagai cross-check yang agnostik terhadap model.
Apa yang kamu butuhkan untuk menjalankannya
Soap2Soap adalah proyek Python, dan README-nya mencantumkan syarat yang jelas: Python 3.10 atau lebih baru, ffmpeg, API key Gemini, dan API key BytePlus untuk Seed Dance 2.0, yang wajib ada untuk menghasilkan video sungguhan. Key opsional mencakup Veo 3 dan Runware. Gaya default-nya adalah Disney, maksimum default-nya 10 shot, dan mode keyframe default-nya adalah consistency mode, yang mengutamakan stabilitas karakter dibanding variasi.
Beberapa catatan praktis sebelum kamu mencobanya. Pertama, repositori ini saat ini tidak menyatakan lisensi: API GitHub mengembalikan field lisensi null dan root repositori tidak berisi file LICENSE, jadi periksa ketentuannya sebelum membangun produk di atasnya. Kedua, generasi video lewat API komersial tidak gratis, dan remake penuh atas segmen multi-menit berarti banyak panggilan model, sehingga biayanya cepat membengkak. Ketiga, repositori ini dibuat pada Maret 2026 dan terakhir di-push pada Mei 2026, dengan 120 star dan 13 fork per 25 Oktober 2026, jadi perlakukan sebagai kode penelitian, bukan produk yang sudah dipoles.
Kenapa Soap2Soap penting
Klip AI pendek sudah umum. Remake panjang yang koheren belum. Soap2Soap menarik karena ia memperlakukan video sebagai cerita yang harus dipahami dulu dan di-render kemudian, dan karena ia menunjukkan cara kerjanya: naskah, design sheet, dan loop verifikasi. Bagi kreator, ini mengarah ke masa depan di mana mengubah gaya sebuah adegan menjadi keputusan editing, bukan syuting ulang. Bagi developer, pola multi-agent-nya, memahami, menghasilkan, memverifikasi, bisa dipakai ulang jauh melampaui video, di mana saja keluaran panjang harus tetap konsisten.
Baca artikel ini dalam bahasa Inggris: Soap2Soap: Turn Any Video Into a Pixar-Style Remake With Open Source AI.
FAQ
Apakah Soap2Soap benar-benar open source?
Kodenya tersedia publik di GitHub di bawah showlab/soap2soap, tapi saat ini tidak ada lisensi yang dinyatakan di repositori, sehingga ketentuan pemakaian ulangnya belum jelas sampai penulis menambahkan lisensi.
Bisakah ia me-remake satu film penuh?
Paper ini mendemonstrasikan segmen berdurasi 1,5 sampai 5 menit, hingga 42 shot berturut-turut. Remake film panjang penuh belum didemonstrasikan, dan biaya serta komputasi akan membesar seiring durasi.
Gaya apa saja yang didukungnya?
Kode ini mencantumkan gaya Pixar, Disney, LEGO, anime, clay, Family Guy, dan realistis, dengan Disney sebagai default.
Apakah saya butuh API key berbayar?
Ya, untuk menghasilkan video sungguhan. Kamu butuh API key Gemini dan key BytePlus untuk Seed Dance 2.0, dengan Veo 3 tersedia sebagai model video alternatif.
Apa bedanya dengan tool text-to-video?
Tool text-to-video menciptakan footage dari prompt. Soap2Soap me-remake footage yang sudah ada, menjaga urutan shot asli, bahasa kamera, karakter, dan struktur dialog dalam gaya baru.