Blender, Umělá inteligenci
Projektový den Listopad 2024
Blender - low poly, 6-7tř.
Blender low poly označuje tvorbu 3D modelů s nízkým počtem polygonů. Tento styl je často využíván pro hry, animace nebo stylizované umění, protože modely jsou jednodušší a méně náročné na výkon.
Jinými slovy: upravovali jsme a barvili kostky (většinou). Ve scéně jsme rovněž nastavili osvětlení, kameru a krátkou animaci.
Blender - animace
Scéna na obrazku ukazuje animované rolety. Objekt byl vytvořen modifikátorem array, který z jednoho objektu (jedna přepážka rolety) vytvoří sérií přepážek. Samotná roleta je poté animován pomocí klíčových snímku, které se vážou na změnu parametru modifikátoru. A protože za roletami jsme umístili bodové světlo, vzniká díky tomuto efektu zároveň pohyblivý stín. Že tomu nerozumíte? :-) To vůbec nevadí a efekt si ale prohlédnout můžete. Důležité je, že tomu porozuměli účastníci mini-workshopu.
Blender - střih videa, AI 8-9tř.
Během dvou vyučovacích hodin jsme si vyzkoušeli střih videa v programu Blender který není pouze nástrojem pro 3D tvorbu. Práci jsme kombinovali s nástroji umělé inteligence (AI) kterou lze využít různými způsoby, např.: automatický střih, úprava kvality zvuku, tvorbu transkriptů, úprava/změna/izolace hlasu atd. Redukci velikosti videa, konverzi formátů, úprava bitrate jsme provedli nástrojem ffmpeg. Primárně jsme se zaměřili na práci s audio složkou.
Vytvořili jsme různé verze videa, které lze níže shlédnout.
Originál videa
Původně natočené neupravené video, pouze bylo redukované rozlišení a bitrate. Video bylo použito pro výuku střihu videa v programu Blender v kombinaci s AI.
V této krátké sekvenci slyšíte na pozadí hluk a další šum (vítr, auta, atd.). Video obsahuje další nedokonalosti, jako jsou pauzy, faktické chyby, např. že kostel byl postaven kolem roku 1800 (nedořekl jsem číslovku 80). Šum a další nesrovnalosti jsme se snažili odstranit. Protože velikost videa ve formátu mts přesahovala 100mb provedli jsme redukci a konverzi videa na formát mp4 pomocí programu ffmpeg příkazem:
ffmpeg -i vstup.mts -vf "scale=640:-1" -b:v 500k -b:a 128k vystup.mp4.
Izolace hlasu
Pomocí programu Evenlabs jsme odstranili šum a další zvuky (vítr, auta) na pozadí. Před touto akcí jsme si programem Blender extrahovali zvukovou stopu ve formátu mp3. Zvukovou nahrávku jsme nahráli do služby EvenLabs a s pomocí nástroje "Voice Isolator" získali novou nahrávku obsahující pouze hlas bez dalších ruchů. Výstupní kvalita nás velmi překvapila, ve srovnání s originální nahrávkou v ní krom hlasu nic dalšího neuslyšíte. Nahrávka stále obsahuje chyby.
Dabbing pomocí AI
Hlas ve videu je generován pomocí umělé inteligence službou Evenlabs (hlas: HanaCZ,beta). Nejdříve jsme museli převést mluvené slovo na text k čemuž jsme použili program Gling. Text jsme patřičně upravili, odstranili faktické chyby, opravili rod mluvčího. Textový výstup byl použit pro generování hlasu pomocí "Text to Speech". Vybrali jsme hlas HanaCZ beta.
Poznámka: ve službě Gling můžete automaticky odstraňovat mezery, ruchy na pozadí, apod.
Překlad a dabing do angličtiny
Text byl přeložen pomocí překladače Deepl a výstup (neupravený) byl použit pro generování hlasu v angličtině službou EvenLabs. Hlas použitý ve videu: Chris (Conversational)
V případě generování hlasu z textu nemusí tento hlas odpovídat tempu a umístění v původním videu. Což lze napravit další úpravou videa. Zde bez úprav.
Překlad a dabing do španělštiny
Naprosto stejný postup jako u překladu do angličtiny. Přeloženo v Deepl. Hlas ve videu: "Martin Osborne 2" .
Hlas klonovaný AI
Ve videu je použit hlas klonovaný AI. Jako podklad pro klonování hlasu byl použit hlas, který byl použit v původním originálním videu. Následně bylo tímto hlasem video dabováno pomocí AI. Pro dabing byl využit psaný text v němž byly opraveny chyby původně namluvené nahrávky. Pro klonování (tzn. nově vytvořený hlas) a generování mluveného slova byla použita služba EvenLabs, nástroj "Instant Voice Clone".
Do druhé polovíny videa jsme k zvukové stopě přidali původní šum pozadí z originálního videa. K extrahování zvuků pozadí a odstranení hlasu jsme použili online službu vocalremover.org, která je primárně určena pro tvorbu karaoke.