FramePack: Bilder zum Leben erwecken mit KI

class: center, middle

<video src="tux-avatar-transparent.webm" autoplay muted loop style="float: right; padding-left: 2em; width: 30%;">
# FramePack
## Bilder zum Leben erwecken</br>mit KI
#### Hauke Goos-Habermann
#### https://weisheit.goos-habermann.de
---

### Über mich

- Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a> und der Dodger-Tools

- Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a>

- <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a>

- Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...)
  - Administration
  - Schulungen
  - Support
  - Beratung
  - quasi **alles**, *was mit Linux zu tun hat*

- Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides

- *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a>

- Probiert immer wieder gern OpenSource-KI-Tools aus
---

### Was ist FramePack?

![img33r](HimbeerTux-Rennen01.webp)

Mit **FramePack** kann über eine schlichte Weboberfläche mit einem Prompt ein Video aus einem Bild generiert werden.

* Läuft auch auf handelsüblichen **NVIDIA**-Grafikkarten ab **6GB RAM**

* **Erfindet** u.a. (relativ) realistisch neue (Hintergrund-) **Objekte**, **Schattenwürfe** und **Unschärfen** dazu

* Generiert Videos mit nachvollziehbaren Bewegungen

* Über den **Prompt** wird festgelegt, **was im Video geschehen soll**

Mehr dazu: https://github.com/lllyasviel/FramePack

---

### Installation

![img33r](Mechanischer_Schmetterling.webp)

Die Installation benötigt ca. **50GB freien Plattenplatz** und geschieht unter dem normalen Benutzer mit:

```bash
# Quelltext holen
git clone\
 https://github.com/lllyasviel/FramePack.git

# Ins Projektverzeichnis wechseln
cd FramePack

# Viruellen Python-Umgebung erstellen
# und aktivieren
python3 -m venv venv
source venv/bin/activate

# Paketmanager aktualisieren
pip3 install -U pip

# Abhängigkeiten installieren
pip3 install torch torchvision torchaudio\
 --index-url\
 https://download.pytorch.org/whl/cu126
pip3 install -r requirements.txt
```
---

### Startskript

Damit das Starten einfacher wird, werden alle Parameter mit dem kleinen BASH-Skript in die Datei ***start.sh*** geschrieben:

```bash
echo "#!/bin/bash

# Python-Umgebung aktivieren
source venv/bin/activate

export 'PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128'

# Oberfläche starten
python3 demo_gradio.py --port 8001 --server 127.0.0.1" > start.sh
chmod +x start.sh
```

Danach braucht Ihr nur noch **./start.sh** auszuführen und http://127.0.0.1:8001 im Browser zu öffnen :-)
---

### Prompts

Wie sehen nun die Prompts aus, um ein statisches Bild zum Leben zu erwecken?

![img60r](Gamen_mit_FLAUSCH.webp)

* **Mechanischer Schmetterling:** the butterfly flaps its wings

* **Robotermesse-Zeitungsbild:** robot moves arms and rotates its head, people walking *arbound*

* **HimbeerTux-Rennen:** cute little penguin drives a racing car and wears a raspberry fruit costume, car drives out of the frame, penguin waves its wing

* **DrMechatron:** man closes and opens the left eye and nodds
---

### Optimierungen

![img33r](Robotermesse-Zeitungsbild.webp)

Optional können auch **Pakete zur Optimierung** installiert werden.

```bash
pip3 install xformers
pip3 install sageattention==1.0.6
pip3 install flash-attn
```

Es kann sein, daß Sage Attention zu abweichenden Ergebissen führt und sich Flash Attention nicht installieren läßt.

<table border="1" cellpadding="6" cellspacing="0" style="border-collapse: collapse; font-family: Arial, sans-serif;">
	<thead>
		<tr style="background-color: #e0e0e0;">
			<th>Name</th>
			<th>Fokus</th>
			<th>Speicherbedarf</th>
			<th>Geschwindigkeit</th>
		</tr>
	</thead>
	<tbody>
		<tr style="background-color: #ffffff;">
			<td>xFormers</td>
			<td>Flexibilität, Effizienz</td>
			<td>gering</td>
			<td>hoch</td>
		</tr>
		<tr style="background-color: #f2f2f2;">
			<td>Flash Attention</td>
			<td>Geschwindigkeit, Effizienz</td>
			<td>sehr gering</td>
			<td>sehr hoch</td>
		</tr>
		<tr style="background-color: #ffffff;">
			<td>Sage Attention</td>
			<td>Maximale Geschwindigkeit</td>
			<td>sehr gering</td>
			<td>extrem hoch</td>
		</tr>
	</tbody>
</table>

Bonus: <a href="demo_gradio.py.patch">Patch</a>, für 25fps und unkomprimiertes MP4.
---

class: center, middle
### Informationen zu mir und meinen Dienstleistungen, m23, ...
### https://goos-habermann.de