Whisper v3: Sprache lokal in Text umwandeln

class: center, middle

![img33r](OhrenTux01.webp)

# Whisper v3
###Sprache lokal in Text umwandeln
### Hauke Goos-Habermann
#### https://goos-habermann.de
---

### Über mich

- Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a>

- Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a>

- <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a>

- Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...)
  - Administration
  - Schulungen
  - Support
  - Beratung
  - quasi **alles**, *was mit Linux zu tun hat*

- Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides

- *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a>

- Läßt zuhören und mitschreiben :-)
---

### Whisper?

![img33r](OhrenTux02.webp)

**Whisper** ist eine freie **Spracherkennung** von OpenAI, die Audiospuren von Videodateien oder Tondateien mit Sprache in Text umwandelt. Whisper verwendet ffmpeg, um die Audioinformation aus der Eingabedatei zu lesen. Es können **verschiedene Ausgabeformate** (z.B. srt-Untertiteldateien) erstellt und auch gleich in eine **andere Sprache übersetzt** werden.

Die Ausführung erfolgt **lokal** auf Eurem eigenen Rechner.

Das gewählte **Sprachmodell** wird vor der ersten Nutzung automatisch **heruntergeladen**.

Informationen (z.B. RAM-Bedarf und Funktionsweise): https://github.com/openai/whisper
---

### Installation

![img33r](OhrenTux03.webp)

Als **root**:

```bash
# Python-Venv, git und ffmpeg installieren
apt -y install python3-venv git ffmpeg
```

Als **normaler Benutzer**:

```bash
# Arbeitsverzeichnis anlegen
mkdir whisper
cd whisper

# Python-Umgebung erstellen und aktivieren
python3 -m venv whisperenv
source whisperenv/bin/activate

# Whisper installieren
pip install\
 git+https://github.com/openai/whisper.git

# Funktioniert es?
whisper --help
```
---

### Verwenden

![img33r](OhrenTux04.webp)

Über Kommandozeilenprameter teilen wir Whisper mit, was es tun soll:

```bash
mkdir out
whisper --model_dir whisperenv/models\
 --language de --model large-v3 --device cpu\
 --task translate --output_dir out\
 --output_format all SFD.mp4
```

* *--model_dir*: Verzeichnis, in dem die Modelle zu finden sind und wohin sie heruntergeladen werden
* *--language*: Sprache
* *--model*: large-v3 oder large-v3-turbo
* *--device*: cpu oder cuda
* *--task translate*: Gleich auf englisch übersetzen
* *--output_dir*: Wo sollen die Transkribierungen gespeichert werden?
* *--output_format*: Format der Transkribierungsdatei(en)
---

### Webm zu Ogg

![img33r](OhrenTux05.webp)

Mit [ffmpeg](https://de.wikipedia.org/wiki/FFmpeg) können wir die Audiospur aus einer Videodatei extrahieren und nur diese an Whisper weitergeben.

Das spart Bandbereite, wenn man die Dateien auf einen Server zum Rechnen hochlädt ;-)

```bash
# Eingabedatei aus Parameter
input_file="$1"

# Ausgabe-Dateiname ableiten:
# Ersetze Endung .webm durch .ogg
output_file="${input_file%.webm}.ogg"

# Audio aus WebM extrahieren und als
# OGG speichern
ffmpeg -i "$input_file" -map 0:a\
 -acodec copy "$output_file"
```
---

### Auswertung
<table class="tabelle">
	<thead>
	<tr>
		<th>Model</th>
		<th>CPU</th>
		<th>RAM</th>
		<th>GPU</th>
		<th>Zeit</th>
		<th>n*GPU</th>
	</tr>
	</thead>
	<tbody>
	<tr>
		<td>large-v3</td>
		<td>16v-Kerne ca. 50%</td>
		<td>ca. 8GB mit Spitzen über 8GB</td>
		<td>-</td>
		<td>77m43s</td>
		<td>60,6</td>
	</tr>
	<tr>
		<td>large-v3</td>
		<td>14v-Kerne ca. 98%</td>
		<td>ca. 6–8GB mit Spitzen über 10GB</td>
		<td>-</td>
		<td>81m37s</td>
		<td>63,5</td>
	</tr>
	<tr>
		<td>large-v3-turbo</td>
		<td>16v-Kerne ca. 50%</td>
		<td>ca. 4GB</td>
		<td>-</td>
		<td>13m55s</td>
		<td>10.8</td>
	</tr>
	<tr>
		<td>large-v3-turbo</td>
		<td>14v-Kerne ca. 90%</td>
		<td>ca. 4GB</td>
		<td>-</td>
		<td>18m32s</td>
		<td>14,4</td>
	</tr>
	<tr>
		<td>large-v3-turbo</td>
		<td>-</td>
		<td>-</td>
		<td>GeForce RTX 3070 Mobile</br>
		.copyright[]</td>
		<td>1m17s</td>
		<td>1</td>
	</tr>
	</tbody>
</table>

.copyright[**Hinweis 1:** Videolänge: 17m21s</br>
**Hinweis 2:** GeForce RTX 3070 Mobile ist bei cuda 12-18% langsamer als Desktop-Variante]
---

### Ergebnisse

![img33r](OhrenTux05.webp)

Die **Ergebnisse** sind zu einem großen Teil **korrekt**.

Selten kommen **Halluzinationen** wie ***"ARD Text im Auftrag von Funk"*** am Ende (eher bei v3) vor.

Die Ergebnisse von **large-v3** sind bei jedem Durchlauf ([1](GlusterFS-v3A.txt), [2](GlusterFS-v3B.txt)) **leicht anders**, die von **large-v3-turbo** hingegen identisch ([1](GlusterFS-v3-turboA.txt), [2](GlusterFS-v3-turboB.txt)).

**Abkürzungen** wie *"bzw."* werden mal als *"beziehungsweise"* ausgeschrieben, dann wieder nicht. Unterschiede ergeben sich auch bei **Umbrüchen** und Verwendung von **Bindestrichen**.

**Unbekannte/seltene Worte** wie *"GlusterFS"* können zu *"GlasterFS"* oder *"Mumpitz"* zu *"Mumpets"* werden.

Die **turbo-Version** von v3-large liefert **keine schlechteren Ergebnisse**, ist aber **deutlich schneller**.
---

class: center, middle
### Informationen zu mir und meinen Dienstleistungen, m23, ...
### https://goos-habermann.de