Lokale KI-Verarbeitung

Local AI Processing führt Hedys KI-Analyse vollständig auf Ihrem eigenen Gerät aus. Ihre Transkripte bleiben auf dem Gerät, und die Funktion arbeitet auch ohne Internetverbindung.

Sie ist verfügbar auf macOS (Apple Silicon), Windows, iPhone 15 Pro und neuer sowie auf M-Series iPads. Mit aktivierter lokaler KI-Verarbeitung laufen alle Teile von Hedy, die Ihr Transkript lesen und Text erzeugen – Zusammenfassungen, detaillierte Notizen, Quick Prompts, Chat-Antworten, Echtzeit-Vorschläge und Feedback – lokal statt auf Hedys Servern.

Local AI Processing ist optional und standardmäßig deaktiviert. Die meisten Nutzerinnen und Nutzer müssen sie nicht einschalten: Cloud-KI ist nach wie vor schneller und qualitativ einen Schritt voraus. Sie ist gedacht für Menschen mit Datenschutzanforderungen, die die Cloud-Lösung nicht erfüllen kann, oder die Hedy vollständig offline nutzen möchten.

Was Local AI Processing leistet

Erstellt Sitzungszusammenfassungen, detaillierte Notizen, Quick Prompts, Chat-Antworten, Echtzeit-Vorschläge und Feedback – alles auf Ihrem Gerät.
Hält Ihre Transkripte auf dem Gerät. Keine Gesprächsdaten verlassen Ihr Gerät für die KI-Analyse.
Funktioniert offline, sobald ein Modell heruntergeladen wurde.
Koexistiert mit cloudbasierter Spracherkennung (Deepgram, OpenAI), falls Sie diese verwenden. Nur der KI-Analyseschritt ist lokal.
Fällt nicht still auf die Cloud zurück. Schlägt lokal etwas fehl, sehen Sie eine Fehlermeldung – statt eines unbeaufsichtigten Wiederholungsversuchs auf unseren Servern. Sie haben sich bewusst für die lokale Verarbeitung entschieden.

Voraussetzungen

Apple Silicon Macs (M1 oder neuer). Apple Silicon teilt einen gemeinsamen Speicherpool zwischen CPU und GPU, daher muss das Modell neben allem anderen, was Sie gerade ausführen, in Ihren Gesamtarbeitsspeicher passen. Die kleinsten Modelle funktionieren auf den meisten modernen Macs. Mittelgroße Modelle (rund 9 Milliarden Parameter) laufen komfortabel auf 16-GB-Systemen. Die größten Modelle können etwa 25 GB RAM benötigen, weshalb 36 GB oder mehr realistisch für diese sind.

Windows-PCs mit einem aktuellen Vulkan-Treiber. Entscheidend ist hier vor allem der VRAM Ihrer GPU, nicht der Systemarbeitsspeicher. Größere Modelle benötigen eine Grafikkarte mit ausreichend VRAM. Ist ein Modell etwas zu groß für Ihre Karte, verteilt Hedy einige Schichten auf die CPU – das funktioniert, ist aber spürbar langsamer, und der Modell-Picker kennzeichnet diese Einträge mit dem Zusatz ”+ Slow”.

iPhone 15 Pro und neuer sowie M-Series iPads. Aufgrund der Speicherbeschränkungen auf Smartphones und Tablets sind nur die kleinsten Modelle verfügbar. Kompakte Modelle eignen sich gut für kurze Zusammenfassungen, sind aber spürbar eingeschränkter als ein größeres Modell auf einem Mac. Ältere iPhones und iPads sehen den Schalter gar nicht.

Android und Web sind auf unserer Roadmap, aber noch nicht unterstützt. Die große Hardware-Vielfalt bei Android und die Einschränkungen beim Ausführen von Modellen im Browser machen eine konsistente Nutzererfahrung heute schwierig.

Sie benötigen außerdem freien Arbeitsspeicher passend zum gewählten Modell (Hedy zeigt für jedes einen Passungsindikator an) sowie einen einmaligen Modell-Download. Die Modellgröße reicht je nach gewähltem Modell von etwa 2,5 GB bis über 20 GB.

Local AI Processing aktivieren

Öffnen Sie Hedy und gehen Sie zu Settings → Speech & AI.
Scrollen Sie zum Bereich Local AI Processing und aktivieren Sie ihn.
Wählen Sie ein Modell aus der Liste, das zum Arbeitsspeicher Ihres Geräts passt. Achten Sie auf die Bezeichnung “Great fit”.
Warten Sie, bis der Download des Modells abgeschlossen ist. Sie sehen den Fortschritt und die Größe in GB.
Sobald der Download abgeschlossen ist, ist Local AI Processing aktiv. Starten Sie eine Sitzung wie gewohnt.

Local AI Processing wird pro Gerät konfiguriert. Um sie auf Ihrem Mac und Ihrem iPhone zu nutzen, müssen Sie sie auf jedem Gerät separat aktivieren und ein Modell herunterladen – Einstellung und Modelldateien werden nicht zwischen Geräten übertragen.

Ein Modell auswählen

Der Modell-Picker zeigt mehrere Modelle mit einer Sternebewertung basierend auf ihrer Größe:

★ (1 Stern) — Gut für einfache Sitzungszusammenfassungen und kurze Notizen. Kann bei langen Meetings oder differenzierten Folgefragen an Grenzen stoßen. Parameterbereich: 2–5 Milliarden.
★★ (2 Sterne) — Solide Allround-Leistung. Bewältigt Sitzungszusammenfassungen, detaillierte Notizen und Chat gut. Sehr lange oder stark technische Gespräche können schwieriger sein. Parameterbereich: 8–10 Milliarden.
★★★ (3 Sterne) — Nahezu auf dem Niveau unserer Cloud-KI. Bewältigt lange Meetings, umfangreiche Themen, aufwändige Notizen und komplexe Folgefragen zuverlässig. Parameterbereich: 15+ Milliarden.

Hedy prüft automatisch den verfügbaren Arbeitsspeicher Ihres Geräts und kennzeichnet jedes Modell:

Great fit — Empfohlen. Ausreichend Puffer vorhanden.
Tight fit — Funktioniert, kann aber langsam oder instabil sein, wenn viele andere Apps laufen.
Won’t fit — Dieses Modell nicht auswählen.

Auf Windows zeigen Modelle, die Schichten auf die CPU auslagern müssen, den Zusatz ”+ Slow”, damit Sie wissen, worauf Sie sich einlassen.

Im Zweifel beginnen Sie mit dem größten Modell, das für Ihr Gerät “Great fit” anzeigt. Sie können später wechseln. Modelle verbleiben nach dem Download im App-Speicher, und Sie können eines jederzeit über denselben Bildschirm löschen, um Speicherplatz zurückzugewinnen.

Zwischen lokaler und Cloud-KI wechseln

Deaktivieren Sie Local AI Processing, um zur cloudbasierten Analyse zurückzukehren.
Beim Wechsel gehen keine Sitzungen verloren. Bestehende Sitzungen behalten ihre aktuellen Notizen und Zusammenfassungen.

Datenschutz

Wenn Local AI Processing aktiv ist, verlassen Ihre Transkripte und KI-generierten Inhalte (Zusammenfassungen, Notizen, Chat-Antworten, Vorschläge, Feedback) das Gerät nie zur KI-Analyse. Modell-Downloads kommen von Hedys Servern, enthalten aber keine Ihrer Daten.

Was an unsere Server übertragen wird, hängt davon ab, ob Cloud Sync ebenfalls aktiviert ist:

Local AI an, Cloud Sync aus. Nichts über Ihre Meetings verlässt das Gerät. Audioaufnahmen, Transkripte, Zusammenfassungen, Notizen, Chat-Antworten und Vorschläge bleiben alle lokal.
Local AI an, Cloud Sync an. Die KI-Verarbeitung findet weiterhin vollständig auf Ihrem Gerät statt – Ihr Transkript und generierter Text werden nie zur Verarbeitung übertragen. Ihre Sitzungsdaten synchronisieren sich aber weiterhin (verschlüsselt) mit Hedys Servern, damit Sie geräteübergreifend darauf zugreifen können – genau wie Cloud Sync es immer getan hat.

In beiden Fällen fließen Kontoinformationen, Nutzungsdaten und Absturzberichte weiterhin über unsere Server, damit die App funktioniert. Keines davon enthält Transkriptinhalte oder KI-generierte Ausgaben.

Für die strengste Konfiguration kombinieren Sie Local AI Processing mit deaktiviertem Cloud Sync – Ihre Gespräche existieren dann nur auf dem Gerät, das sie aufgezeichnet hat.

Die Spracherkennung ist ein separater Schritt. Wenn Sie einen Cloud-Anbieter wie Deepgram oder OpenAI für die Transkription verwenden, fließen Ihre Audiodaten weiterhin durch diesen Anbieter. Um beide Schritte lokal zu halten, kombinieren Sie Local AI Processing mit lokaler Spracherkennung wie Parakeet oder On-Device Whisper. Lesen Sie unsere Anleitung zu Spracherkennungsanbietern.

Praktische Tipps

Deaktivieren Sie Automatic Suggestions bei langen lokalen Sitzungen. Sie halten das lokale Modell während der gesamten Sitzung stark ausgelastet, können alles andere auf Ihrem Gerät verlangsamen und erzeugen viel Wärme. Hedy weist Sie beim ersten Aktivieren von Local AI Processing darauf hin.
Schließen Sie Laptop oder Telefon bei langen Sitzungen ans Stromnetz an. Kontinuierliche On-Device-Inferenz entleert Akkus schneller als erwartet.
Wählen Sie ein Modell, das komfortabel auf Ihre Hardware passt (RAM auf Mac und iOS, VRAM auf Windows). Ein “Tight fit” funktioniert, lässt aber weniger Spielraum für alles andere, was Sie gerade tun.

Fehlerbehebung

Antworten sind langsamer als die Cloud

Das ist zu erwarten. Eine Zusammenfassung, die in der Cloud sofort erscheint, kann lokal je nach Hardware und gewähltem Modell zwischen 30 Sekunden und mehreren Minuten dauern. Größere Modelle sind langsamer, aber leistungsfähiger.

Das Modell lässt sich nicht herunterladen

Prüfen Sie Ihre Internetverbindung und den verfügbaren Festplattenspeicher.
Starten Sie Hedy neu und versuchen Sie es erneut.
Einige Modelle sind mehrere GB groß. Downloads können bei langsameren Verbindungen eine Weile dauern.
Auf Windows kann Antivirensoftware große Downloads unterbrechen oder Modelldateien unter Quarantäne stellen. Lesen Sie Windows Antivirus Blocking Hedy Download or Installation, falls das der Fall ist.

Antworten sind sehr langsam oder die App reagiert kaum

Prüfen Sie den RAM- bzw. VRAM-Bedarf des Modells im Vergleich zu dem, was auf Ihrem Gerät frei ist. Ein “Tight fit”-Modell, das mit anderen Apps um Ressourcen konkurriert, kann langsam laufen.
Schließen Sie nicht benötigte speicherintensive Apps (zusätzliche Browser-Tabs, Hintergrund-Apps).
Versuchen Sie ein kleineres Modell.
Auf Windows: Stellen Sie sicher, dass Ihr GPU-Treiber aktuell ist. Lesen Sie Fix Slow Transcription on Windows (GPU Settings) für Hinweise zu Treibern – dieselben Tipps gelten für die lokale KI.

KI-Funktionen zeigen “not available”

Stellen Sie sicher, dass der Modell-Download abgeschlossen ist (prüfen Sie den Local AI Processing-Bereich in den Einstellungen).
Deaktivieren und reaktivieren Sie Local AI Processing.

Feedback

KI vollständig auf dem eigenen Gerät auszuführen ist Spitzentechnologie, und wir stehen noch am Anfang. Lokale Modelle sind kleiner als Cloud-Modelle, daher können Antworten weniger präzise oder detailliert sein, und auf manchen Systemen kann es zu Instabilitäten oder langsamem Start kommen. Diese Einschränkungen werden sich verringern, je mehr die lokale KI reift, und wir werden die Unterstützung auf weitere Plattformen ausweiten, sobald die Technologie es erlaubt.

Schreiben Sie an support@hedy.ai, wenn Sie Feedback oder Probleme haben.

Verwandte Artikel: Cloud-KI-Analyse Datenschutzkontrolle, Spracherkennungsanbieter.