fix(173): Auto-Tag-Vorschläge via Embedding-Similarity

admin-mrrm commented

2026-05-03 21:13:51 +02:00

Owner

Summary

Ersetzt @xenova/transformers v2 + Qwen2.5-0.5B (Text-Generation) durch paraphrase-multilingual-MiniLM-L12-v2 (Feature-Extraction + Cosine-Similarity)
~45 MB Modell statt 100 MB — kein Browser-Tab-OOM-Crash auf Android
Kein Halluzinieren: wählt nur aus vordefinierten Kandidaten (Newsletter, Werbung, Bestellung, Rechnung, Spam, Termin, Reise, Finanzen, Paket, Arbeit, Privat)
Implizites Lernen: bestätigte User-Tags werden automatisch als Kandidaten hinzugefügt
useDeleteTag-Hook + UI: suggested Tags werden beim ✕ global gelöscht (kein Tag-Müll)
cleanSnippet(): bereinigt HTML-Entities, URLs und Zeilenumbrüche vor der Einbettung
Vitest-Suite: 27 Tests für parseTags, extractGeneratedText, cleanSnippet, DEFAULT_CATEGORIES
Eruda In-App-Konsole + window.__mailModelDebug für mobiles Debugging
Termux-Startskripte (dev/api.sh, dev/web.sh) für lokale Entwicklung

Bekannte Einschränkungen

Threshold 0.25 kann False-Positives nicht vollständig vermeiden (z.B. Bestellung bei Promo-Mails die das Wort enthalten)
Rejection-Learning (Ablehnungen beeinflussen zukünftige Scores) ist nicht implementiert — geplant für #176

Test plan

Mail öffnen → Modell lädt (~45 MB, einmalig)
Promo-Mail erhält Werbung
Bestellbestätigung erhält Bestellung
Falschen Tag mit ✕ löschen → Tag verschwindet global
pnpm --filter @mrrmlab/web test → 27 Tests grün

🤖 Generated with Claude Code

## Summary - Ersetzt `@xenova/transformers` v2 + Qwen2.5-0.5B (Text-Generation) durch `paraphrase-multilingual-MiniLM-L12-v2` (Feature-Extraction + Cosine-Similarity) - ~45 MB Modell statt 100 MB — kein Browser-Tab-OOM-Crash auf Android - Kein Halluzinieren: wählt nur aus vordefinierten Kandidaten (`Newsletter`, `Werbung`, `Bestellung`, `Rechnung`, `Spam`, `Termin`, `Reise`, `Finanzen`, `Paket`, `Arbeit`, `Privat`) - Implizites Lernen: bestätigte User-Tags werden automatisch als Kandidaten hinzugefügt - `useDeleteTag`-Hook + UI: suggested Tags werden beim ✕ global gelöscht (kein Tag-Müll) - `cleanSnippet()`: bereinigt HTML-Entities, URLs und Zeilenumbrüche vor der Einbettung - Vitest-Suite: 27 Tests für `parseTags`, `extractGeneratedText`, `cleanSnippet`, `DEFAULT_CATEGORIES` - Eruda In-App-Konsole + `window.__mailModelDebug` für mobiles Debugging - Termux-Startskripte (`dev/api.sh`, `dev/web.sh`) für lokale Entwicklung ## Bekannte Einschränkungen - Threshold 0.25 kann False-Positives nicht vollständig vermeiden (z.B. Bestellung bei Promo-Mails die das Wort enthalten) - Rejection-Learning (Ablehnungen beeinflussen zukünftige Scores) ist nicht implementiert — geplant für #176 ## Test plan - [ ] Mail öffnen → Modell lädt (~45 MB, einmalig) - [ ] Promo-Mail erhält `Werbung` - [ ] Bestellbestätigung erhält `Bestellung` - [ ] Falschen Tag mit ✕ löschen → Tag verschwindet global - [ ] `pnpm --filter @mrrmlab/web test` → 27 Tests grün 🤖 Generated with [Claude Code](https://claude.com/claude-code)

admin-mrrm added 23 commits

2026-05-03 21:13:51 +02:00

chore(web): Eruda In-App-Konsole für mobile Debugging

continuous-integration/drone/push Build is passing

Details

aaeb826a3d

Nur in DEV-Mode aktiv — floating Button öffnet vollständige
Konsole mit Logs, Netzwerk und Storage (kein PC nötig).

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(web): import-Reihenfolge in main.tsx korrigieren (Eruda nach App-Import)

continuous-integration/drone/push Build is passing

Details

2a1a98b26b

chore: Termux-Startskripte + shared-types ESM-Fix

continuous-integration/drone/push Build is passing

Details

5eb4fa2cc4

dev/api.sh: PostgreSQL init/start + DB-Setup + Migrationen + API
dev/web.sh: .env.local auf localhost setzen + Vite-Cache leeren + start
shared-types: main/exports auf ./src/index.ts (ESM für Vite)
index.html: Boot-Error-Handler für mobiles Debugging

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(dev): PostgreSQL-Superuser auf 'postgres' setzen

continuous-integration/drone/push Build is passing

Details

7a2f6daad6

fix(shared-types): browser→src/index.ts, default→dist/index.js

continuous-integration/drone/push Build is passing

Details

ed78977e24

fix(web): onnxruntime-web aus Vite-optimizeDeps ausschließen + ENCRYPTION_SECRET in envSchema

continuous-integration/drone/push Build is passing

Details

c16606f083

fix(web): onnxruntime WASM-Pfad auf CDN setzen (Vite dev WASM-Auflösung)

continuous-integration/drone/push Build is passing

Details

ec94fb4254

fix(web): @xenova/transformers → @huggingface/transformers v4 (ESM-natives ONNX)

continuous-integration/drone/push Build is passing

Details

3bffb13eec

fix(173): MODEL_ID auf onnx-community wechseln (Xenova-Modell ist jetzt gated) 05732828a2

Xenova/Qwen2.5-0.5B-Instruct liefert HTTP 401 seit dem Gating.
onnx-community/Qwen2.5-0.5B-Instruct ist das identische Modell ohne Auth-Anforderung.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Few-shot-Beispiel + greedy decoding für 0.5B-Modell 2e600a433a

0.5B-Modelle ignorieren komplexe System-Prompts und halluzinieren.
Ein konkretes Beispiel im Prompt zeigt das erwartete Format, greedy
decoding (do_sample:false) verhindert zufällige Ausgaben.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Mail-Snippet vor KI-Aufruf bereinigen (URLs, HTML-Entities) f78beeccd9

Raw bodyText enthält &zwnj;-Entities und lange URLs die die 300-Zeichen-
Budget für sinnvollen Text verbrauchen und das Modell verwirren.
cleanSnippet() entfernt beides vor dem Pipeline-Aufruf.
Few-shot-Beispiel auf Reise/Buchung geändert um Bestellungs-Bias zu vermeiden.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Few-shot entfernen — 0.5B-Modell kopiert Beispiel blind 7fe15ceaf9

Das Modell ist zu klein um Beispielformat von Aufgabenkontext zu trennen.
Es gibt das few-shot Beispiel (Reise, Buchung) für jede E-Mail aus.
Ohne Beispiel + greedy decoding produziert es eigenständige Kategorien.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Modell auf Qwen2.5-1.5B upgraden + window.__mailModelDebug fb0efc5b46

0.5B folgt Instruktionen zu schlecht; 1.5B ist das kleinste Modell das
zuverlässig instruction-following beherrscht (~1.4 GB Download, einmalig).
window.__mailModelDebug speichert letzten Output für nachträgliche
Inspektion in Eruda.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): dtype:q4 für 1.5B-Modell (OOM-Crash im Browser-Tab) 237ca94ead

fp16 belegt ~3 GB im Tab-Speicher → Browser-Crash auf Mobile.
4-bit Quantisierung reduziert auf ~400 MB ohne merklichen Qualitätsverlust.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): zurück auf 0.5B q4 — 1.5B crasht Mobile-Browser-Tab (OOM) e1b6aafeff

1.5B benötigt ~800 MB runtime-Speicher, Chrome Android Tab-Limit ~512 MB.
0.5B q4 passt mit ~100 MB ins Tab. Qualität wird über Prompting verbessert.
Für die native App (kein Tab-Limit) kann später 1.5B+ verwendet werden.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Snippet-Quelle auf 3000 Zeichen + cleanSnippet-Fixes 43cc7cda97

slice(0,500) vor dem Bereinigen lieferte nur ~70 sinnvolle Zeichen weil
der E-Mail-Body mit &zwnj;-Entities und URLs beginnt. Jetzt 3000 Zeichen
roh übergeben, cleanSnippet destilliert daraus 300 sinnvolle Zeichen.
Unvollständige Entity am String-Ende (&z) wird nun ebenfalls entfernt.
Existing-Tags-Hint als Warnung statt Auswahlliste formuliert.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

feat(web): useDeleteTag-Hook + suggested Tags global löschen d18d353573

Suggested Tags werden beim ✕ global gelöscht (DELETE /mail/tags/:tagId),
da ein abgewiesener KI-Vorschlag die globale Tag-Liste nicht verschmutzen
soll. Confirmed Tags werden weiterhin nur von der Mail entfernt.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Existing-Tags-Hint für 0.5B entfernen bc397f221c

0.5B halluziniert Variationen der Hint-Liste statt den E-Mail-Inhalt zu
analysieren (z.B. "Rechenkarte" statt "Rechnung"). Hint komplett raus;
die Signatur bleibt für größere Modelle erhalten.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Assistant-Prefill erzwingt Kategorien-Format bei 0.5B 645ec468ea

Ohne Prefill generiert das Modell einen strukturierten Freitext statt
kommagetrennte Kategorien. "Kategorien: " als Seed zwingt das Modell,
direkt mit den Kategorien fortzufahren.
parseTags filtert jetzt auch Tags mit Zeilenumbrüchen oder Doppelpunkten.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Preis-Tags (€/$) und Ziffern aus parseTags filtern 2628b0ae0f

0.5B extrahiert Preise und Zahlen als Kategorien (z.B. "14 €").
Kategorien dürfen keine Währungssymbole oder Ziffern enthalten.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

feat(173): Embedding-Similarity statt Text-Generation (paraphrase-MiniLM) 6d86ea329c

Ersetzt Qwen2.5-0.5B (Text-Generation) durch paraphrase-multilingual-
MiniLM-L12-v2 (Feature-Extraction + Cosine-Similarity):
- Kein Halluzinieren möglich — wählt nur aus Kandidaten-Liste
- 45 MB statt 100 MB (q8), kein Browser-Tab-Crash
- Multilingual (DE/EN/...)
- Implizites Lernen: bestätigte User-Tags werden automatisch Kandidaten
DEFAULT_CATEGORIES deckt Newsletter/Werbung/Bestellung/Rechnung/Spam/...

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Kategorie-Beschreibungen + Threshold 0.20 25122078f6

Einzelne Wörter als Labels liefern Scores ~0.15-0.23, zu nah beieinander
für sinnvolle Unterscheidung. Erweiterte Beschreibungen (z.B. "Werbung
Angebot Rabatt Gutschein Aktion...") verbessern die Discrimination deutlich.
Threshold von 0.35 auf 0.20 gesenkt.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

fix(173): Threshold 0.25 + Bestellung-Beschreibung präzisieren

continuous-integration/drone/push Build is passing

Details

continuous-integration/drone/pr Build is passing

Details

50a1417911

Rechnung (0.215) war knapp über dem alten Threshold aber klar falsch.
Bestellung-Beschreibung auf Auftragsbestätigungen fokussiert um False-
Positives bei Promo-Mails die das Wort 'Bestellung' im Fließtext nennen
zu reduzieren.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

admin-mrrm added 1 commit

2026-05-03 22:54:24 +02:00

Merge branch 'main' into fix-173-auto-suggest-trigger

continuous-integration/drone/push Build is passing

Details

continuous-integration/drone/pr Build is passing

Details

6b3c08bb9d

admin-mrrm added 1 commit

2026-05-03 22:57:41 +02:00

Merge branch 'main' into fix-173-auto-suggest-trigger

continuous-integration/drone/push Build is failing