feat(mobile): On-device ML runtime — llama.rn + ONNX #171

New issue

Closed

opened 2026-05-03 00:57:34 +02:00 by admin-mrrm · 0 comments

admin-mrrm commented

2026-05-03 00:57:34 +02:00

Owner

Ziel

On-device Inferenz auf mobile ermöglichen, ohne dass Daten das Gerät verlassen.

Libraries

llama.rn (llama.cpp-Bindings) — generatives Modell für Kategorie-Vorschläge
onnxruntime-react-native — Classifier sobald Taxonomie aufgebaut

Aufgaben

Abhängigkeiten einbinden und Build-Integration prüfen
ModelManager-Service: Modell-Download (lazy, beim ersten Mail-Scan), Fortschritts-Callback
Modell lokal cachen (kein erneuter Download)
Schnittstelle: suggest(mailSnippet: string, existingTags: string[]): Promise<string[]>

Hinweise

Modell wird lazy heruntergeladen — nicht beim App-Start
Kleine, spezialisierte Modelle bevorzugen (Qwen2.5-0.5B, Phi-3-mini o.ä.)

## Ziel On-device Inferenz auf mobile ermöglichen, ohne dass Daten das Gerät verlassen. ## Libraries - `llama.rn` (llama.cpp-Bindings) — generatives Modell für Kategorie-Vorschläge - `onnxruntime-react-native` — Classifier sobald Taxonomie aufgebaut ## Aufgaben - Abhängigkeiten einbinden und Build-Integration prüfen - `ModelManager`-Service: Modell-Download (lazy, beim ersten Mail-Scan), Fortschritts-Callback - Modell lokal cachen (kein erneuter Download) - Schnittstelle: `suggest(mailSnippet: string, existingTags: string[]): Promise<string[]>` ## Hinweise - Modell wird lazy heruntergeladen — nicht beim App-Start - Kleine, spezialisierte Modelle bevorzugen (Qwen2.5-0.5B, Phi-3-mini o.ä.)