feat(mobile): onnxruntime-react-native in EAS Build integrieren

admin-mrrm commented

2026-04-26 09:10:57 +02:00

Owner

Copy link

Ziel

onnxruntime-react-native als native Abhängigkeit einbinden und den NNAPI-Backend auf Android aktivieren, ohne den Expo Managed Workflow zu verlassen.

Abhängigkeit

Setzt #77 (Spike) voraus.

Hintergrund

onnxruntime-react-native ist ein nativer Turbo-Module und benötigt EAS Build. Es bringt einen automatischen Backend-Selector mit:

Android: NNAPI (NPU/GPU) → Fallback CPU
iOS: CoreML → Fallback CPU

Da das Projekt bereits expo-image-picker nutzt, ist ein Development Build bereits Voraussetzung.

Aufgaben

Package

onnxruntime-react-native zu apps/mobile/package.json hinzufügen
Kompatible Version mit aktuellem Expo SDK prüfen

EAS Build

apps/mobile/eas.json – Build-Profile für Development und Production
Sicherstellen dass das native Modul korrekt gelinkt wird (expo-modules-core Kompatibilität)
Testbuild auf Android durchführen

Modell-Download bei App-Start

Modell-Dateien beim ersten Start herunterladen und in expo-file-system cachen
Download-Progress anzeigen (einmalig, beim ersten OCR-Versuch)
Integritätsprüfung via SHA256

Feature-Flag

ON_DEVICE_OCR_ENABLED Config-Flag – erlaubt schrittweises Rollout

Akzeptanzkriterien

App baut mit onnxruntime-react-native ohne Fehler
NNAPI-Backend wird auf Android erkannt (Logging beim Start)
Modell wird beim ersten Aufruf heruntergeladen und gecacht

## Ziel `onnxruntime-react-native` als native Abhängigkeit einbinden und den NNAPI-Backend auf Android aktivieren, ohne den Expo Managed Workflow zu verlassen. ## Abhängigkeit Setzt #77 (Spike) voraus. ## Hintergrund `onnxruntime-react-native` ist ein nativer Turbo-Module und benötigt EAS Build. Es bringt einen automatischen Backend-Selector mit: - Android: NNAPI (NPU/GPU) → Fallback CPU - iOS: CoreML → Fallback CPU Da das Projekt bereits `expo-image-picker` nutzt, ist ein Development Build bereits Voraussetzung. ## Aufgaben ### Package - [ ] `onnxruntime-react-native` zu `apps/mobile/package.json` hinzufügen - [ ] Kompatible Version mit aktuellem Expo SDK prüfen ### EAS Build - [ ] `apps/mobile/eas.json` – Build-Profile für Development und Production - [ ] Sicherstellen dass das native Modul korrekt gelinkt wird (`expo-modules-core` Kompatibilität) - [ ] Testbuild auf Android durchführen ### Modell-Download bei App-Start - [ ] Modell-Dateien beim ersten Start herunterladen und in `expo-file-system` cachen - [ ] Download-Progress anzeigen (einmalig, beim ersten OCR-Versuch) - [ ] Integritätsprüfung via SHA256 ### Feature-Flag - [ ] `ON_DEVICE_OCR_ENABLED` Config-Flag – erlaubt schrittweises Rollout ## Akzeptanzkriterien - [ ] App baut mit `onnxruntime-react-native` ohne Fehler - [ ] NNAPI-Backend wird auf Android erkannt (Logging beim Start) - [ ] Modell wird beim ersten Aufruf heruntergeladen und gecacht

admin-mrrm added this to the v0.5 — On-Device OCR + Infra milestone

2026-04-26 09:10:57 +02:00

admin-mrrm referenced this issue

2026-04-26 09:11:54 +02:00

feat(mobile): On-Device OCR-Pipeline zusammenführen + Server-Fallback #82

admin-mrrm added the

labels

2026-04-26 22:59:18 +02:00

admin-mrrm referenced this issue

2026-04-27 00:25:39 +02:00

[Idea] Lokale KI: Tasks und Termine aus E-Mails erstellen #113

admin-mrrm referenced this issue

2026-04-27 00:36:43 +02:00

[Epic] Persönlicher KI-Assistent — Privacy-First On-Device Architektur #122

admin-mrrm referenced this issue

2026-04-27 06:53:32 +02:00

[Epic] Persönlicher KI-Assistent — Privacy-First On-Device Architektur #122

pm-bot referenced this issue

2026-05-25 22:30:22 +02:00

chore(mobile): On-Device OCR Benchmarking & Qualitätsmessung #83

pm-bot referenced this issue

2026-05-27 22:48:21 +02:00

spike(ocr): TrOCR → ONNX Export & Machbarkeitsnachweis auf Android #77

pm-bot referenced this issue

2026-05-28 06:21:56 +02:00

arch-q: OCR-Integration v0.5 — Bundling, Sync-Modell, Modellwahl, Server-Fallback #413

arch-bot referenced this issue

2026-05-28 06:30:16 +02:00

arch-q: OCR-Integration v0.5 — Bundling, Sync-Modell, Modellwahl, Server-Fallback #413

pm-bot commented

2026-05-28 06:36:18 +02:00

Collaborator

Copy link

Done-by-spike #77: onnxruntime-react-native v1.22 läuft in EAS-Dev-Build, ORT-RN-Polyfills in apps/mobile/src/services/nli-classifier-polyfill.ts integriert. KV-cache-Decoder bit-identisch validiert, 449 ms warm-latency auf Pixel 8a.

Done-by-spike #77: onnxruntime-react-native v1.22 läuft in EAS-Dev-Build, ORT-RN-Polyfills in `apps/mobile/src/services/nli-classifier-polyfill.ts` integriert. KV-cache-Decoder bit-identisch validiert, 449 ms warm-latency auf Pixel 8a.

pm-bot closed this issue

2026-05-28 06:36:18 +02:00

~~pm-bot referenced this issue 2026-05-28 06:48:27 +02:00~~

Portfolio-Status KW 2026-W22 #412

pm-bot referenced this issue

2026-06-06 16:19:03 +02:00

[Epic] Persönlicher KI-Assistent — Privacy-First On-Device Architektur #122

No Branch/Tag specified

main

chore/roadmap-rc32-done

feat/rc32-fdroid-nightly

feat/rc31-auto-index-on-mutation

feat/rc30-auto-index

chore/roadmap-rc28-done

feat/360-projects-source

chore/roadmap-rc27-done

feat/habits-ui

chore/roadmap-rc26-done

feat/planner-v1-depends-on

chore/roadmap-rc25-done

feat/calendar-settings-ui

chore/roadmap-rc24-done

feat/candidate-mark-done

chore/roadmap-rc23-done

fix/shared-schema-todo

chore/roadmap-rc22-done

chore/release-rc22

feat/todo-candidate-writer

chore/roadmap-rc21-done

chore/roadmap-rc21-json-fix

chore/release-v0.6.6-rc21

feat/day-planner-empty-state-ctas

chore/roadmap-rc17-rc18-done

chore/phase2-smoke-manual-trigger

chore/roadmap-rc19-done

fix/list-screens-scrollable

feat/dev-user-header-env-gate

wireup/ai-foundation-phase1

feat/443-search-ui

feat/442-background-indexer

feat/441-data-source-interface

feat/440-sqlite-vec

feat/439-embedding-service

feat/425-mlkit-image-preview-integration

archive/spike-77-ocr-mobile

fix/gitea-release-shell-scope

feat/396-version-sync

feat/376-e2e-drone-integration

feat/374-e2e-playwright-setup

feat/372-planner-v1

feat/370-calendar-read

feat/368-planner-v0

feat/366-habit-source

feat/178-mail-candidate-writer

feat/253-nli-template-ab

fix/348-settings-nav-hijack-v2

fix/347-web-side-drawer

fix/349-profile-menu-close

feat-297-sender-memory-ui

feat-296-web-classifier-sender-memory

feat/294-sender-label-memory

chore/268-analyze-script-dynamic-labels

fix/268-nli-threshold-025

fix/266-imap-getmessage-timeout

fix-imap-unhandled-error

fix-175-onnxruntime-anchor

fix-175-onnxruntime-mainapp

ci-release-gate-apk

ci-mobile-bundle-check

fix-175-native-startup

fix-175-stub-onnxruntime-web

fix-175-import-meta-hermes

feat-web-parcel-scan-toggle

feat-tracking-manual-sync

fix-track17-carrier-ids

feat-232-mail-scanner

feat-233-trackings-post

feat-aftership-provider

feat-195-loading-skeletons

feat-197-error-boundary

feat-194-toast-system

chore/add-claude-md

155-auth-callback-route

feat/fdroid-deploy

fix/mail-messages-pagination-types

feat/ocr-correction-review

fix/ocr-inference-oom

fix/ocr-oom-and-finetune-training

feat/ocr-easyocr-and-training-data

feat/ocr-image-rotate-preview

feat/mobile-image-picker-57

feat/ocr-parse-image-endpoint

feat/lists-notes-e2e

fix/web-show-auth-error-body

fix/deploy-envfile

fix/deploy-ssh-port

feat/drone-deploy

fix/drone-secret-names

fix/dockerfile-deploy-flag

feat/drone-ci

feat/apps-web

feat/shopping-list-crud

v0.6.7-rc33

v0.6.6-rc32

v0.6.6-rc31

v0.6.6-rc30

v0.6.6-rc29

v0.6.6-rc28

v0.6.6-rc27

v0.6.6-rc26

v0.6.6-rc25

v0.6.6-rc24

v0.6.6-rc23

v0.6.6-rc22

v0.6.6-rc21

v0.6.6-rc20

v0.6.6-rc19

debug-rpi5

v0.6.6-rc18

v0.6.6-rc17

v0.6.6-rc16

v0.6.6-rc15

v0.6.6-rc14

v0.6.6-rc13

v0.6.6-rc12

v0.6.6-rc11

v0.6.6-rc10

v0.6.6-rc9

v0.6.6-rc8

v0.6.6-rc7

v0.6.6-rc6

v0.6.6-rc5

v0.6.6-rc4

v0.6.6-rc3

v0.6.6-rc2

v0.6.6-rc1

v0.6.5

v0.6.4

v0.6.3

v0.6.2

v0.6.1

v0.6.0

v0.5.0

v0.4.6

v0.4.5

v1.0.515

v1.0.468

v1.0.449

v1.0.442

Labels

Clear labels

app/archiv

Document & email archive (Paperless-ngx integration)

arch-question wurde vom Architekten beantwortet und vom PM in Produkt-Entscheidung übersetzt

arch-question

Anfrage an Software-Architekt — Tech-/Architektur-Entscheidung gebraucht (PM hat sie nicht selbst getroffen)

Monorepo / CI / tooling

area/mobile

Expo React Native app

Wöchentlicher CEO-Portfolio-Status

In der public Roadmap der App sichtbar (roadmap.json kuratiert)

More than 3 days — should be split

Open questions before work can continue

type/bug

Something is broken

type/chore

Infra / tooling / maintenance

type/docs

Documentation

type/feature

New user-facing functionality

type/idea

type/refactor

Code refactor without behavior change

No labels

Milestone

Clear milestone

No items

No milestone

v0.5 — On-Device OCR + Infra

Projects

Clear projects

No items

No project

Assignees

Clear assignees

No assignees

2 participants

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference

admin-mrrm/mrrmlabapp#79

Rows
Columns

feat(mobile): onnxruntime-react-native in EAS Build integrieren #79

Ziel

Abhängigkeit

Hintergrund

Aufgaben

Package

EAS Build

Modell-Download bei App-Start

Feature-Flag

Akzeptanzkriterien