feat(ocr): Vorschau erkannter Zeilen-Boxen mit manueller Korrektur (Split/Merge/Ignore) #327

New issue

Closed

opened 2026-05-18 08:20:26 +02:00 by admin-mrrm · 1 comment

admin-mrrm commented

2026-05-18 08:20:26 +02:00

Owner

Motivation

Die automatische Zeilensegmentierung ist bei handgeschriebenen Zetteln unzuverlässig — eine Zeile wird mal in zwei Einträge zerteilt (siehe Bug-Issue zur Over-Segmentation), eine andere mit der Nachbarzeile zusammengefasst. Aktuell merkt der User das erst nach der OCR, im Review-Screen, und muss dann Einträge mühsam zusammenfügen oder löschen.

Idee: Zwischenschritt nach Bild-Vorbereitung (Rotate aus #87, Crop aus dem neuen Crop-Issue), bevor die OCR-Inferenz läuft. Dort sieht der User die erkannten Zeilen-Bounding-Boxes und kann sie korrigieren.

Lösung

Neuer Schritt im Pre-OCR-Workflow (Reihenfolge: Pick → Rotate → Crop → Zeilen-Vorschau → OCR → Review):

Pipeline läuft bis Segmentierung (splitLines aus #81 bzw. Server-Endpoint nur für Segmentierung)
Bild wird mit eingezeichneten Boxes angezeigt
Aktionen pro Box:
- Merge zweier benachbarter Boxen zu einer
- Split einer Box an gewählter x-Position
- Ignore (Box nicht an OCR senden — z.B. wenn da nichts Sinnvolles steht)
- Edit-Rahmen (Box-Grenzen verschieben)
"Analysieren" startet OCR nur auf den finalen Boxen

Akzeptanzkriterien

Server (oder on-device aus #81) liefert Zeilen-Boxen separat von der OCR-Inferenz
Vorschau-Screen zeigt Originalbild mit Box-Overlay
Merge / Split / Ignore / Resize funktionieren via Touch
OCR läuft anschließend nur auf den vom User bestätigten Boxen
"Auto"-Option zum Überspringen der Korrektur bleibt erhalten

Aufwand

size/l — UI-Interaktion komplex, braucht Backend-Anpassung für Segmentierung-only-Endpoint.

Mitigation für Bug

Auch wenn die automatische Segmentierung weiter Mängel hat, kann der User Fehler korrigieren bevor OCR läuft → weniger Falsch-Einträge in der finalen Liste.

Verwandt

#81 (Zeilensegmentierung on-device) — Voraussetzung dass splitLines als separater Schritt aufrufbar ist
#87 (Rotate-Vorschau), Crop-Feature (neu) — gleicher Pre-OCR-Workflow
Bug-Issue zur Zeilen-Over-Segmentation (neu) — UX-Mitigation

## Motivation Die automatische Zeilensegmentierung ist bei handgeschriebenen Zetteln unzuverlässig — eine Zeile wird mal in zwei Einträge zerteilt (siehe Bug-Issue zur Over-Segmentation), eine andere mit der Nachbarzeile zusammengefasst. Aktuell merkt der User das erst nach der OCR, im Review-Screen, und muss dann Einträge mühsam zusammenfügen oder löschen. **Idee:** Zwischenschritt nach Bild-Vorbereitung (Rotate aus #87, Crop aus dem neuen Crop-Issue), **bevor** die OCR-Inferenz läuft. Dort sieht der User die erkannten Zeilen-Bounding-Boxes und kann sie korrigieren. ## Lösung Neuer Schritt im Pre-OCR-Workflow (Reihenfolge: Pick → Rotate → Crop → **Zeilen-Vorschau** → OCR → Review): 1. Pipeline läuft bis Segmentierung (`splitLines` aus #81 bzw. Server-Endpoint nur für Segmentierung) 2. Bild wird mit eingezeichneten Boxes angezeigt 3. **Aktionen pro Box:** - **Merge** zweier benachbarter Boxen zu einer - **Split** einer Box an gewählter x-Position - **Ignore** (Box nicht an OCR senden — z.B. wenn da nichts Sinnvolles steht) - **Edit-Rahmen** (Box-Grenzen verschieben) 4. "Analysieren" startet OCR nur auf den finalen Boxen ## Akzeptanzkriterien - [ ] Server (oder on-device aus #81) liefert Zeilen-Boxen separat von der OCR-Inferenz - [ ] Vorschau-Screen zeigt Originalbild mit Box-Overlay - [ ] Merge / Split / Ignore / Resize funktionieren via Touch - [ ] OCR läuft anschließend nur auf den vom User bestätigten Boxen - [ ] "Auto"-Option zum Überspringen der Korrektur bleibt erhalten ## Aufwand `size/l` — UI-Interaktion komplex, braucht Backend-Anpassung für Segmentierung-only-Endpoint. ## Mitigation für Bug Auch wenn die automatische Segmentierung weiter Mängel hat, kann der User Fehler korrigieren bevor OCR läuft → weniger Falsch-Einträge in der finalen Liste. ## Verwandt - #81 (Zeilensegmentierung on-device) — Voraussetzung dass `splitLines` als separater Schritt aufrufbar ist - #87 (Rotate-Vorschau), Crop-Feature (neu) — gleicher Pre-OCR-Workflow - Bug-Issue zur Zeilen-Over-Segmentation (neu) — UX-Mitigation

admin-mrrm added this to the v0.5 — On-Device OCR + Infra milestone

2026-05-18 08:20:26 +02:00

admin-mrrm added the

labels

2026-05-18 08:20:26 +02:00

admin-mrrm referenced this issue

2026-05-18 08:22:14 +02:00

[Bug] OCR: Zeilensegmentierung teilt einzelne handschriftliche Zeilen in zwei Einträge #325

admin-mrrm referenced this issue

2026-05-18 08:22:15 +02:00

feat(ocr): Bildausschnitt (Crop) vor der Analyse wählbar #326

admin-mrrm commented

2026-05-18 08:22:15 +02:00

Author

Owner

Verwandte neue OCR-Issues:

#325 [Bug] Over-Segmentation handschriftlicher Zeilen
#326 feat: Crop vor der Analyse
#327 feat: Zeilen-Boxen-Vorschau mit Korrektur

Alle drei in Milestone v0.5.

**Verwandte neue OCR-Issues:** - #325 [Bug] Over-Segmentation handschriftlicher Zeilen - #326 feat: Crop vor der Analyse - #327 feat: Zeilen-Boxen-Vorschau mit Korrektur Alle drei in Milestone v0.5.