admin-mrrm/mrrmlabapp
1
0
Fork 0
Code Issues 15 Pull requests Projects Releases 40 Packages 5 Wiki Activity Actions
40 releases 47 tags
  • v0.6.6-rc7 761034195b

    v0.6.6-rc7
    All checks were successful
    continuous-integration/drone/push Build is passing
    Details
    continuous-integration/drone/tag Build is passing
    Details
    Stable

    admin-mrrm released this 2026-06-07 12:41:04 +02:00 | 126 commits to main since this release

    rc6 (via dem neuen Maestro-Flow phase1-indexing-smoke) hat eindeutig gezeigt: der Embedder hängt bei 'loading tokenizer' — also genau inside AutoTokenizer.from_pretrained() von transformers.js. ONNX-Download + Datei-auf-Disk sind ok, InferenceSession.create wird nie erreicht. Da der Hang innerhalb der HF-Lib silent ist (kein Error, kein Progress) braucht es einen direkten Probe-Schritt davor: rc7 fetched tokenizer_config.json selbst per fetch() und emittiert das als eigene Sub-Status 'loading-tokenizer-probe'. Probe-Erfolg bedeutet: Netzwerk + HF-Endpoint sind ok, der Hang liegt in transformers.js Internals. Probe-Fehler liefert sofort HTTP-Status statt unendlich zu hängen.

    Highlights

    • feat(embedding): neue Sub-Status 'loading-tokenizer-probe' vor AutoTokenizer.from_pretrained (#122). Direkter fetch() auf https://huggingface.co/intfloat/multilingual-e5-small/resolve/main/tokenizer_config.json — Erfolg → next status 'loading-tokenizer'; Fehler → throw mit HTTP-Status statt Lib-Hang.
    • Debug-Bar rendert jetzt 'embedder: probing tokenizer endpoint' bzw. 'embedder: loading tokenizer' — auf dem Phone unterscheidet sich Netz-Hang von transformers.js-Hang.
    • Test-getrieben: 3 neue embedding-service.spec Tests (probe-call vor from_pretrained, probe-Status-Emit-Order, Probe-Fehler-Pfad mit HTTP-Status im error-Event).
    Downloads