• v0.6.6-rc10 8ddc339ceb

    v0.6.6-rc10
    Some checks failed
    continuous-integration/drone/push Build is failing
    continuous-integration/drone/tag Build is passing
    Stable

    admin-mrrm released this 2026-06-07 14:46:24 +02:00 | 120 commits to main since this release

    rc9 lieferte die Tokenizer-Files erfolgreich auf Disk (User-Agent-Header genügte offenbar dem HF-CDN), aber AutoTokenizer.from_pretrained hängt wieder genau wie in rc6 — diesmal mit installiertem Fetch-Interceptor. Wahrscheinlichste Erklärung: transformers.js holt vor den /resolve/main/-Dateien noch andere HF-URLs (z.B. /api/models//tree/main für Revision-Lookup), die NICHT auf HF_BASE matchen → Interceptor lässt durch → Original-Fetch hängt erneut auf Hermes. rc10 erweitert den Interceptor auf ALLE huggingface.co-URLs (unbekannte → synthetisches 404) und emittiert pro Fetch-Aufruf einen Status mit URL-Pfad. Das macht sichtbar welche URLs transformers.js anfragt und ob der Interceptor überhaupt getriggert wird.

    Highlights

    • feat(embedding): Interceptor fängt jetzt jede huggingface.co-URL (#122). Bekannte /resolve/main/ → Disk-Read; alles andere → 404. Verhindert dass nicht-erfasste HF-API-Calls den nativen fetch hängen lassen.
    • feat(embedding): Pro Fetch-Aufruf wird 'loading-tokenizer' mit filename='fetch#N ' re-emittiert. Debug-Bar zeigt jetzt 'embedder: loading tokenizer · fetch#3 api/models/intfloat/multilingual-e5-small/tree/main' — der Hang ist einer konkreten URL zuzuordnen.
    • Tests bleiben grün (18/18); Interceptor-Verhalten für non-HF-URLs (passthrough) unverändert.
    Downloads