Make the Gundi receiver robust against S3/DB outages
- Upload request path uses its own S3 client with short timeouts (5s/30s, 2 attempts) and no longer holds a DB row lock during the S3 call; S3/DB failures answer 503 + Retry-After instead of 500 after minutes of waiting. - Transient S3/DB errors in ingest/OCR no longer count against max_attempts (previously ~15 min of outage turned images into FAILED); the sweep retries. - The sweep no longer queues the same id twice (no pile-up during long outages). - Backlog check logs [GUNDI][ALARM] for stuck/failed entries. - tools/gundi_requeue.py resets FAILED/FAIL entries; unit tests for all of it. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -91,6 +91,24 @@ liest danach asynchron per OCR den Kamera-Zeitstempel, setzt `image.ocr_ts` und
|
||||
`DateTimeOriginal`. Ein Sweep holt haengengebliebene Schritte nach und markiert
|
||||
Events ohne Bild nach `abandon_after_hours` als `ABANDONED`.
|
||||
|
||||
### Verhalten bei S3-/DB-Ausfall
|
||||
|
||||
| Teil | Verhalten |
|
||||
|------|-----------|
|
||||
| Status-Events, Event anlegen | brauchen kein S3; bei DB-Ausfall `503` + `Retry-After: 30` |
|
||||
| Bild-Upload (`.../attachments/`) | S3-Zugriff mit kurzen Zeitlimits (`gundi.upload_*`: 5 s Connect, 30 s Read, 2 Versuche), ohne offene DB-Sperre. Bei S3-Stoerung `503` + `Retry-After: 30`; das Event bleibt bis `abandon_after_hours` auf `AWAITING_ATTACHMENT`, der Client kann wiederholen |
|
||||
| Ingest/OCR im Hintergrund | S3-/DB-Stoerungen (`main.is_transient_error`) zaehlen **nicht** gegen `max_attempts`; der Sweep wiederholt alle `stale_after_seconds`. Nur echte Datenfehler fuehren zu `FAILED`/`FAIL` |
|
||||
| Sweep | reiht dieselbe ID nicht doppelt ein (kein Stau bei langem Ausfall) |
|
||||
| Alarm | `[GUNDI][ALARM] backlog ...` im Log (hoechstens alle 5 min), wenn Eintraege laenger als `gundi.alarm_after_seconds` in `RECEIVED`/`AWAITING_ATTACHMENT`/OCR-`PENDING` haengen oder `FAILED`/`FAIL` existieren |
|
||||
|
||||
Gescheiterte Eintraege zuruecksetzen (Trockenlauf ohne `--apply`):
|
||||
|
||||
```bash
|
||||
docker exec -w /app melesicumover-gundi python -m tools.gundi_requeue --apply
|
||||
```
|
||||
|
||||
Wichtig: Der Client (ICU) muss nach `5xx`/Timeout den Upload wiederholen; ohne Wiederholung geht das Bild verloren, wenn S3 laenger ausfaellt.
|
||||
|
||||
### Datenmodell (`schema/001_domain_model.sql`)
|
||||
|
||||
| Tabelle | Inhalt |
|
||||
|
||||
Reference in New Issue
Block a user