Prepare legacy migration for the portal cutover

- detection from legacy category only for scores >= 0.5, without ''/none
- category_label + view detection_labeled unify ICU and legacy labels
- schema/003 + migrate_legacy --dedupe removes Gundi twins of legacy images
  (same imei, same size, <= 10 min), archived in image_superseded
- migrate_legacy --plan: read-only preview of the migration
- Gundi S3 prefix icu/gundi-test/ -> icu/gundi/

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
dom
2026-10-16 21:01:17 +02:00
co-authored by Claude Opus 5.5
parent e7e5b6fb87
commit ed105fbff8
9 changed files with 307 additions and 22 deletions
+21 -8
View File
@@ -115,7 +115,9 @@ Wichtig: Der Client (ICU) muss nach `5xx`/Timeout den Upload wiederholen; ohne W
|---------|--------|
| `remote_cam.camera_status` | Statusupdates / Kameraeigenschaften (Zeitreihe je IMEI) |
| `remote_cam.image` | Bildeigenschaften inkl. `servertime`, `ocr_ts`, `ocr_state` |
| `remote_cam.detection` | Objektklassifikationen, `confidence` 0..1 |
| `remote_cam.detection` | Objektklassifikationen, `confidence` 0..1, Rohbezeichnung der Quelle |
| `remote_cam.category_label` / View `detection_labeled` | einheitliches Label je Rohbezeichnung (`Deer-Like` -> `deer`) |
| `remote_cam.image_superseded` | entfernte Gundi-Zwillinge aus dem Parallelbetrieb (mit Originalzeile) |
| `remote_cam.image_with_status` | View: Bild + zum `servertime` gueltiger Status |
| `remote_cam.gundi_inbox` | Transportschicht: Rohevents + Zustand des Push-Pfads |
@@ -124,15 +126,26 @@ Das Schema legt der Receiver beim Start an. Die Legacy-Tabellen `metadata` /
### Bestandsdaten migrieren
Split `metadata` -> `image` + `camera_status`, `category` -> `detection`.
Wiederholbar, batchweise, liest die Alttabellen nur:
Split `metadata` -> `image` + `camera_status`, `category` -> `detection`
(nur Klassen ab Score 0.5, ohne `''`/`none`). Wiederholbar, batchweise, liest die
Alttabellen nur:
```bash
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --plan # nur lesen
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy
```
Vor dem Portal-Cutover erneut ausfuehren, um zwischenzeitlich neue Bilder
nachzuziehen. `--verify-only` prueft nur die Zaehlungen.
Im Parallelbetrieb kommt dasselbe Bild auch ueber Gundi (gleiche imei, gleiche
Dateigroesse, <= 10 min). Nach der Migration den Gundi-Zwilling entfernen; behalten
wird der Legacy-Zwilling, an dem die KI-Ergebnisse haengen:
```bash
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --dedupe --dry-run
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --dedupe
```
Vor dem Portal-Cutover und nach dem Stoppen des Pollers beides erneut ausfuehren.
`--verify-only` prueft nur die Zaehlungen.
### Test
@@ -142,9 +155,9 @@ docker compose run --rm --no-deps gundi-receiver \
python -m tools.gundi_smoke_test --url http://127.0.0.1:8090 --jpeg /pfad/zu/bild.jpg
```
Standardmaessig schreibt der Pfad unter `icu/gundi-test/` (siehe `gundi:` in
`config.yaml`); fuer den Produktivbetrieb `processed_prefix` / `thumb_prefix` auf
`icu/processed/` / `icu/thumbnails/` umstellen.
Der Pfad schreibt unter `icu/gundi/` (siehe `gundi:` in `config.yaml`); bis
2026-10-16 war es `icu/gundi-test/`. Der genaue Schluessel steht je Bild in
`image.processed_key` / `thumbnail_key` - Konsumenten bauen ihn nicht selbst zusammen.
### nginx (`icu.meles.eu`)