Prepare legacy migration for the portal cutover
- detection from legacy category only for scores >= 0.5, without ''/none - category_label + view detection_labeled unify ICU and legacy labels - schema/003 + migrate_legacy --dedupe removes Gundi twins of legacy images (same imei, same size, <= 10 min), archived in image_superseded - migrate_legacy --plan: read-only preview of the migration - Gundi S3 prefix icu/gundi-test/ -> icu/gundi/ Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -115,7 +115,9 @@ Wichtig: Der Client (ICU) muss nach `5xx`/Timeout den Upload wiederholen; ohne W
|
||||
|---------|--------|
|
||||
| `remote_cam.camera_status` | Statusupdates / Kameraeigenschaften (Zeitreihe je IMEI) |
|
||||
| `remote_cam.image` | Bildeigenschaften inkl. `servertime`, `ocr_ts`, `ocr_state` |
|
||||
| `remote_cam.detection` | Objektklassifikationen, `confidence` 0..1 |
|
||||
| `remote_cam.detection` | Objektklassifikationen, `confidence` 0..1, Rohbezeichnung der Quelle |
|
||||
| `remote_cam.category_label` / View `detection_labeled` | einheitliches Label je Rohbezeichnung (`Deer-Like` -> `deer`) |
|
||||
| `remote_cam.image_superseded` | entfernte Gundi-Zwillinge aus dem Parallelbetrieb (mit Originalzeile) |
|
||||
| `remote_cam.image_with_status` | View: Bild + zum `servertime` gueltiger Status |
|
||||
| `remote_cam.gundi_inbox` | Transportschicht: Rohevents + Zustand des Push-Pfads |
|
||||
|
||||
@@ -124,15 +126,26 @@ Das Schema legt der Receiver beim Start an. Die Legacy-Tabellen `metadata` /
|
||||
|
||||
### Bestandsdaten migrieren
|
||||
|
||||
Split `metadata` -> `image` + `camera_status`, `category` -> `detection`.
|
||||
Wiederholbar, batchweise, liest die Alttabellen nur:
|
||||
Split `metadata` -> `image` + `camera_status`, `category` -> `detection`
|
||||
(nur Klassen ab Score 0.5, ohne `''`/`none`). Wiederholbar, batchweise, liest die
|
||||
Alttabellen nur:
|
||||
|
||||
```bash
|
||||
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --plan # nur lesen
|
||||
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy
|
||||
```
|
||||
|
||||
Vor dem Portal-Cutover erneut ausfuehren, um zwischenzeitlich neue Bilder
|
||||
nachzuziehen. `--verify-only` prueft nur die Zaehlungen.
|
||||
Im Parallelbetrieb kommt dasselbe Bild auch ueber Gundi (gleiche imei, gleiche
|
||||
Dateigroesse, <= 10 min). Nach der Migration den Gundi-Zwilling entfernen; behalten
|
||||
wird der Legacy-Zwilling, an dem die KI-Ergebnisse haengen:
|
||||
|
||||
```bash
|
||||
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --dedupe --dry-run
|
||||
docker compose run --rm --no-deps gundi-receiver python -m tools.migrate_legacy --dedupe
|
||||
```
|
||||
|
||||
Vor dem Portal-Cutover und nach dem Stoppen des Pollers beides erneut ausfuehren.
|
||||
`--verify-only` prueft nur die Zaehlungen.
|
||||
|
||||
### Test
|
||||
|
||||
@@ -142,9 +155,9 @@ docker compose run --rm --no-deps gundi-receiver \
|
||||
python -m tools.gundi_smoke_test --url http://127.0.0.1:8090 --jpeg /pfad/zu/bild.jpg
|
||||
```
|
||||
|
||||
Standardmaessig schreibt der Pfad unter `icu/gundi-test/` (siehe `gundi:` in
|
||||
`config.yaml`); fuer den Produktivbetrieb `processed_prefix` / `thumb_prefix` auf
|
||||
`icu/processed/` / `icu/thumbnails/` umstellen.
|
||||
Der Pfad schreibt unter `icu/gundi/` (siehe `gundi:` in `config.yaml`); bis
|
||||
2026-10-16 war es `icu/gundi-test/`. Der genaue Schluessel steht je Bild in
|
||||
`image.processed_key` / `thumbnail_key` - Konsumenten bauen ihn nicht selbst zusammen.
|
||||
|
||||
### nginx (`icu.meles.eu`)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user