#!/usr/bin/env bash # Live-Ueberwachung des Gundi-Push-Empfaengers: kommen ueberhaupt POSTs von ICU an? # # Verfolgt zwei Quellen parallel und faerbt die relevanten Zeilen ein: # [app] docker logs des Receiver-Containers ([HTTP]-Requestzeilen, [GUNDI]-Events/Anhaenge, Fehler) # [nginx] nginx-Access-Log (meles_dev3), gefiltert auf /v2/events; Fallback sudo, wenn nicht lesbar # [traefik] Access-Log von Traefik (meles2), gefiltert auf /v2/events - zeigt auch Requests, die Traefik # selbst beantwortet und die nie beim Container ankommen (404 = kein Router-Match, # 502/504 = Container down, 308/301 durch http->https-Redirect ...) # # Voraussetzung fuer [traefik]: Access-Log in Traefik aktiviert (--accesslog=true). Liegt er # als Datei im Container (--accesslog.filepath, hier /var/log/access.log), wird per docker exec # mitgelesen; sonst per docker logs. # # Aufruf auf meles2: # tools/watch_gundi.sh # live ab jetzt, inkl. der letzten 10 Minuten # tools/watch_gundi.sh -s 2h # Rueckblick 2 Stunden, dann live # tools/watch_gundi.sh -a # alle Zeilen statt nur POST/Fehler (inkl. /healthz) # tools/watch_gundi.sh -t "" # ohne Traefik-Log # tools/watch_gundi.sh -f /pfad/access.log # Traefik schreibt in eine Datei statt nach stdout # # Optionen: # -n LOGFILE nginx-Access-Log (Default: /var/log/nginx/access.log wenn vorhanden, "" = aus) # -c CONTAINER Receiver-Container (Default: melesicumover-gundi) # -t CONTAINER Traefik-Container (Default: automatisch, erster Container mit "traefik" im Namen) # -f LOGFILE Traefik-Access-Log als Datei statt docker logs # -s SINCE docker-logs --since (Default: 10m) # -a nichts filtern set -u CONTAINER="${GUNDI_CONTAINER:-melesicumover-gundi}" NGINX_LOG="${GUNDI_NGINX_LOG-/var/log/nginx/access.log}" TRAEFIK="${GUNDI_TRAEFIK:-auto}" TRAEFIK_FILE="" TRAEFIK_INNER_LOG="${GUNDI_TRAEFIK_LOG:-/var/log/access.log}" SINCE="10m" ALL=0 while getopts "c:n:t:f:s:ah" opt; do case "$opt" in c) CONTAINER="$OPTARG" ;; n) NGINX_LOG="$OPTARG" ;; t) TRAEFIK="$OPTARG" ;; f) TRAEFIK_FILE="$OPTARG" ;; s) SINCE="$OPTARG" ;; a) ALL=1 ;; *) sed -n '2,25p' "$0" | sed 's/^# \{0,1\}//'; exit 0 ;; esac done if ! docker inspect "$CONTAINER" >/dev/null 2>&1; then echo "Container '$CONTAINER' nicht gefunden. Laufende Container:" >&2 docker ps --format ' {{.Names}}\t{{.Status}}' >&2 exit 1 fi state=$(docker inspect -f '{{.State.Status}} health={{if .State.Health}}{{.State.Health.Status}}{{else}}n/a{{end}} started={{.State.StartedAt}}' "$CONTAINER") echo "Container $CONTAINER: $state" if curl -fsS -m 3 http://127.0.0.1:8090/healthz >/dev/null 2>&1; then echo "Receiver lokal erreichbar (127.0.0.1:8090/healthz ok)" else echo "WARNUNG: 127.0.0.1:8090/healthz nicht erreichbar" fi echo "Strg+C beendet. Rueckblick: $SINCE" echo "--------------------------------------------------------------------------------" # Faerbt und filtert; gibt bei jedem Treffer den Zaehler mit aus. colorize() { awk -v all="$ALL" ' BEGIN { R="\033[31m"; G="\033[32m"; Y="\033[33m"; C="\033[36m"; B="\033[1m"; N="\033[0m"; posts=0 } { line = $0 is_post = (line ~ /"POST /) is_gundi = (line ~ /\[GUNDI\]/) is_err = (line ~ /(Traceback|Error|Exception|Fehler|WARN|ALARM|STOERUNG)/) || (line ~ /" (4[0-9][0-9]|5[0-9][0-9]) /) if (!all && !is_post && !is_gundi && !is_err) next if (is_post) posts++ col = "" if (is_err) col = R else if (is_gundi) col = G else if (is_post) col = C if (line ~ /" 30[18] /) col = Y # Redirect: Client folgt evtl. nicht mit POST printf "%s%s%s", col, line, N if (is_post) printf " %s(POST #%d)%s", B, posts, N printf "\n" fflush() }' } pids=() cleanup() { kill "${pids[@]}" 2>/dev/null; exit 0; } trap cleanup INT TERM docker logs -f -t --since "$SINCE" "$CONTAINER" 2>&1 \ | sed -u 's/^/[app] /' | colorize & pids+=($!) if [ -n "$NGINX_LOG" ] && [ -e "$NGINX_LOG" ]; then # Auf meles_dev3 gehoert das Log www-data:adm (0640) - ohne adm-Gruppe per sudo lesen. SUDO="" if [ ! -r "$NGINX_LOG" ]; then # sudo muss im Vordergrund nach dem Passwort fragen (in einer &-Pipeline haengt es); # danach liest "sudo -n" aus dem Credential-Cache. echo "nginx-Log nicht direkt lesbar - sudo-Passwort fuer das Mitlesen:" if sudo -v; then SUDO="sudo -n" else echo "Hinweis: kein sudo - nginx-Log wird nicht verfolgt" >&2 NGINX_LOG="" fi fi if [ -n "$NGINX_LOG" ]; then $SUDO tail -n 300 -F "$NGINX_LOG" 2>/dev/null | grep --line-buffered -E '/v2/events' | sed -u 's/^/[nginx] /' | colorize & pids+=($!) fi elif [ -n "$TRAEFIK_FILE" ]; then if [ -r "$TRAEFIK_FILE" ]; then tail -n 200 -F "$TRAEFIK_FILE" 2>/dev/null | grep --line-buffered -E '/v2/events' | sed -u 's/^/[traefik] /' | colorize & pids+=($!) else echo "Hinweis: $TRAEFIK_FILE nicht lesbar - Traefik-Log wird nicht verfolgt" >&2 fi elif [ -n "$TRAEFIK" ]; then if [ "$TRAEFIK" = "auto" ]; then TRAEFIK=$(docker ps --format '{{.Names}}' | grep -i traefik | head -n1) fi if [ -n "$TRAEFIK" ] && docker inspect "$TRAEFIK" >/dev/null 2>&1; then echo "Traefik-Container: $TRAEFIK (Access-Log: $TRAEFIK_INNER_LOG)" # Traefik schreibt den Access-Log in eine Datei im Container (--accesslog.filepath), # nicht nach stdout - daher docker exec tail. Fallback: docker logs. if docker exec "$TRAEFIK" test -r "$TRAEFIK_INNER_LOG" 2>/dev/null; then docker exec "$TRAEFIK" tail -n 300 -F "$TRAEFIK_INNER_LOG" 2>/dev/null | grep --line-buffered -E '/v2/events|icu\.meles\.eu' | sed -u 's/^/[traefik] /' | colorize & else docker logs -f -t --since "$SINCE" "$TRAEFIK" 2>&1 | grep --line-buffered -E '/v2/events|icu\.meles\.eu|level=(error|fatal)' | sed -u 's/^/[traefik] /' | colorize & fi pids+=($!) else echo "Hinweis: kein Traefik-Container gefunden (-t NAME oder -f LOGFILE angeben)" >&2 fi fi wait