AIBot Ledger - Generatore di report per log dei crawler

Gli scraper AI non controllati consumano la larghezza di banda del server, fanno lievitare i costi del traffico in uscita (egress) e ignorano i limiti di crawling senza che gli operatori dei siti conoscano il loro reale impatto finanziario. I developer faticano a separare i crawler AI autentici dagli user agent contraffatti (spoofed) all'interno dei complessi log di accesso dei web server. Lo strumento analizza i log standard combined di Nginx o Apache e i record JSON di Caddy, gestendo sia file in plain text che in formato gzip. Identifica i crawler AI riconosciuti confrontandoli con firme note, calcolando il volume totale delle richieste, il consumo di larghezza di banda e i costi stimati di hosting per il traffico in uscita. Esegue lookup Forward-Confirmed Reverse DNS per identificare gli indirizzi IP degli scraper contraffatti e valuta i percorsi analizzati rispetto al file robots.txt per segnalare le violazioni delle policy. Esempio: esegui python3 aibot_ledger_crawler_log_repor.py --help per ispezionare l'elenco completo degli argomenti. Puoi analizzare un log standard di un web server eseguendo python3 aibot_ledger_crawler_log_repor.py access.log per visualizzare il traffico dei bot e le metriche di spesa. Per ispezionare gli archivi compressi verificando al contempo l'autenticità dei bot, esegui python3 aibot_ledger_crawler_log_repor.py access.log.gz --verify-dns. Questo strumento non blocca attivamente il traffico in entrata e non applica regole dinamiche di firewall al tuo web server.