Problemi da troppi accessi "Search Engine Spider Bot"

Problemi da troppi accessi "Search Engine Spider Bot"

Messaggioda Bron ElGram » martedì 19 febbraio 2019, 22:02


Immagine

Dopo 48h di riflessioni, analisi e test con il caro Nadrier, siamo indicativamente riusciti a focalizzare il problema che ci affliggeva e ad attuare una soluzione (spero definitiva).
Per chi se lo fosse perso... il nostro blog/forum "BroomGulf 2" http://www.gildaesploratorierranti.net da 10 giorni subisce rallentamenti importanti e talvolta delle interruzioni di servizio per 2-3 minuti a causa di troppi accessi in contemporanea. Di solito infatti, visitano il sito 30-40 IP, con punte di 100-150, ma mai di più... ed io ho acquistato risorse VPS per reggere 500-600 visitatori insieme, ipotesi che mi è sempre parsa fantascientifica! :o
Sabato scorso, dalle 7 alle 21, il sito è persino caduto (ore di down per mia colpa... non ho letto con attenzione gli alert di Uptime Robot che mi monitora costantemente la situazione da anni) e così, dopo il riavvio, ho iniziato a temere che si trattasse di un attacco ramsomware originato da qualche troll o da qualche organizzazione che con attacchi vari cerca di impossessarsi delle credenziali di accesso ai siti per poi chiedere un riscatto in denaro per ripassarne la proprietà (cosa che poi quasi mai avviene!).

Per farla semplice... si è quindi creato uno script per fotografare gli accessi al sito in un determinato momento e si sono analizzati gli IP sorgente.
:ugeek: In pratica il problema non è un attacco ramsomware "voluto" da qualcuno, ma sono dei "Web Crawler", nella fattispecie dei "Search Engine Spider Bot" di origine cinese (Pechino - es. da https://www.wangsu.com/) o russa (ma con IP nei Paesi Bassi! es. da https://datawebglobal.com/ru/ ) che stanno indicizzando il sito per i loro motori di ricerca... e accedendo in contemporanea da diversi IP, generano centinaia di "utenti virtuali" che "leggono" insieme le varie pagine del blog/forum facendolo crashare!
Ora quando creai il sito in phpBB, il pacchetto base contemplava già una trentina di bot per l'indicizzazione nei motori di ricerca utilizzati in quegli anni (google, lycoos, libero, altavista, etc.) e questi sono gestiti come utenti identificati da non conteggiare MAI nel numero degli accessi e delle pagine visitate... questi invece sono nuovi e fuori dall'impostazione logica del vecchio linguaggio e così si crea il problema. :(

Si è allora creato uno script che blocchi questi IP in accesso... già dal primo utilizzo i numeri sono scesi a 50-300 utenti e il sito è caduto due minuti solo più una volta in 24h... ora analizzerò ancora qualche report nei prossimi giorni, incrementerò l'elenco degli IP da bloccare e credo che per fine settimana la questione sia solo più un ricordo.
Nei prossimi giorni, fatto ancora qualche test, riprenderà il #CulturalSpam ordinario e io potrò riprende a sviluppare il nuovo sito.
Logicamente questi script lavorano sulla VPS e quindi ne godrà anche il sito in WordPress quando finalmente sarà online!
NUMQUAM QUIESCERE!
Avatar utente
Bron ElGram
Site Admin
Site Admin
 
Posts: 14477
Iscritto il: giovedì 3 gennaio 2013, 15:50

  • Condividi su
  •   Aiuta ad aumentare la popolarità di BroomGulf condividendo la pagina!
    Condividi su Facebook

Torna a 3. Informazioni Tecniche

Chi c’è in linea

Visitano il forum: Nessuno e 2 ospiti