Parsing file di log di Apache – Apache log parsing:
(\d+\.\d+\.\d+\.\d+) (-|\w*) (-|\w*) \[(\d+\/\w+\/\d+):(\d+:\d+:\d+) -(\d\d\d\d)\] "([^"]*)" (\d+) (-|\d+) "([^"]*)" "(.*)"\s*\Z

se utilizzate python è estremamente utile compilare l’espressione regolare che ho appena scritto in questo modo:
myregex = re.compile('(?P\d+\.\d+\.\d+\.\d+) (?P-|\w*) (?P-|\w*) \[(?P\d+\/\w+\/\d+):(?P\d+:\d+:\d+) -(?P\d\d\d\d)\] "(?P[^"]*)" (?P\d+) (?P-|\d+) "(?P[^"]*)" "(?P.*)"\s*\Z')

in questo modo utilizzando questo codice:

log = self.regex.match(row)
log_line = log.groupdict()

nella variabile log_line otterrete un dizionario contenente come chiavi i valori che avete inserito nella fase di compilazione come ?P e come valore la relativa sottostringa, ad esempio log_line['ip'] = valore ip .

In questo modo praticamente ad ogni richiesta della loro pagina web viene consumata la nostra banda per scaricare le immagini rubate, si potrebbe considerare l’hotlinking come un vero e proprio furto, poiché la banda consumata dal ragazzaccio a noi proprietari di siti costa denaro (e molto!).

Per risolvere il problema esiste però una possibilità che ci è offerta dal mod_rewrite di Apache, in pratica questa tecnica consente di bloccare le richieste esterne al nostro sito delle immagini, o di cambiare le richieste con altre richieste scelte da noi (quest’ultima frase è volutamente criptica perché non vi voglio rovinare la sorpresa).

Passiamo alla fase pratica e nella directory che contiene le immagini del nostro spazio web creiamo un file .htaccess (il punto che precede il nome serve per nascondere il file dopo la sua creazione), e al suo interno inseriamo le righe:

RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://yourdomain.com/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.yourdomain.com/.*$ [NC]
RewriteRule .*.(gif|GIF|jpg|JPG|bmp|BMP)$ - [F]

Con queste poche linee di codice stiamo dicendo che:

• riga 1: attiva il RewriteEngine che ci consente di riscrivere le url su Apache (utile anche per l’url rewrite)
• righe 2,3,4: controllano se l’url da cui è partita la richiesta fa parte di una delle tre ammesse come ad esempio yourdomain.com o www.yourdomain.com o ancora un path relativo o assoluto locale, altrimenti non prosegue a servire la richiesta, e chi ha linkato l’immagine senza il nostro permesso non riuscirà a caricarla.
• riga 5: sono le estensioni dei file di cui si vuole bloccare l’hotlinking.

Per quanto riguarda quei codici a fine linea sono delle opzioni che vengono accettate dal RewriteEngine, in particolare [NC] sta per No Case ossia il controllo tra l ‘url del richiedente e l’url ammessa viene fatto senza preoccuparsi di lettere maiuscole o minuscole.

Ma con questo sistema si può fare molto di più, perché limitarci a non far visualizzare, a chi ci sta rubando le immagini, quello che ha linkato, quando potremmo cambiare la sua richiesta e mostrargli una immagine scelta da noi, magari con un testo che gli ricorda proprio che sta rubando le immagini dal nostro sito?

Ecco quindi il codice che consente di realizzare tutto ciò, come prima va inserito in un file .htaccess nella cartella delle immagini:

RewriteEngine On
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://yourdomain.com/ [NC]
RewriteCond %{HTTP_REFERER} !^http://www.yourdomain.com/ [NC]
RewriteCond %{REQUEST_URI} !^/antiHotLink.jpg [NC]
RewriteRule .(gif|GIF|jpg|JPG|bmp|BMP)$ http://yourdomain.com/antiHotLink.jpg [R]

Questo codice è praticamente identico al precedente ad eccezione della riga 6 nella quale diciamo che tutte le richieste ai file che non vogliamo siano linkati, fatte da siti esterni al nostro debbono essere redirette verso antiHotLink.jpg in questo modo se il “ladro” linka l’immagine con Topolino troverà al suo posto l’immagine scelta da noi con un bel testo nel quale potrete inserire il vostro indirizzo in modo che suo malgrado vi farà pubblicità .

Fate attenzione però che se l’immagine antiHotLink.jpg è sul vostro dominio, questa consumerà ancora la vostra banda, quindi per ottenere risultati migliori conviene che l’immagine sia su un secondo server e che in ogni caso sia di dimensioni (intendo il peso) ridottissime.

Dal punto di vista di quei simpatici ragnetti dei motori di ricerca questi url sono la cosa pi� pericolosa che esista, difatti nulla assicura allo spider che seguendo questi indirizzi riuscirebbe ad indicizzare correttamente il sito ad esempio supponiamo che voi abbiate un sito con due sole pagine index.php e spidertrap.php, e che per qualche motivo index contenga un link a spidertrap utlizzando un indirizzo nel formato sito/spidertrap.php?SID=84duryreyey e spidertrap contenga un link a index sempre nel formato di prima, dove SID � la variabile che contiene l’id di sessione del vostro visitatore, quello che potrebbe succedere, ad ogni nuova visita degli spider, è che seguendo i link tra le due pagine, lo spider cadrebbe in un loop nel quale ad ogni nuovo accesso SID avrebbe un valore diverso da quello precedente, inducendo così lo spider a pensare di trovarsi difronte ad una pagina mai indicizzata, ottenendo così un’indicizzazione infinita.

La norma per gli spider è quindi quella di non considerare i parametri negli url, (o almeno tralasciarne buona parte) riducendo così la profondità di indicizzazione nei vostri siti.

Proprio in ragione di questo interviene l’url rewriting che consente di riscrivere gli indirizzi che contengono parametri in indirizzi nel formato: sito/param1/param2/param3/pippo.php o in quasi qualunque altra forma vi venga in mente, consentendo così agli spider di attraversare tutto il vostro sito, oltre che ai vostri utenti di rintracciare una pagina interna senza diventare matti.

Il post potrei dichiararlo concluso qui, non mi metterò a spiegare come vanno scritte le regole per l’url rewrite, ma se qualcuno fosse particolarmente interessato potrei pensare di scrivere un nuovo post.

Consiglio a tutti gli interessati di leggersi questo articolo se potete usare .htaccess sul vostro server:

http://pro.html.it/articoli/id_219/idcat_28/pag_3/pag.html

mentre quest’altro se non vi viene concesso:

http://freephp.html.it/articoli/view_articolo.asp?id=61

Originariamente questa testo è stato pubblicato da me sul forum del sito AlVerde.net, a questo indirizzo potrete leggere la versione originale:
http://www.alverde.net/forum/topic.asp?TOPIC_ID=6866&whichpage=1

Impostando un valore soglia per il numero di richieste da analizzare, è possibile sfruttare questo tool per la ricerca di indirizzi ip che stanno tentando dos attack o che eseguono comunque un numero di richieste fuori dalla norma.

Lo script va eseguito passandogli come parametri il nome del file di log e il valore soglia, a questo punto dopo l’analisi creerà una cartella con all’interno tutti file di testo il cui nome sarà composto dal numero delle richieste e dall’indirizzo ip del richiedente, e che conterranno l’elenco dettagliato delle richieste fatte.

E’ importante notare che i file prodotti sono ancora fedeli allo standard dei log di apache, risultano quindi ulteriormente analizzabili con altri software più specifici come awstats.

Il codice dello script è il seguente (download):

Error: Could not open logAnalyzer.py