Script de décompression et recherche

tuxidermiste · Le 11/01/2011, à 11:01

Bonjour tout le monde,

Voilà j'ai un travail assez pénible qui m'attend ce soir, à savoir traiter une quantité faramineuse de fichiers logs (web, ftp, ssh) sur deux ans.

Quelqu'un pourrait-il m'aider à écrire un petit script qui me permette d'extraire tous les fichiers .log.gz d'un dossier vers un autre, et ensuite de chercher parmis tous ces fichiers .log les lignes contenant le mot RICE précédé ou suivi d'autres lettres/espaces/... ?

Ca fait longtemps que je n'ai plus fait de bash, donc limite même si quelqu'un ne veut pas le faire s'il peut juste me mettre sur la voie ce serait sympa

Mon approche (peut-être mauvaise?) :
Moi je comptais utiliser la commande pour décompresser tous les fichiers .log.gz vers un autre (je ne m'en souviens plus mais j'irais chercher ^^), ensuite faire un cat de tous ces fichiers suivis d'un grep sur RICE.
Seulement le hic c'est qu'il me semble qu'il va bien m'afficher les lignes dans lesquelles je trouverais le mot rice, mais pas le nom des fichiers dans lesquels il a trouvé RICE...

Merci d'avance pour votre aide

time132 · Le 11/01/2011, à 11:13

Bonjour,

Le cat est inutile à mon avis.

A la racine de tout tes logs tu fais un

grep -r RICE .

Le -r sert à la récursivité.
grep t'indiquera le fichier et la ligne où il trouve le mot recherché.

Dernière modification par time132 (Le 11/01/2011, à 11:14)

tuxidermiste · Le 11/01/2011, à 11:44

Ah bah c'est plus facile que je ne le pensais alors ^^

Et pour décompresser à la volée le contenu de tous les fichiers .gz vers un dossier mes_logs par exemple il y a une commande magique?

biotechman · Le 11/01/2011, à 13:26

ça fonctionne comme tu veux ?

#!/bin/bash
find /path/to/log/ -iname "*.log.gz" -exec cp {} /path/to/file/ \;
cd /path/to/file/
gunzip *.log.gz
egrep .RICE\|RICE. *

On doit pouvoir faire plus court

Dernière modification par biotechman (Le 11/01/2011, à 13:27)

redo_fr · Le 11/01/2011, à 15:35

Salut, si tu veux décompresser tes logs "juste" pour chercher, c'est inutile

for fic in `ls *.log.gz`; do echo "--- $fic ---" ;  zgrep "RICE" $fic ; done

Dernière modification par redo_fr (Le 11/01/2011, à 15:38)

biotechman · Le 11/01/2011, à 15:52

@ redo_fr:
apparemment, d'après ce qu'il disait, il veut les décompresser absolument.
Par contre, il demandait à ce que le grep ne retourne que le pattern RICE avec un caractère avant et/ou après, c'est pourquoi j'ai utilisé egrep.
De un, je ne connaissais pas zgrep qui est monstrueusement bon [je vais avoir des lignes de scripts perso à modifier ;-) ].
De deux, est-il possible de répondre à sa demande concernant les caractères précédant ou suivant avec zgrep ??

Dernière modification par biotechman (Le 11/01/2011, à 15:52)

redo_fr · Le 11/01/2011, à 16:43

cd /repertoire/destination ; for fic in `find /repertoire/source -iname "*.log.gz"` ; do mv ${fic} . ; gunzip `echo ${fic} | awk -F/  '{print $NF}'` ; done

grep -H 'RICE' *.log

Pour ce qui est de la recherche, sa demande est

chercher parmis tous ces fichiers .log les lignes contenant le mot RICE précédé ou suivi d'autres lettres/espaces/...

donc toute la ligne...

tuxidermiste · Le 11/01/2011, à 16:48

En effet il ne me faut pas spécialement décompresser les logs, je pensais que c'était une étape obligatoire Le truc principal qu'il me faut c'est le nom du fichier qui contient cette chaîne de caractères.

Je ne m'attendais pas à autant d'aide (vu que je n'avais même pas une ébauche de script parfois les gens n'aiment pas faire le job pour les autres :s) c'est vraiment sympa de votre part, et grâce à vous et linux j'évite d'ouvrir 1500 fichiers en faisant pour chacun un CTRL+F

Je teste tout ça ce soir une fois que j'aurais fini de téléchargé tous les fichiers logs (il y en a un paquet et heureusement j'ai trouvé un script pour le faire à ma place ^^ que c'est pratique ces scripts bash quand même !).

Dernière modification par tuxidermiste (Le 11/01/2011, à 16:49)

biotechman · Le 11/01/2011, à 17:52

@redo_fr:
ton grep va retourner un résultat positif même si le seul mot de la ligne est RICE.
Avec une expression régulière on peut supprimer ces lignes du résultat et ne garder que celles qui sont précédées ou suivies par une lettre/espace et autres, chose demandée initialement.
Désolé de jouer sur la nuance, mais elle peut avoir son importance dans certains cas.

Dernière modification par biotechman (Le 11/01/2011, à 17:55)

ehmicky · Le 11/01/2011, à 21:12

redo_fr a écrit :

`echo ${fic} | awk -F/  '{print $NF}'`

Tu peux faire simplement (même résultat) :

"${fich##*/}"

ou utiliser basename.

Sinon, pour le topic, simplement :

find /path/to/log -iname "*.log.gz" -exec tar -Oxf {} \; | grep ".RICE."

Ou si tu veux absolument décompresser :

find /path/to/log -iname "*.log.gz" -exec tar -xf {} -C /path/to/dest \;
grep -r ".RICE." /path/to/dest

Dernière modification par ehmicky (Le 11/01/2011, à 21:41)

ehmicky · Le 14/01/2011, à 02:55

Autre solution :

find /path/to/log -iname "*.log.gz" -exec tar -xf {} --to-command="grep .RICE." \;

Dernière modification par ehmicky (Le 14/01/2011, à 02:56)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 11/01/2011, à 11:01

Script de décompression et recherche

#2 Le 11/01/2011, à 11:13

Re : Script de décompression et recherche

#3 Le 11/01/2011, à 11:44

Re : Script de décompression et recherche

#4 Le 11/01/2011, à 13:26

Re : Script de décompression et recherche

#5 Le 11/01/2011, à 15:35

Re : Script de décompression et recherche

#6 Le 11/01/2011, à 15:52

Re : Script de décompression et recherche

#7 Le 11/01/2011, à 16:43

Re : Script de décompression et recherche

#8 Le 11/01/2011, à 16:48

Re : Script de décompression et recherche

#9 Le 11/01/2011, à 17:52

Re : Script de décompression et recherche

#10 Le 11/01/2011, à 21:12

Re : Script de décompression et recherche

#11 Le 14/01/2011, à 02:55

Re : Script de décompression et recherche

Pied de page des forums