Enregistrer commande dans variable dans awk

Oliv83200 · Le 16/12/2019, à 17:51

Bonjour,

Je tente par tout moyen de constituer un fichier avec le nom de plusieurs VMs à partir de leur adresse ip qui se trouve dans la colonne 3 d'un fichier csv source. Pour cela j'interroge une base sur laquelle se trouve une table de correspondance.

Je m'y prends donc par script bash de la façon suivante:

#!/bin/bash

for machine in /usr/src/fichier.csv
do
awk -F";" '
BEGIN{OFS=";";print "vm"}
{testip=$(eval "mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='$3'\" | tail -n1")
print $testip}
' $machine > /home/oliv83200/nommachine.csv

done

exit 0

La commande se trouvant dans la variable fonctionne (je l'ai testé dans ma console, c'est ok).
Mais quand j’exécute mon script et que je vais aux résultats, je constate qu'il interprète ma variable $testip comme un $0 puisqu'il m'affiche la totalité des colonnes du fichier initial.
Est ce awk qui n'accepte pas la forme $var=$(ma commande)?
Avez vous une solution.

En vous remerciant.

kamaris · Le 16/12/2019, à 18:20

Ton montage est à revoir : la boucle for ne sert à rien (et ne fait peut-être pas ce que tu penses), et tu mets du bash dans du awk.
Voici une manière de faire : d'abord tu récupères tes ips dans un tableau :

mapfile -t a < <(awk -F';' '{print $3}' /usr/src/fichier.csv)

Ensuite, tu boucles sur les éléments de ce tableau pour les passer en argument à ta commande mysql, et renseigner en sortie le second fichier :

for ip in "${a[@]}"; do
  mysql -h 128.10.10.10 -u toto -pPassword -B --execute="SELECT name FROM ecs WHERE ipaddress='$ip'" | tail -n1
done > /home/oliv83200/nommachine.csv

Oliv83200 · Le 17/12/2019, à 09:02

Merci Kamaris,

Je faisais appel à la boucle for car je récupère d'autres valeurs dans le fichier csv initial (j'ai dépouiillé mon code pour le rendre plus clair sur le forum).
en fait je fais quelque chose de ce type:
{testip=$(eval "mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='$3'\" | tail -n1")
print $3$2,$2,$testip}

Je ne comprends pas la variable ${a[@]} dans ton code.

Cordialement,

Olivier

kamaris · Le 17/12/2019, à 13:12

Quel que soit le traitement réalisé sur le fichier /usr/src/fichier.csv, la boucle for est inutile, car elle ne fait qu'affecter la valeur « /usr/src/fichier.csv » à la variable « machine ».
Pour t'en convaincre, tu peux faire

for machine in /usr/src/fichier.csv; do
  echo "'$machine'"
done

Une boucle for ne lit pas un fichier, elle ne lit que ce que tu lui mets comme mots entre le « in » et le « ; » ou la fin de ligne qui suit.
Ici, elle ne lit donc que la chaine de caractères « /usr/src/fichier.csv ».

Si tu veux lire un fichier en bash, il faut utiliser une boucle while et la commande read :

while IFS='' read -r line; do
…
done < fichier

Mais ici c'est inutile : à partir du moment où tu utilises awk, c'est lui qui se chargera de lire le fichier.
Ensuite, étant donné ce que tu veux faire, peut-être qu'effectivement les appels système depuis awk se justifient, mais il ne faut pas les faire comme ça.
Et il ne faut pas utiliser eval, d'ailleurs inutile ici.

Tu peux faire comme ça :

awk -F';' '{ print "vm"; printf "%s%s;%s;" $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='" $3 "'\" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

Attention à bien arrêter puis reprendre les guillemets doubles pour que le « $3 » soit interprété comme le troisième champ awk, et non pas comme le troisième paramètre de position du shell qui exécute la commande mysql.

Enfin, en ce qui concerne "${a[@]}", il s'agit du développement des éléments du tableau « a » en mots séparés :

man bash a écrit :

If the word is double-quoted, ${name[*]} expands to a single word with the value of each array member separated by the first character of the IFS special variable, and ${name[@]} expands each element of name to a separate word.

Pour essayer de voir un peu comment ça fonctionne, tu peux faire l'expérience suivante : tu définis un tableau « a » par

a=(a b 'a b')

Puis tu affiches ses éléments à l'aide des boucle for suivantes, et tu observes le résultat :

for w in "${a[@]}"; do echo "'$w'"; done
for w in ${a[@]}; do echo "'$w'"; done
for w in "${a[*]}"; do echo "'$w'"; done
for w in ${a[*]}; do echo "'$w'"; done

Dernière modification par kamaris (Le 17/12/2019, à 13:17)

Oliv83200 · Le 17/12/2019, à 15:30

Merci kamaris pour ton aide et ta pédagogie,

Je comprends mes erreurs.

Néanmoins je suis toujours bloqué sur un soucis de synthax dans la commande system()
Pour me faciliter la chiose, j'ai remplacé la variable $3 par une adresse ip connu de ma base.

Lorsque je rentre ma commande de cette manière:

awk -F';' '{ print "vm"; printf "%s%s;%s;" $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute="SELECT name FROM ecs WHERE ipaddress='128.10.10.10'" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

il m'affiche "awk: 2: unexpected character '.'

Et lorsque je rentre la commande de cette manière (en mettant des \ avant les quote et double quotes qu'il ne doit pas tenir compte):
awk -F';' '{ print "vm"; printf "%s%s;%s;" $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='\128.10.10.10\'\" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

il m'affiche :
"./testip.sh: ligne 3: fin de fichier (EOF) prématurée lors de la recherche du « " » correspondant
./testip.sh: ligne 6: erreur de syntaxe : fin de fichier prématurée"

je viens de me lire le man de system(), tester d'autre synthax etc, je ne trouve pas la solution.

kamaris · Le 17/12/2019, à 15:49

Ah oui, c'est à cause des guillemets simples qui sont interprétés comme terminant le programme awk, et non comme partie intégrante de ce qu'il doit afficher.
Il faut les concaténer avec le reste du programme awk en utilisant le mécanisme d'échappement des caractères spéciaux de bash :

awk -F';' '{ print "vm"; printf "%s%s;%s;" $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='\''" $3 "'\''\" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

---

Sinon, si tu veux éviter d'alterner les guillemets simples / doubles avec ou sans anti-slash, tu peux passer à awk des variables contenant ces guillemets et les utiliser ensuite en interne :

awk -F';' -v g1=\' -v g2=\" '{ print "vm"; printf "%s%s;%s;" $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=" g2 "SELECT name FROM ecs WHERE ipaddress=" g1 $3 g1 g2 " | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

Je te laisse tester, mais ces deux formulations doivent être équivalentes.

Dernière modification par kamaris (Le 17/12/2019, à 17:17)

Oliv83200 · Le 17/12/2019, à 17:41

Effectivement de cette manière ça fonctionne.
Pas simple de s'y retrouver dans les quotes et doubles interprété ou non. La technique de les enregistrer dans une variable est intéressante.
Bizarrement la commande system(mysql) me sort mon resultat suivi d'un zéro à la ligne:
resultat 1
0
resultat2
0
resultat3
0
...

J'ai beau modifié mont tail -n1, ce 0 venu de nul part (pas dans la base) reste.

pingouinux · Le 17/12/2019, à 17:47

Bonjour,

Oliv83200 a écrit :

Bizarrement la commande system(mysql) me sort mon resultat suivi d'un zéro à la ligne:

C'est le code de retour de la commande.

man awk a écrit :

system(cmd-line) Execute the command cmd-line, and return the exit status. (This may not be
available on non-POSIX systems.)

kamaris · Le 17/12/2019, à 20:12

Je ne sais pas pourquoi le code de retour de la commande vient parasiter la sortie.
Chez moi j'ai par exemple

$ echo | awk '{system("echo ok")}'
ok
$

alors que echo renvoie bien aussi 0 comme code de retour.

Mais tu dois pouvoir virer ce zéro en le mettant dans une variable poubelle :

$ echo | awk '{trash=system("echo ok")}'
ok
$

pingouinux · Le 17/12/2019, à 20:27

En effet, c'est curieux. J'avoue que j'avais consulté le man, mais sans faire le test.

Watael · Le 17/12/2019, à 21:24

mais, il y a un gain, ici, à utiliser awk avec un appel system(), plutôt qu'une lecture du fichier en shell, et l'exécution des requêtes sql dans le même contexte ?

kamaris · Le 17/12/2019, à 21:57

Un gain je sais pas, mais disons que c'est une possibilité.
Au départ (en #2) j'avais plutôt choisi d'esquiver ça, mais comme ensuite Oliv83200 a rajouté des manipulations de champs en #3, je me suis dit pourquoi pas tout faire dans awk effectivement.

Watael · Le 17/12/2019, à 22:17

ça me paraît tortueux (matrïochka-esque) :
un script shell qui exécute une commande awk, qui exécute une commande shell. 8O

kamaris · Le 17/12/2019, à 22:32

Da!
Mais par contre, la commande donnée #6 est censée se suffire à elle-même : plus de script shell au-dessus.

Watael · Le 17/12/2019, à 22:44

plus de script shell au-dessus

alors, tu l'exécutes où la commande awk ?

kamaris · Le 17/12/2019, à 23:43

Ben dans un terminal.
Oui je sais, ça reste un shell, mais ce que je veux dire c'est qu'elle remplace tout le script en #1.

Watael · Le 18/12/2019, à 00:20

tout le script consistait en une boucle for erronée.
reste un script shell, qui exécute awk, qui exécute un shell.

autant faire un simple shell, comme tu le faisais en #2.
KISS.

Oliv83200 · Le 18/12/2019, à 10:46

Encore merci pour l'aide que vous m'apportez.

J'ai tenté de faire comme en #2 mais je suis bloqué par la suite pour récupérer les autres valeurs de mon csv que je dois afficher dans le même tableau que le nom de mes machines.
De même quand je reproduis exactement le awk en #6 , j'ai le droit à cette erreur:

awk: run time error: not enough arguments passed to printf("%s%s;%s;128.15.15.15")
	FILENAME="/usr/src/fichier.csv" FNR=1 NR=1

Je l'ai donc modifié comme tel:

awk -F";" 'BEGIN{OFS=";";print ""vm"}{ print $3$2,$2,system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='\''" $3 "'\''\" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

j'ai donc rencontré le problème de 0 ajouté au résultat de la commande mysql. Qui serait donc le code retour de system().

Lorsque je modifie le code de cette manière:$

awk -F";" 'BEGIN{OFS=";";print ""vm"}{ trash=system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='\''" $3 "'\''\" | tail -n1"); print $3$2,$2,trash}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

Ca ne change rien, le 0 est toujours présent dans mon résultat.

Oliv83200 · Le 18/12/2019, à 12:00

C'est bon!
J'arrive au résultat souhaité en reprenant #6 comme tel:

awk -F';' 'BEGIN{OFS=";";print "vm"}{printf "%s%s;%s;", $3, $2, $2; system("mysql -h 128.10.10.10 -u toto -pPassword -B --execute=\"SELECT name FROM ecs WHERE ipaddress='\''" $3 "'\''\" | tail -n1")}' /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

Un grand merci pour votre aide !

Merci, merci, merci!

kamaris · Le 18/12/2019, à 12:56

Arf ! Oui, j'avais oublié une virgule !
C'est le problème quand on ne teste pas bien en local, désolé.
Tu ne dois pas avoir besoin du OFS=";" je crois, mais bon, c'est pas bien grave.

Pour faire « comme en #2 », ou plutôt substituer bash à awk, il aurait fallu que tu utilises la boucle while dont je t'ai parlé en #4 pour lire un fichier, en l'adaptant un peu :

while IFS=';' read -r champ1 champ2 champ3 ligne; do
…
done < /usr/src/fichier.csv > /home/oliv83200/nommachine.csv

Je te laisse compléter l'intérieur de la boucle si ça te dit

Watael · Le 18/12/2019, à 12:59

J'ai tenté de faire comme en #2 mais je suis bloqué par la suite pour récupérer les autres valeurs de mon csv que je dois afficher dans le même tableau que le nom de mes machines.

donne-nous une exemple représentatif du fichier, la sortie attendue correspondante, et une petite explication si la transformation n'est pas évidente

ça n'a pas l'air bien compliqué, il n'y a pas de raison que ce ne soit pas simplissime en shell.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 16/12/2019, à 17:51

Enregistrer commande dans variable dans awk

#2 Le 16/12/2019, à 18:20

Re : Enregistrer commande dans variable dans awk

#3 Le 17/12/2019, à 09:02

Re : Enregistrer commande dans variable dans awk

#4 Le 17/12/2019, à 13:12

Re : Enregistrer commande dans variable dans awk

#5 Le 17/12/2019, à 15:30

Re : Enregistrer commande dans variable dans awk

#6 Le 17/12/2019, à 15:49

Re : Enregistrer commande dans variable dans awk

#7 Le 17/12/2019, à 17:41

Re : Enregistrer commande dans variable dans awk

#8 Le 17/12/2019, à 17:47

Re : Enregistrer commande dans variable dans awk

#9 Le 17/12/2019, à 20:12

Re : Enregistrer commande dans variable dans awk

#10 Le 17/12/2019, à 20:27

Re : Enregistrer commande dans variable dans awk

#11 Le 17/12/2019, à 21:24

Re : Enregistrer commande dans variable dans awk

#12 Le 17/12/2019, à 21:57

Re : Enregistrer commande dans variable dans awk

#13 Le 17/12/2019, à 22:17

Re : Enregistrer commande dans variable dans awk

#14 Le 17/12/2019, à 22:32

Re : Enregistrer commande dans variable dans awk

#15 Le 17/12/2019, à 22:44

Re : Enregistrer commande dans variable dans awk

#16 Le 17/12/2019, à 23:43

Re : Enregistrer commande dans variable dans awk

#17 Le 18/12/2019, à 00:20

Re : Enregistrer commande dans variable dans awk

#18 Le 18/12/2019, à 10:46

Re : Enregistrer commande dans variable dans awk

#19 Le 18/12/2019, à 12:00

Re : Enregistrer commande dans variable dans awk

#20 Le 18/12/2019, à 12:56

Re : Enregistrer commande dans variable dans awk

#21 Le 18/12/2019, à 12:59

Re : Enregistrer commande dans variable dans awk

Pied de page des forums