Ubuntu-fr

Nik0s

[Résolu] Grep sur un fichier html mal formaté

Bonjour/Bonsoir,

Je suis à la recherche d'une petite aide, je souhaiterai faire un grep sur un fichier html issu d'Internet, le problème c'est qu'il n'y a aucune mise en forme tout est formaté sur une ligne...

Vous auriez par hasard une petite astuce pour utiliser le grep de la bonne manière ?

Ai-je raté quelque chose ?

Merci d'avance.

Nico

voici la regexp que j'utilise : 
\b(https?|ftp|file)://[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|]

Dernière modification par Nik0s (Le 07/11/2009, à 12:44)

FRUiT

Re : [Résolu] Grep sur un fichier html mal formaté

Une regex qui marche pour une url. (Pas très bien compris si c'est bien ce que tu désires)

 
 
(http|https|ftp|news|telnet|finger|file)://[^ ]+

Dernière modification par FRUiT (Le 06/11/2009, à 20:58)

---

Neon Suite by FRUiT (kde4.6) [url]http://[Merci de relire les règles]/yzm7cee[/url]
"Pour la carotte, le lapin est la plus parfaite incarnation du mal" (R. Sheckley)
clean

FRUiT

Re : [Résolu] Grep sur un fichier html mal formaté

(https?|ftp|file)

signifie "éventuellement 'https' / ou bien 'ftp' / ou bien 'file''

Essaye plutôt :

(http[s]?|ftp|file|etc...)

soit "ou bien 'http' (eventuellement suivi de 's') / ou bien 'ftp' / ou bien 'file'"

Dernière modification par FRUiT (Le 06/11/2009, à 20:56)

---

Neon Suite by FRUiT (kde4.6) [url]http://[Merci de relire les règles]/yzm7cee[/url]
"Pour la carotte, le lapin est la plus parfaite incarnation du mal" (R. Sheckley)
clean

Nik0s

Re : [Résolu] Grep sur un fichier html mal formaté

Merci pour cette réponse, grep me retourne dans cas-là aucune ligne, le fichier est mal formaté (tout est presque sur une ligne)

Voici un extrait de mon fichier

<a href="http://www.enchantedlearning.com/subjects/ocean/" class=l onmousedown="return clk(this.href,'','','res','14','','0CCsQFjAN')">Earth&#39;s <em>Oceans</em> - EnchantedLearning.com</a></h3><div class="s"><em>Oceans</em> cover about 70% of the Earth&#39;s surface  and contain roughly 97% of the Earth&#39;s water supply.<br><cite>www.enchantedlearning.com/subjects/<b>ocean</b>/ - </cite><span class=gl><a href="http://209.85.229.132/search?q=cache:Aqsx-P94AQcJ:www.enchantedlearning.com/subjects/ocean/+ocean&amp;cd=14&amp;hl=en&amp;ct=clnk" onmousedown="return clk(this.href,'','','clnk','14','')">Cached</a> - <a href="/search?hl=en&amp;q=related:www.enchantedlearning.com/subjects/ocean/">Similar</a></span></div><!--n--><li class=g><h3 class=r><a href="http://video.google.com/videosearch?q=ocean&amp;um=1&amp;ie=UTF-8&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result_group&amp;ct=title&amp;resnum=15&amp;ved=0CDQQqwQwDg">Video results for <em>ocean</em></a></h3><table class=ts><tr><td valign=top colspan=1 width=290><!--m--><div style="margin-top:8px"><table class=ts style="width:auto"><tr><td valign=top style="padding-right:7px"><a href="/url?q=http://www.youtube.com/watch%3Fv%3D6VAkOhXIsI0&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result&amp;resnum=15&amp;ct=thumbnail&amp;ved=0CC4QuAIwDg&amp;usg=AFQjCNHLQisLdtrUzktNWxo6DfBvjiDi6g"><img src="http://img.youtube.com/vi/6VAkOhXIsI0/default.jpg?h=60&w=80&sigh=__2xJCE6Rbkh0t_Q5CpzqJjp3hf68=" alt="" align=middle border=1 height=60 style="" width=80><div style="margin-top:-23px;margin-right:4px;text-align:right"><img src="/images/icons/sectionized_ui/play_c.gif" alt="" border=0 height=20 style="-moz-opacity:.88;filter:alpha(opacity=88);opacity:.88" width=20></div></a><td valign=top style="padding-right:10px"><a href="http://www.youtube.com/watch?v=6VAkOhXIsI0" class=l onmousedown="return clk(this.href,'video_result','','res','15','','0CC0QtwIwDg')">John Butler Trio - <em>Ocean</em></a><br><font color=#666666>6 min - 27 Dec 2005</font><br><span id=vudu><cite>www.youtube.com</cite></span></table></div><!--n--><td valign=top colspan=1 width=290><!--m--><div style="margin-top:8px"><table class=ts style="width:auto"><tr><td valign=top style="padding-right:7px"><a href="/url?q=http://www.youtube.com/watch%3Fv%3DyFMM2tcOvPE&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result&amp;resnum=16&amp;ct=thumbnail&amp;ved=0CDEQuAIwDw&amp;usg=AFQjCNG4PmIH4n7tOKNV5jV7nK2RzofRbg"><img src="http://img.youtube.com/vi/yFMM2tcOvPE/default.jpg?h=60&w=80&sigh=__6L41Nf6q-zpwpG7neNjp_Lzdb58=" alt="" align=middle border=1 height=60 style="" width=80><div style="margin-top:-23px;margin-right:4px;text-align:right"><img src="/images/icons/sectionized_ui/play_c.gif" alt="" border=0 height=20 style="-moz-opacity:.88;filter:alpha(opacity=88);opacity:.88" width=20></div></a><td valign=top style="padding-right:10px"><a href="http://www.youtube.com/watch?v=yFMM2tcOvPE" class=l onmousedown="return clk(this.href,'video_result','','res','16','','0CDAQtwIwDw')">B&#39;z <em>ocean</em></a><br><font color=#666666>5 min - 22 Sep 2005</font>

papillon41

Re : [Résolu] Grep sur un fichier html mal formaté

Bonjour Nik0s,

C'est cela que tu veux ?

<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<title></title>
</head>
<body>
<a href="http://www.enchantedlearning.com/subjects/ocean/" class="l"
onmousedown="return clk(this.href,'','','res','14','','0CCsQFjAN')">Earth's
<em>Oceans</em> - EnchantedLearning.com</a>
<div class="s"><em>Oceans</em> cover about 70% of the Earth's surface and
contain roughly 97% of the Earth's water supply.<br>
<cite>www.enchantedlearning.com/subjects/<b>ocean</b>/ -</cite> <span class=
"gl"><a href=
"http://209.85.229.132/search?q=cache:Aqsx-P94AQcJ:www.enchantedlearning.com/subjects/ocean/+ocean&amp;cd=14&amp;hl=en&amp;ct=clnk"
onmousedown="return clk(this.href,'','','clnk','14','')">Cached</a> - <a href=
"/search?hl=en&amp;q=related:www.enchantedlearning.com/subjects/ocean/">Similar</a></span></div>
<!--n-->
<h3 class="r"><a href=
"http://video.google.com/videosearch?q=ocean&amp;um=1&amp;ie=UTF-8&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result_group&amp;ct=title&amp;resnum=15&amp;ved=0CDQQqwQwDg">
Video results for <em>ocean</em></a></h3>
<table class="ts">
<tr>
<td valign="top" colspan="1" width="290"><!--m-->
<div style="margin-top:8px">
<table class="ts" style="width:auto">
<tr>
<td valign="top" style="padding-right:7px"><a href=
"/url?q=http://www.youtube.com/watch%3Fv%3D6VAkOhXIsI0&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result&amp;resnum=15&amp;ct=thumbnail&amp;ved=0CC4QuAIwDg&amp;usg=AFQjCNHLQisLdtrUzktNWxo6DfBvjiDi6g">
<img src=
"http://img.youtube.com/vi/6VAkOhXIsI0/default.jpg?h=60&amp;w=80&amp;sigh=__2xJCE6Rbkh0t_Q5CpzqJjp3hf68="
alt="" align="middle" border="1" height="60" style="" width="80"></a>
<div style="margin-top:-23px;margin-right:4px;text-align:right"><img src=
"/images/icons/sectionized_ui/play_c.gif" alt="" border="0" height="20" style=
"-moz-opacity:.88;filter:alpha(opacity=88);opacity:.88" width="20"></div>
</td>
<td valign="top" style="padding-right:10px"><a href=
"http://www.youtube.com/watch?v=6VAkOhXIsI0" class="l" onmousedown=
"return clk(this.href,'video_result','','res','15','','0CC0QtwIwDg')">John
Butler Trio - <em>Ocean</em></a><br>
<font color="#666666">6 min - 27 Dec 2005</font><br>
<span id="vudu"><cite>www.youtube.com</cite></span></td>
</tr>
</table>
</div>
<!--n--></td>
<td valign="top" colspan="1" width="290"><!--m-->
<div style="margin-top:8px">
<table class="ts" style="width:auto">
<tr>
<td valign="top" style="padding-right:7px"><a href=
"/url?q=http://www.youtube.com/watch%3Fv%3DyFMM2tcOvPE&amp;ei=dz7zStrdJcaH4Qb1or3cAw&amp;sa=X&amp;oi=video_result&amp;resnum=16&amp;ct=thumbnail&amp;ved=0CDEQuAIwDw&amp;usg=AFQjCNG4PmIH4n7tOKNV5jV7nK2RzofRbg">
<img src=
"http://img.youtube.com/vi/yFMM2tcOvPE/default.jpg?h=60&amp;w=80&amp;sigh=__6L41Nf6q-zpwpG7neNjp_Lzdb58="
alt="" align="middle" border="1" height="60" style="" width="80"></a>
<div style="margin-top:-23px;margin-right:4px;text-align:right"><img src=
"/images/icons/sectionized_ui/play_c.gif" alt="" border="0" height="20" style=
"-moz-opacity:.88;filter:alpha(opacity=88);opacity:.88" width="20"></div>
</td>
<td valign="top" style="padding-right:10px"><a href=
"http://www.youtube.com/watch?v=yFMM2tcOvPE" class="l" onmousedown=
"return clk(this.href,'video_result','','res','16','','0CDAQtwIwDw')">B'z
<em>ocean</em></a><br>
<font color="#666666">5 min - 22 Sep 2005</font></td>
</tr>
</table>
</div>
</td>
</tr>
</table>
</body>
</html>

Bien sur ton fichier html est incomplet.

Je l'ai repris avec "Bluefish" et j'ai appliqué le "filtre nettoyeur Tidy" .

Dernière modification par papillon41 (Le 06/11/2009, à 21:31)

---

()Ï() Xubuntu 22.04.2 64bits - AMD A4-3400 sur carte mère MSI A55M-P33 - 4 Go de RAM - ATI HD6410D - 2 SSD 120Go + DD SATA 500Go
Balade à Saint Étienne de Lugdarès
Classification des vins de france
Déclaration, Conventions et Chartes

Nik0s

Re : [Résolu] Grep sur un fichier html mal formaté

Désolé c'est la fatigue...

Avec mon fichier malformaté, je souhaiterai faire une recherche dedans (grep ou autre si vous connaissez) pour en extraire toutes les url type http, le problème c'est avec grep je n'ai aucun résultat en utilisant la regexp du premier poste

Autant pour moi, il fallait utiliser l'option -E pour utiliser la fonction adéquate

Dernière modification par Nik0s (Le 07/11/2009, à 12:37)

FRUiT

Re : [Résolu] Grep sur un fichier html mal formaté

Une regex qui marche pour une url. (Pas très bien compris si c'est bien ce que tu désires)

 
 
(http|https|ftp|news|telnet|finger|file)://[^ ]+

 
 
(http|https|ftp|news|telnet|finger|file)://[^"]+

A tester aussi :

 
 
\<(http|https|ftp|news|telnet|finger|file)://[^"]+\>

Dernière modification par FRUiT (Le 06/11/2009, à 22:44)

---

Neon Suite by FRUiT (kde4.6) [url]http://[Merci de relire les règles]/yzm7cee[/url]
"Pour la carotte, le lapin est la plus parfaite incarnation du mal" (R. Sheckley)
clean

papillon41

Re : [Résolu] Grep sur un fichier html mal formaté

?

---

()Ï() Xubuntu 22.04.2 64bits - AMD A4-3400 sur carte mère MSI A55M-P33 - 4 Go de RAM - ATI HD6410D - 2 SSD 120Go + DD SATA 500Go
Balade à Saint Étienne de Lugdarès
Classification des vins de france
Déclaration, Conventions et Chartes

Nik0s

Re : [Résolu] Grep sur un fichier html mal formaté

Lorsque tu utilises grep avec un expression réguliére, il te renvoie la ligne contenant le résultat; est-il possible qu'il me donne uniquement ma recherche au lieu de la ligne (en l'occurence http://.... ?

Ou alors ai-je mal compris l'utilisation de grep ? (ce qui semble être le cas)

Nik0s

Re : [Résolu] Grep sur un fichier html mal formaté

Je pense avoir trouvé, finalement après une nuit de sommeil c'est plus simple :

grep -o -E '\<(http|https|ftp|news|telnet|finger|file)://[^"]+\>' tempfile >>result

L'option -o permet de ne retourner que la valeur cherchée (et non la ligne !! ), voici ce que cela donne :

http://images.google.com/images?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wi
http://video.google.com/videosearch?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wv
http://maps.google.com/maps?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wl
http://news.google.com/news?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wn
http://www.google.com/products?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wf
http://mail.google.com/mail/?hl=en&tab=wm
http://www.google.com/intl/en/options
http://groups.google.com/groups?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wg
http://books.google.com/books?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wp
http://scholar.google.com/scholar?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=ws
http://www.google.com/finance?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=we
http://blogsearch.google.com/blogsearch?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wb
http://translate.google.com/translate_t?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wT
http://www.youtube.com/results?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=w1
http://www.google.com/calendar/render?hl=en&tab=wc
http://picasaweb.google.com/lh/view?q=ocean&um=1&ie=UTF-8&sa=N&hl=en&tab=wq
http://docs.google.com/?hl=en&tab=wo
http://www.google.com/reader/view/?hl=en&tab=wy
http://sites.google.com/?hl=en&tab=w3
http://www.google.com/intl/en/options
https://www.google.com/accounts/Login?hl=en&continue=http://www.google.com/search%3Fq%3Docean
http://www.google.com/webhp?hl=en
http://www.answers.com/ocean&r=67&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=dict&ct=d&ved=0CAQQvQE&usg=AFQjCNGpoX2zJAq4XnRsaRn6jhIPFZk_3Q
http://images.google.com/images?q=ocean&um=1&ie=UTF-8&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result_group&ct=title&resnum=1&ved=0CBIQsAQwAA
http://www.kidsgeo.com/images/ocean-temperature.jpg&imgrefurl=http://www.kidsgeo.com/geography-for-kids/0142-ocean-temperatures.php&h=544&w=400&sz=21&tbnid=5j4HGdptrMmWgM:&tbnh=133&tbnw=98&prev=/images%3Fq%3Docean&usg=__POUPAWS_1b-qEnfSIzIsVopM8Y0=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=1&ct=image&ved=0CAkQ9QEwAA
http://www.kidsgeo.com/geography-for-kids/0142-ocean-temperatures.php
http://www.treehugger.com/ocean-turtle.jpg&imgrefurl=http://www.treehugger.com/files/2008/04/ocean-conservancy-report-2007.php&h=300&w=468&sz=146&tbnid=MwtivffKjeoqlM:&tbnh=82&tbnw=128&prev=/images%3Fq%3Docean&usg=__AQPrpyUBB36hGYW86bxrkZBKioE=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=2&ct=image&ved=0CAsQ9QEwAQ
http://www.treehugger.com/files/2008/04/ocean-conservancy-report-2007.php
http://www.kidsgeo.com/images/ocean-water.jpg&imgrefurl=http://www.kidsgeo.com/geography-for-kids/0143-ocean-movements.php&h=400&w=300&sz=44&tbnid=QiIKthepby8xEM:&tbnh=124&tbnw=93&prev=/images%3Fq%3Docean&usg=__AVsdWeqQKX7sKkVKZ19tcAnqaC0=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=3&ct=image&ved=0CA0Q9QEwAg
http://www.kidsgeo.com/geography-for-kids/0143-ocean-movements.php
http://www.indianoceanodyssey.com/images/home_index_top_226_1.jpg&imgrefurl=http://www.indianoceanodyssey.com/&h=397&w=598&sz=48&tbnid=mBXez-bcu2IaZM:&tbnh=90&tbnw=135&prev=/images%3Fq%3Docean&usg=__ZZO5LqyCOqJUCbUaCGkNsFJkV1Q=&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=image_result&resnum=4&ct=image&ved=0CA8Q9QEwAw
http://www.indianoceanodyssey.com
http://en.wikipedia.org/wiki/Ocean
http://en.wikipedia.org/wiki/Ocean%23Overview&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=1&ved=0CBQQ0gIoAA&usg=AFQjCNGBOmA8gQ-kknoaBK4IVBJj1Z5Acw
http://en.wikipedia.org/wiki/Ocean%23Ocean_and_life&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=2&ved=0CBUQ0gIoAQ&usg=AFQjCNESY_I4lMRUI8UA1x06UX5TNtyCuw
http://en.wikipedia.org/wiki/Ocean%23Physical_properties&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=3&ved=0CBYQ0gIoAg&usg=AFQjCNGz4rUcgtuFuA7CmVgds-8YPc2aYg
http://en.wikipedia.org/wiki/Ocean%23Exploration&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=oneline_sitelinks&resnum=5&ct=result&cd=4&ved=0CBcQ0gIoAw&usg=AFQjCNER3OPW3vdPch92uk7Sw6vAReOoMQ
http://209.85.229.132/search?q=cache:M8s-Fc9FLxMJ:en.wikipedia.org/wiki/Ocean+ocean&cd=5&hl=en&ct=clnk
http://en.wikipedia.org/wiki/Pacific_Ocean
http://209.85.229.132/search?q=cache:rmtBmHn-WfgJ:en.wikipedia.org/wiki/Pacific_Ocean+ocean&cd=6&hl=en&ct=clnk
http://www.ocean.com
http://209.85.229.132/search?q=cache:FVE34pqGitoJ:www.ocean.com/+ocean&cd=7&hl=en&ct=clnk
http://earth.google.com/ocean
http://209.85.229.132/search?q=cache:5zoPkwQVbq4J:earth.google.com/ocean/+ocean&cd=8&hl=en&ct=clnk
http://www.foxnews.com/story/0,2933,571347,00.html
http://www.bahai-education.org/ocean
http://209.85.229.132/search?q=cache:bXYkw__wyB4J:www.bahai-education.org/ocean/+ocean&cd=10&hl=en&ct=clnk
http://news.yahoo.com/s/livescience/giantcrackinafricawillcreateanewocean
http://www.oceanhome.co.uk
http://209.85.229.132/search?q=cache:wDlU_aMVHXsJ:www.oceanhome.co.uk/+ocean&cd=12&hl=en&ct=clnk
http://www.noaa.gov/ocean.html
http://209.85.229.132/search?q=cache:zhmmILNzWwcJ:www.noaa.gov/ocean.html+ocean&cd=13&hl=en&ct=clnk
http://www.enchantedlearning.com/subjects/ocean
http://209.85.229.132/search?q=cache:Aqsx-P94AQcJ:www.enchantedlearning.com/subjects/ocean/+ocean&cd=14&hl=en&ct=clnk
http://video.google.com/videosearch?q=ocean&um=1&ie=UTF-8&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result_group&ct=title&resnum=15&ved=0CDQQqwQwDg
http://www.youtube.com/watch%3Fv%3D6VAkOhXIsI0&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result&resnum=15&ct=thumbnail&ved=0CC4QuAIwDg&usg=AFQjCNHLQisLdtrUzktNWxo6DfBvjiDi6g
http://img.youtube.com/vi/6VAkOhXIsI0/default.jpg?h=60&w=80&sigh=__2xJCE6Rbkh0t_Q5CpzqJjp3hf68
http://www.youtube.com/watch?v=6VAkOhXIsI0
http://www.youtube.com/watch%3Fv%3DyFMM2tcOvPE&ei=dz7zStrdJcaH4Qb1or3cAw&sa=X&oi=video_result&resnum=16&ct=thumbnail&ved=0CDEQuAIwDw&usg=AFQjCNG4PmIH4n7tOKNV5jV7nK2RzofRbg
http://img.youtube.com/vi/yFMM2tcOvPE/default.jpg?h=60&w=80&sigh=__6L41Nf6q-zpwpG7neNjp_Lzdb58
http://www.youtube.com/watch?v=yFMM2tcOvPE