Ubuntu-fr

Loïc B.

Queuing de tâches : LSF, SGE, Ubuntu Cloud ... un petit peu perdu ...

Bonjour,

Depuis quelque temps, je développe un petit projet qui me permet de jouer un peu le touche à tout avec une ligne directrice. Je prends le temps de le détailler pour rendre mon besoin et mes questions claires.

Je cherche à rendre disponible un ensemble de ressources scientifiques à un maximum d'utilisateurs. Ça c'est l'idée générale, mais pour l'instant, j'ai un utilisateur (moi même), une appli (pour l'exemple, on va dire que c'est un programme qui additionne 2 chiffres), et c'est disponible en local ! Bon bref ...

Sous VMware, j'ai émulé une machine avec une Ubuntu 9.10 minimale sur laquelle tourne Django.
Django gère un site qui consiste principalement en génération de formulaires qui posent un ensemble de questions (dans notre exemple, les deux chiffres à additionner) à un utilisateur. Une fois le formulaire envoyé, un job doit être lancé de manière autonome et envoyer un mail quand il est finit à l'utilisateur qui aura laissé son adresse. Tout ça, j'arrive à le faire.

Mais comme j'envisage que mon super site "addition.fr" deviennent ultra utile et populaire, je souhaiterai que mes additions ne se lancent pas systématiquement à chaque soumission d'un utilisateur, pour ne pas surcharger ma machine avec 4000 additions en même temps (bon là, on comprends bien qu'on parle plus d'additions, mais de gros jobs bien sales et gourmands en ressources). Je voudrai donc avoir une queue de jobs style LSF qui puisse gérer ces soumissions de tâches, les mettre en file d'attente, les faire passer avec le nbre de proc et la mémoire souhaités etc ...

Bon LSF est une solution commerciale, donc je regardais SGE, sensiblement équivalent : des machines avec le bon package installé (frontale ou noeuds), un entête dans un ksh pour lancer le job et des utilitaires pour monitorer le tout (qstat et tout le tintouin). Je croyais bien concevoir le truc quand j'ai vu Ubuntu Cloud et là je me suis perdu ...

A ce que j'ai compris, Ubuntu Cloud permet en gros de gérer un parc de machines, de rendre disponible sur tout le parc une image d'un système donné et de gérer tout ça simplement. Mais beaucoup le présente côte à côte avec Sun Grid Engine.

D'où ma question : ya-t-il dans Ubuntu Cloud des solutions pour définir une tâche (lancer mon programme d'addition avec des ressources (proc/mem) données), la mettre en queue, la lancer quand arrive son tour, monitorer les queues, etc ? Ou est ce juste un moyen efficace de gérer les OS d'un parc de machines mais ne s'occupe pas du tout de faire du queuing de jobs ?

Voilà, j'espère avoir été clair pour ma première question sur ce forum ...

Merci pour votre aide !

Loïc

Loïc B.

Re : Queuing de tâches : LSF, SGE, Ubuntu Cloud ... un petit peu perdu ...

Ouch, je m'attendais à un peu plus de réponses que ça ...

Vraiment personne n'aurait une lumière à apporter sur ce sujet ?
Peut être ne suis je pas dans la bonne section du forum ...

scamp

Re : Queuing de tâches : LSF, SGE, Ubuntu Cloud ... un petit peu perdu ...

bonsoir,
as-tu avancé dans tes recherches ?
Apriori c'est fesable mais Cluster != Cloud
tu dois pourvoir emarque SGE dans une image

Vincent cosmo

Re : Queuing de tâches : LSF, SGE, Ubuntu Cloud ... un petit peu perdu ...

dans les gestionnaires de queues il y a aussi Condor et Torque.

Pour le Cloud, tu veux ouvrir/terminer une nouvelle machine virtuelle à chaque nouvelle 'addition'? Si ton 'addition', est rapide, ça vaut pas le coup de lancer à chaque fois une nouvelle machine virtuelle (étant donner le temps nécessaire à booter la machine virtuelle).