Ubuntu-fr

kenjiu2002

[projet] raccourcis sonores: exécuter des commandes grâce à des sons

Bonjour à tous.
.
Prière de m'excuser si une telle discussion existe déja sur le forum, mais je n'ai pas trouvé.
Alors voilà, la reconnaissance vocale, ça progresse, ça progresse, mais bon...
Je trouve ça plutôt lourd à utiliser pour ce qui est de piloter l'ordinateur.
Le pire c'est sous windows: "Menu Démarrer" .... "MENU DÉMARRER" ... "Programmes" ... "accessoires" ... "bloc-note" ... et enfin le bloc note s'ouvre. Pas super efficace.
Alors, plutôt que de reconnaître les syllabe ou les phonèmes ou que sais-je encore, dans le but de pouvoir identifier les mots correspondants, comme le font, je présume, la plupart des logiciels de reconnaissance vocale, je voudrais pour ma part faire une chose fort simple:
.
1) enregistrer un son.
.
2) assigner une commande au son.
.
3) je n'aurais plus qu'à utiliser mon "raccourci sonore".
.
Ça ne me semble pas trop compliqué, et je l'utiliserais bien volontier, en buvant mon café... par exemple:
.
Je dis "News" > firefox s'ouvre à l'adresse de mon journal favori.
Je dis "Lire" > la syntèse vocale se lance et me lit la page avec une belle voix douce...
(non, ça c'est pour plus tard, à moins que quelqu'un ait la formule magique sous la main)
.
Qui n'a pas rêvé d'avoir un rapport plus humain avec son ordinateur, comme l'ordinateur "Hal" dans le film "2001 l'Odyssée de l'espace", ou mieux encore, dans 2010, la suite, où le professeur Chandra dialogue avec son ordinateur qui a une belle voix féminine et relaxante...
Mais revenons au début, et commencons par le commencement.
.
Simplement, je voudrais faire en sorte qu'un "raccourci sonore" soit reconnu, par exemple à partir de 90% de "correspondance sonore" (ajustable), et que la commande désirée soit exécutée.
Je suppose que ça doit être possible de lancer des commandes avec les logiciels de reconnaissance vocale classiques, mais de par les fonctionnalités qu'ils proposent, ces logiciels sont fatalement plus lourds, et moins efficace, me dis-je, pour ce qui est justement de lancer des commandes grâce à des sons.
.
En anticipant un peu, je me dis que le principal objectif est la légèreté, car le programme doit écouter et analyser en permanence. On pourrait donc prévoir un raccourci clavier qui permette de passer en mode "écoute" (fonction activable ou pas).
Exemple: j'appuie sur SUPER et je dis "Zou" et ma musique préférée se lance.
Ça permettrait de ne pas faire mouliner le moulin en permanence et pout rien.
Le programme pourrait aussi tourner au ralenti quand rien n'est reconnu, et augmenter son analyse (le nombre d'échantillons?) quand le son (en mémoire tampon?) correspond à un enregistrement sonore (ou "raccourci sonore").
.
Plus loin dans cette voie, on peut imaginer que la profondeur d'échantillonge (j'invente des mots) varie proportionnellement à la "correspondance sonore".
Plus ça correspond, plus ça mouline, mais si la suite ne correspond pas, le système redescend à 10%. Ou 5% si ça suffit, ce n'en serait que mieux. Notez que tout ça se passe dans un laps de temps très court: durée mémoire tampon (variable) + durée traitement (variable aussi).
.
La synthèse vocale pourrait être un bon complément de cette façon de faire, toujours dans le but de se libérer un peu plus de la position "assis-face-à-mon-ordi", histoire de faire autre chose en même temps... je sais pas moi... de l'aérobic!
Ou plus sérieusement, se préparer un sandwich tout en interagissant avec notre pc sans devoir crier, ni s'énerver, ni manipuler souris et clavier.
Ce qui n'empêche pas que pour taper un texte, le clavier rèste très pratique.
Mais ce n'est pas le sujet.
.
Dire "Gros titres" et entendre les gros titres.
Dire "plus" et entendre l'article.
Dire "photos" et avoir une mozaïque de photos liées au contexte.
Dire "deux" et voir la photo numéro deux en plein écran.
Dire "zoom", pour avoir un agrandissement.
Dire "retour" pour revenir aux news.
Tout cela à titre d'exemple bien sur.
.
Des solutions similaires éxistent-elles à votre connaissance?
Merci d'avance pour vos remarques, conseils, astuces, ou pistes de travail.
.
[édit]Certains ont peut-être été fascinés, il n'y a pas si longtemps, par une certaine scène du film "Blade Runner". Tant qu'à citer "2001", je me devais de citer "Blade Runner".
Dans la scène, Harrisson ford inspecte des images sur son ordinateur, en utilisant la voix comme seule interface.
.
[édit] En me relisant je me rend compte que j'ai mélangé deux questions:
.
1) Connaissez-vous des solutions pour créer des "raccourcis sonores" ?
2) Ça vous dirait pas qu'on s'y colle ?
.

Dernière modification par kenjiu2002 (Le 17/11/2010, à 17:20)

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

^un petit up^

Personne n'est intéressé par ce projet ?

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

cela  fait un bout de temp que je chercdhe un projet dans se genre la
et je pense que c'est faisable
je voi bien un truc dans le genre 
IF (son detecte = son1)
{ executer commande son 1;
}
etc etc
mais helas  je ne connais que les base en C donc il faudrai un programmeur qui s'y connaise un peu mieu
j'ai entendu parler aussi de cmu sphinx qui est en raport avec la reconaisance mais jai pas compri enq uoi consiste exactement cmu sphinx
d'ares se que j'ai compris c'est d'une genre de librairie  (qui de plus est compatible C) mais je ne sais pas trop comment elle fonctionne

YannUbuntu

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

super idee de projet ! qui s'y colle ?

2 themes :
- comment faire une reconnaissance de son fiable (voir avec des experts audio et reconnaissance vocale)
- comment integrer ce systeme a l'environnement de bureau (voir avec les devs de Gnome etc)

Dernière modification par YannUbuntu (Le 11/11/2010, à 13:31)

---

à consulter/améliorer: Guide du Débutant, Logiciels, Ecole, Travail, Maison

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

pour  la reconnaissance il y a CMU sphinx

Aprer il faut savoir en quoi le programmer on pourai le faire en C comme on pourrai le faire en script shell
je croi que cmu est a la base pour le shell et  il y a une version pour le C

Dernière modification par l@in (Le 12/11/2010, à 08:18)

Fafanuclear

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

C'est vraiment sympa comme projet. Cependant, car je n'ai pas de connaissance en ce qui concerne la reconnaissance vocale, toutefois je suis très intéressé par ton idée.

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

mince l'auteur de se post n'est toujours pas revenue

sharkgua

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

En voila une idée interesante
J'avais commencé a plancher sur le sujet et je verrais plutôt sa sous la forme d'un serveur qui resterais tout le temps allumé.
Il faudrais commencer par de simples actions comme assigner un chiffre a une action tel que
"2" ---> lancer amarock ou autre puis "4" ---> choisir le 4eme artiste puis "7" ---> choisir la 7eme chanson et "0" pour quitter amarock

ou encore "7" ---> dire s'il y a des nouveaux messages

Pour des actions basiques comme celles-ci si on s'y met a plusieurs sa seras fait rapidement

YannUbuntu

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

le plus simple c'est d'assigner a chaque son une commande.
- Si [son1 reconnu] alors [exécuter la commande1]
- Si [son2 reconnu] alors [exécuter la commande2]
- etc..

On peut proposer des actions par défaut, mais ensuite chacun pourra personnaliser les commandes suivants ses besoins.
C'est comme les raccourcis clavier... la seule difference c'est que ca va etre difficile de mettre des sons par defaut, il faudra que l'utilisateur assigne d'abord les sons qu'il souhaite et qu'il pourra reproduire de maniere suffisamment fiable (il faudra bien-sur mettre une option pour modifier le % de difference acceptee, comme pour les softs de reconnaissance vocale existants)

---

à consulter/améliorer: Guide du Débutant, Logiciels, Ecole, Travail, Maison

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

sinon apar sa il y a quelqu'un qui s'y connait en programmation ? XD

sharkgua

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

sinon apar sa il y a quelqu'un qui s'y connait en programmation ? XD

Moi ! Mais je pense pas que le PHP soit vraiment utile ^^'.
Mais bon la prog sa peut s'apprendre assez rapidement

Dernière modification par sharkgua (Le 13/11/2010, à 15:11)

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Salut à tous, merci beaucoup pour vos messages et votre enthousiasme. Je posterai ce soir un message plus long. Content que ce projet vous plaise.

Dernière modification par kenjiu2002 (Le 13/11/2010, à 17:44)

sharkgua

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Yep je trouve que c'est une bonne idée .

Bon après par ou commencer ? quelqu'un a une piste ?

Dernière modification par sharkgua (Le 13/11/2010, à 17:41)

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Des macros aussi ça serait sympa. Comme sur photoshop où on enregistre une série d'actions pour pouvoir la reproduire en un clic, sauf que là on se servirait d'un son. Je ne sais pas si il y a déja des solutions pour enregistrer des macros dans ubuntu mais ça serait sympa. L'intérêt principal serait de s'affranchir d'avoir à écrire les commandes. Il suffirait par exemple de lancer l'enregistrement d'une macro, puis de faire ce qu'on veut, comme par exemple tout ce qu'on fait presque systématiquement quand arrive sur le bureau aprés le démarrage d'ubuntu, et enfin de stopper l'enregistrement de la macro. Ensuite on définirait macro1=son1 et le tour serait joué. En refaisant le son1, toute la séquence d'actions serait exécutée automatiquement. C'était juste un mot sur l'idée des macros.
.
Questions principales:
.
La question de la reconnaissance des sons (pour commander le pc, ce qui libère les mains pour écrire)
La question de la synthèse vocale (pour écouter un article en faisant autre chose)
La question de la lecture des gros titres et plus si affinités
La question de l'intégration avec l'environnement de bureau
La question du bon usage du CPU pour ce qui est de l'analyse des sons (auto-adaptatif)
.
Je vais jetter un oeil à CMU sphinx.
.
À tout à l'heure

Dernière modification par kenjiu2002 (Le 13/11/2010, à 18:24)

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

pour la reconnaissance vocale déjà on a de la lecture ici ^^

http://cmusphinx.sourceforge.net/wiki/

apparemment sa explique comment cmu fonctionne et tout sa

Dernière modification par l@in (Le 13/11/2010, à 18:28)

sharkgua

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Un macro, si j'ai bien compris, servirais a remplacer plusieurs commandes avec une seule (par exemples le mot "detente" lancerais internet, mail et musiques ?)

Pour debuter juste un petit prog de commande vocal en ligne de commande qui peut reconnaitre un minimum de choses sa serais deja pas mal ^^'

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

On peut proposer des actions par défaut, mais ensuite chacun pourra personnaliser les commandes suivants ses besoins.
C'est comme les raccourcis clavier... la seule difference c'est que ca va etre difficile de mettre des sons par defaut, il faudra que l'utilisateur assigne d'abord les sons qu'il souhaite et qu'il pourra reproduire de maniere suffisamment fiable

L'idée des sons par défaut n'est pas si mauvaise. Elle présente même un certain intérêt. Gardons là même si il est vrai qu'il faut aussi qu'on puisse enregistrer nos propres sons.

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

CMU sphinx fonctionne sur les Iphone on dirait... Intéressant. L'idée de commander un pc par la voix prend tout son sens pour ce qui est des "pocket" pc... (à suivre)

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Un macro, si j'ai bien compris, servirais a remplacer plusieurs commandes avec une seule (par exemples le mot "detente" lancerais internet, mail et musiques ?)

Oui par exemple. Mais c'est un sujet distinct de celui de la reconnaissance de sons. On pourrait très bien lancer une macro à l'aide d'un raccourci clavier.

Pour debuter juste un petit prog de commande vocal en ligne de commande qui peut reconnaitre un minimum de choses sa serais deja pas mal ^^'

Oui, ça serait un bon point de départ et ça permettrait déja de faire des expériences.

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

non sphinx est développer en java :Sphinx4 — adjustable, modifiable recognizer written in Java

mais il y a une version en C  : Pocketsphinx — lightweight recognizer library written in C.

je pense que en C serai mieu que java car
deja  je connais pas java alor que j'ai quelque connaissance en C
java est lourd et sa bug souvent !

Dernière modification par l@in (Le 13/11/2010, à 18:50)

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

La page du forum ubuntu consacrée à sphinx:
http://doc.ubuntu-fr.org/cmu_sphinx
.
La page du forum ubuntu consacrée à la reconnaissance vocale:
http://doc.ubuntu-fr.org/reconnaissance_vocale
.
Le topic sur sphinx initié par temps:
http://forum.ubuntu-fr.org/viewtopic.php?id=411915
.
Le topic sur la reconnaissance vocale initié par seb24:
http://forum.ubuntu-fr.org/viewtopic.php?pid=3532304

Dernière modification par kenjiu2002 (Le 13/11/2010, à 19:45)

sharkgua

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

Ne serais t-il pas plus facile de modifier directement des logiciels existants ? (tel que gnome voice control ) ?

YannUbuntu

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

effectivement si ca existe deja ...   http://live.gnome.org/GnomeVoiceControl

---

à consulter/améliorer: Guide du Débutant, Logiciels, Ecole, Travail, Maison

l@in

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

c'est vrai ^^ il faut dire que je vien de window alor  les logiciel livré avec le code source je connaisais pas ! XD

kenjiu2002

Re : [projet] raccourcis sonores: exécuter des commandes grâce à des sons

La petite vidéo en anglais sur gnome-voice-control n'est pas du tout convaincante. On peut sans doute faire beaucoup mieux. A priori on a le choix entre se servir d'une solution existante (sphinx), ce qui présente un gain de temps d'un côté, mais aussi des contraintes, ou bien concevoir nous-même nos propres outils de reconnaissance.