meilleures IA autohébergée open source

Astrolivier · Le 20/01/2024, à 18:38

Salut,

faut vivre avec son temps et l'IA est le futur, donc je commence à mettre mon nez dedans. Seulement c'est vaste et ça part dans tous les sens, je patauge à trouver un truc à installer.

je suis à la recherche d'ia que je pourrais mettre sur mon ordi (auto hébergée) pour commencer à voir les entrailles. Je suis ouvert à toute proposition, mais en particulier :

- génératrice de texte, en particulier pour le développement
- génératrice d'images, en svg autant que possible

Nuliel · Le 20/01/2024, à 19:06

Bonjour,
En lisant ton message, je ne sais pas si tu cherches à faire ta propre ia (tu parles de voir les entrailles) ou à en utiliser une connue.
Première chose: le matériel. Il faut savoir que pour faire les entrainements, ça demande principalement des ressources gpu (pour paralléliser, donc faut avoir une grosse cg) et ram. La vitesse va donc dépendre de ton matériel.
Actuellement, mistral est je crois l'ia open source qui demande le moins de ressources pour l'entrainement, mais tu peux télécharger les modèles pré entrainés (l'entrainement est possible mais demande quand même pas mal de ressources matérielles).
Pour faire soi-même sa petite ia, tu peux te tourner vers keras qui est une surcouche à tensorflow.

Je n'ai pas essayé d'utiliser mistral par manque de temps, et je serais intéressé par un retour, en particulier une comparaison avec chatgpt

Astrolivier · Le 21/01/2024, à 11:48

et bien les deux en fait.

d'un côté je commence à regarder les principes mathémathiques (3b1b, freecodecamp)
j'ai commencé "deep learning with pytorch"

et donc une ia qui consommerait peu de ressources à entraîner pour voir un peu comment ça marche sur mon ordi pas puissant (sans attente réellement de résultats probant, encore moins de vitesse)

et d'un autre côté essayer des ia connues autohébergées (et dans un premier temps je me fiche que ça prenne une heure pour répondre) voir ce qui est possible en autohébergé.

c'est évidemment un projet de longue halène, j'aimerai me familiariser avec ça (et devenir un pro de thème wordpress avec Advanced WordPress Theme Development Course ) pour 2024

cpu pas puissant :

model name      : Intel(R) Pentium(R) Silver N5030 CPU @ 1.10GHz

edit : je mets les liens, je pense que c'est de ça dont tu parles

keras
https://github.com/keras-team/keras

mistral
https://github.com/mistralai/mistral-src

Dernière modification par Astrolivier (Le 21/01/2024, à 12:01)

Nuliel · Le 21/01/2024, à 18:11

Houlà, faut un minimum de puissance, si tu as pas de cg, ce processeur et pas beaucoup de ram, c'est mal barré!
Pour mistral, j'ai vu passer un modèle qui entraine une conso de 400MB, mais je le retrouve plus.

Les deux liens sont bons

C'est un sujet complexe et gigantesque, mais on peut faire des trucs sympa avec en y passant beaucoup (beaucoup beaucoup) de temps

Dernière modification par Nuliel (Le 21/01/2024, à 18:14)

Astrolivier · Le 22/01/2024, à 15:19

alors, hier j'ai testé sur mon ordi un docker de ollama. j'ai fait choux blanc, le server docker ne voulait pas démarrer avec exit status 132 (si je me souviens bien). en regardant les "requierments" j'ai bien rigolé et ne me suis pas trop inquiété du pourquoi ça ne marchait pas

ce matin j'ai tenté sur un autre portable dell un peu plus puissant et 16G de ram, et j'ai fait une installation manuelle :
https://github.com/jmorganca/ollama/blo … s/linux.md

tout c'est super bien passé, et j'ai posé deux trois questions histoire de voir. la rapidité est très bonne, elle vaut bien chatgpt. je vous donne le résultat de 3 questions, une pour des socket tcp en python, et une lettre de motivation dont j'ai demandé la traduction (la traduction est moyenne, mais pour un premier jet en une demie journée, c'est déjà pas mal)

c'est la librairie mistral (ollama run mistral)
https://github.com/jmorganca/ollama

>>> donnes moi un code python pour connecter des socket tcp
 Certainement! Voici un exemple simple de comment utiliser les sockets TCP dans Python pour établir une connection client vers un serveur.

```python
import socket

# Définissez l'adresse IP et le numéro de port du serveur
server_address = ("127.0.0.1", 12345)

# Créez une instance Socket et définissez le type de connexion (SOCK_STREAM pour TCP)
client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# Connectez-vous au serveur en utilisant la méthode connect()
client_socket.connect(server_address)

# Envoie une chaîne de texte au serveur et lisez la réponse
message = "Hello, server!".encode('utf-8')
client_socket.sendall(message)
data = client_socket.recv(1024)
print("Received from server:", data.decode('utf-8'))

# Fermer les connexions
client_socket.close()
```

Dans cet exemple, nous créons une instance `Socket` et la connectons à un serveur local en utilisant l'adresse IP `127.0.0.1` et le port `12345`. Nous envoyons ensuite une chaîne de texte au serveur et lisons la réponse. Enfin, 
nous fermer les connexions en utilisant la méthode `close()`.

C'est important de noter que dans un environnement réel, vous devrez prendre des mesures supplémentaires pour gérer les erreurs et assurer une communication sécurisée entre le client et le serveur.

>>> rédige une lettre de motivation pour travailler chez ubuntu sachant que je viens d'avoir un bts systèmes numériques, que j'adore ubuntu depuis plus de 20 ans, et que je sais coder en C, C++, python.   
 Subject: Motivation Letter for Software Engineer Position at Ubuntu

Dear Hiring Manager,

I am excited to apply for the Software Engineer position at Canonical, the company behind Ubuntu, a distribution of Linux that I have used and admired for over 20 years. With my recent graduation from a Bachelor of Technology in 
Systems Numériques (BTS), I am confident that my strong foundation in computer science, combined with my passion for Ubuntu and my programming skills in C, C++, and Python make me an excellent candidate for this role.

I first discovered Ubuntu in the late 1990s when I was looking for a free and open-source alternative to proprietary operating systems. I was immediately drawn to its user-friendly interface, robustness, and community support. 
Over the years, I have used Ubuntu for both personal and professional projects, and I am always amazed at how quickly it adapts to new technologies and stays ahead of the curve.

My academic background in Systems Numériques has provided me with a strong foundation in programming concepts, algorithms, operating systems, and computer networks. I have gained extensive experience in C, C++, and Python during 
my studies and through various projects. For instance, I have developed complex software systems using C and C++ for real-time control applications, and I have implemented data analysis scripts and web applications using Python.

I believe that my programming skills, combined with my deep understanding of Ubuntu, will make me an asset to your team. I am eager to contribute my knowledge and experience to help develop new features, improve existing ones, and
ensure the continued success of Ubuntu as a leading Linux distribution.

I am excited about the opportunity to join Canonical and be part of a dynamic and innovative team that is dedicated to making technology accessible to everyone. I am confident that my passion for Ubuntu, my technical skills, and 
my commitment to excellence make me an excellent fit for this position.

Thank you for considering my application. I look forward to the opportunity to discuss my qualifications further in an interview.

Sincerely,
[Your Name]

>>> traduis moi cette lettre de motivation en français
 Object: Lettre de motivation pour le poste d'ingénieur logiciel chez Ubuntu

Cher gestionnaire de recrutement,

Je suis ravi de soumettre ma candidature au poste d'ingénieur logiciel chez Canonical, la société derrière Ubuntu, une distribution de Linux que j'ai utilisée et appréciée pendant plus de 20 ans. Avec ma récente sortie diplômée en
Bachelor of Technology in Systèmes Numériques (BTS), je suis sûr que ma solide base en informatique, combinée à mon amour du Ubuntu et mes compétences de programmation en C, C++ et Python me rendent un excellent candidat pour ce
rôle.

J'ai découvert Ubuntu dans les années 1990 tardives lorsque je recherchais une alternative libre et open-source à des systèmes d'exploitation propriétaires. Je me suis immédiatement attiré par son interface utilisateur conviviale,
sa robustesse et son support communautaire. Au fil des ans, j'ai utilisé Ubuntu pour des projets personnels et professionnels, et je me suis toujours émerveillé de la rapidité à s'adapter aux nouvelles technologies et de rester en
avance.

Mon parcours universitaire en Systèmes Numériques m'a fourni une base solide en programmation concepts, algorithmes, systèmes d'exploitation et réseaux informatiques. Je dispose d'une expérience étendue en C, C++ et Python grâce à
mes études et des projets. Par exemple, je suis passé en revue pour des applications de contrôle temps réel complexes à l'aide de C et C++, et j'ai mis au point des scripts d'analyse de données et des applications web à l'aide de 
Python.

Je crois que mes compétences en programmation, combinées à ma profonde connaissance de Ubuntu, m'en feront un bienfait pour votre équipe. Je suis impatient de contribuer mes connaissances et mon expérience pour développer de 
nouvelles fonctionnalités, améliorer les existantes et assurer le succès continu de Ubuntu en tant que distribution Linux de pointe.

Je suis passionné par l'occasion de rejoindre Canonical et faire partie d'une équipe dynamique et innovante qui est dédiée à rendre la technologie accessible à tous. Je suis sûr que mon amour pour Ubuntu, mes compétences 
techniques et mon engagement à la perfection me rendent un excellent candidat pour ce poste.

Je vous souhaite heureusement avoir pris en considération ma candidature. Je suis impatient d'en parler plus en détail lors d'une entrevue.

Cordialement,
[Votre nom]

aussi pour ceux qui voudraient tester une IA pour l'image, j'ai trouvé craiyon / mini dall e , je posterai si j'arrive à faire quelque chose en local

Dernière modification par Astrolivier (Le 22/01/2024, à 15:20)

Nuliel · Le 22/01/2024, à 20:44

Au niveau conso, ça donne quoi? Et tu as pris quelle version de mistral?

Astrolivier · Le 23/01/2024, à 08:16

alors l'ordi (c'est les notes de la facture, là je suis sur l'autre)

 Inspiron 15 (3520)

 Processeur Intel(R) Core(TM) i5-1135G7 de 11e génération (cache 8Mo,
jusqu’à 4,2GHZ)

 16Go (2x8Go) de mémoire DDR4 à 3200MHz

 Carte graphique Intel(R) Iris(R) Xe avec mémoire graphique partagée

les 8 cœurs tournent à peu près tous plus ou moins à fond (htop), la mémoire a encore de la marge, et j'ai découvert qu'il doit y avoir un genre de ventilo sur le gpu parce que j'avais jamais entendu de bruit avant
(j'ai regardé la doc intel, c'est 4 cœurs, 8 threads)

mais ça va, pas d'arrêt surchauffe pour l'instant, je ne suis pas à fond dessus non plus
suivant les demandes ça peut prendre 1 ou 2 minutes (je regarde autre chose en attendant donc c'est pas précis)

modèle d'après le lien github ci dessus

Mistral 	7B 	4.1GB 	ollama run mistral

Dernière modification par Astrolivier (Le 23/01/2024, à 08:30)

Nuliel · Le 23/01/2024, à 19:46

Tu pourrais mesurer la conso RAM?
Sinon comme j'ai dit au dessus je crois qu'il y a un autre modèle mistral plus léger au niveau conso

Dernière modification par Nuliel (Le 23/01/2024, à 19:46)

Astrolivier · Le 23/01/2024, à 22:44

n'hésite pas si tu veux des commandes particulières

>>> fais une demande de subvension pour une école de musique associative auprès des collectivités locales
 To write a grant proposal for a local music school association, I would need more specific information about the following points:

1. **Introduction**: Briefly describe your music school association, its mission, and its history. Mention how it serves the local community and the unique value it brings to music education in your area.
2. **Need for Funding**: Clearly articulate why you are applying for this grant, outlining any recent developments or changes that have created a need for additional financial support. Be specific about what the funds will be used
for (e.g., purchasing new instruments, hiring additional teachers, renovating facilities, etc.).
3. **Goals and Objectives**: Set clear, measurable goals and objectives for the upcoming year. These should demonstrate the impact your music school association has had on the community and outline specific ways in which the grant
will help further these efforts.
4. **Budget**: Provide a detailed breakdown of how the funds will be allocated within your organization. Be transparent and accurate with your figures, demonstrating that you have carefully considered where the funds will have the
most significant impact on achieving your objectives.
5. **Sustainability**: Explain your long-term plans for sustaining the operations and growth of your music school association beyond the grant period. This may include potential revenue streams or partnerships, as well as 
strategies for engaging community support and volunteer involvement.
6. **Collaboration**: Highlight any collaborative relationships you have with other local organizations or schools, detailing how these partnerships contribute to the success of your music school association and strengthen the 
overall arts ecosystem in your community.
7. **Evaluation**: Outline methods for assessing the success and impact of your music school association's programs and initiatives. This will help demonstrate accountability and transparency to potential grantors.
8. **Conclusion**: Summarize the key points from your proposal, emphasizing how the grant funds will be used to further the mission of your music school association and make a positive difference in your community.

Make sure to tailor your grant proposal to the specific funding organization and their application guidelines. Additionally, ensure that it is well-written, free of errors, and easy to understand.

sur htop : les lignes me donnes 6 processus ollama, 1 à 400%, 1 à 100, les autres bien moins. les barres en haut me donnent les 8 threads en moyenne à 60% avec 1 ou 2 qui montent alternativement à 100%

la mémoire me dit 1,9G (les barres) et 29% (les lignes) (la barre orange va à la moitié, je viens de démarrer la session, rien fais d'autre)

le tout dure ~1 min peut être 2

idem là

>>> traduit en chinois avec du pinyin "j'aime ubuntu et on devrait l'installer partout"
 To translate the phrase "I like Ubuntu and we should install it everywhere" into Chinese with Pinyin, you can use the following:

Wǒ xǐhuan Ubùntú, zhèmen zěnme dàng quǎndìng tài guǎng zài kūfāng:
我喜欢 У布ន图，们们照样大衷地推广在各方:

I like Ubuntu, we should spread it extensively in various places.

Nuliel · Le 24/01/2024, à 20:35

Ok, merci pour les infos

Edmond Dantès · Le 03/02/2024, à 16:14

@Nuliel ; as-tu tenté/réussi une install ?

Edmond Dantès · Le 03/02/2024, à 16:16

Est-il possible de créer ses propres modèles sur sa machine ?

J'aimerai beaucoup avoir un modèle entraîné uniquement avec Wikipédia (toutes les langues).

Nuliel · Le 03/02/2024, à 16:49

@Edmond Dantès: Non, j'ai pas eu le temps malheureusement (le temps est une ressource rare )

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 20/01/2024, à 18:38

meilleures IA autohébergée open source

#2 Le 20/01/2024, à 19:06

Re : meilleures IA autohébergée open source

#3 Le 21/01/2024, à 11:48

Re : meilleures IA autohébergée open source

#4 Le 21/01/2024, à 18:11

Re : meilleures IA autohébergée open source

#5 Le 22/01/2024, à 15:19

Re : meilleures IA autohébergée open source

#6 Le 22/01/2024, à 20:44

Re : meilleures IA autohébergée open source

#7 Le 23/01/2024, à 08:16

Re : meilleures IA autohébergée open source

#8 Le 23/01/2024, à 19:46

Re : meilleures IA autohébergée open source

#9 Le 23/01/2024, à 22:44

Re : meilleures IA autohébergée open source

#10 Le 24/01/2024, à 20:35

Re : meilleures IA autohébergée open source

#11 Le 03/02/2024, à 16:14

Re : meilleures IA autohébergée open source

#12 Le 03/02/2024, à 16:16

Re : meilleures IA autohébergée open source

#13 Le 03/02/2024, à 16:49

Re : meilleures IA autohébergée open source

Pied de page des forums