#1 Le 23/01/2025, à 23:48
- herveD
Raspberry Pi 5 pour faire tourner différentes LLM I.A.
Bonsoir
Je souhaite acheter un micro ordinateur pour faire tourner différentes LLM I.A.
Sur mon ordi 16go cela rame et gêne les autres taches.
Dans l'article Raspberry Pi 5 : et maintenant en version 16 Go je vois qu'une nouvelle version "spéciale I.A" serait maintenant dispo.
Je n'ai jamais utilisé ce genre de matériel
1/ Est-ce que des personnes avec ce modèle utilisent des LLM et lesquels sur Raspberry Pi 5 Est-ce qeu 8go suffisent ou obligatoire de passer à 16 Go ?
2/ Est-ce qu'il faut utiliser autre chose (à moindre coût) : carte externe avec GPU ?(ou si le GPU natif : VideoCore VII, compatible avec OpenGL ES 3.1, Vulkan 1.2 - 800 Mhz suffisant)
OU module I.A qui est mentionné dans l'article (je n'ai pas comprus s'il est natif ou alors où l'acheter ?
3/ quel os utilisé ou installé pour cette usage (I.A voire un peu internet) ?
Son os natif ou je peux installé ubuntu ?
sachant que je suis habitué à Ubuntu et que je ne souhaite pas prendre en main un linux trop différent.
4/ autres matériels conseillez vous a acheter en même temps en dehors du boitier bien sûr et je le relierai à un disque SSD
Est-ce qu'il y a des mini écrans conseillez, sinon je le relier à mon écran
Idem pour le clavier; Un clavier usb normal peut suffire ?
Dernière modification par herveD (Le 23/01/2025, à 23:50)
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne
#2 Le 24/01/2025, à 02:40
- krodelabestiole
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
si ça ne tourne pas sur ton ordi, ça tournera 30 fois plus lentement sur un raspberry.
à moins d'avoir une carte graphique externe effectivement, comme ça : https://www.youtube.com/watch?v=AyR7iCS7gNI
mais bon... pas sûr du choix du rpi si tu as de réels besoins en ressources, en tout cas il n'y a rien niveau CPU, pas de slot, pas de NVMe, pas d'alim...
à moins peut-être qu'il existe une board d'accueil pour le compute module adaptée à tout ce que tu veux y connecter, du genre https://www.kubii.com/fr/cartes-embarqu … 05276.html et à condition que tu sois sûr que les besoins en ressources CPU (et RAM ?) soient réellement négligeables.
nouveau forum ubuntu-fr on en parle là : refonte du site / nouveau design
profil - sujets récurrents - sources du site
Hors ligne
#3 Le 24/01/2025, à 11:30
- herveD
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
Bonjour
Merci pour l'avis. Oui bien sur je reste vigilant mais j'avai déjà entendu qu'un intervenant parler de mettre de l'IA sur son rasperry pour avoir entre autre une empreinte carbone plus faible :-) et vie privée plus haute :-)
je n'avais pas donné le lien qui parle clairement d'une orientation I.A de la v5: https://www.generation-nt.com/actualite … ix-2054093
Merci pour le lien du module, c'est peut-être cela dont il parlait dans l’article précédemment cité.
Oui à priori ok pour le faire tourner sans utiliser si cela poste problème.
C'est pour cela que je cherche des utilisateurs avec un retour sur leur config car il y plusieurs config possible peut-être( v5 avec 8Go/16Go/ module/ sans module ...) ou peut-être y a t-il un forum plus spécialisé sur ce type de micro ordi ?
Je veux bien aussi un retour sur les autres questions notamment 3/ garder leur os (si paas trop compliqué) ou mettre ubuntu pour install d'autres applications ? )
@+
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne
#4 Le 29/01/2025, à 14:44
- herveD
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
Salut
Pour infos, je ne vais pas me précipiter la dernière version v5 16 go n'est pas encore répendu et les vendeurs ne savent pas trop me renseigner.
Ce qui est sûr c'est qu'il serait préférable de partir sur la dernière version de leur os: pi5
J'achèterai plutot piece par pièce d'ailleurs à priori pas encore de kit?)
Et voici quand même ce que j'ai trouvé
Article qui laisserait penser que l'on peut de passer du module I.A ?
https://www.framboise314.fr/faites-tour … erry-pi-5/
et l'article du module dont je parlais un accélérateur d'IA Hailo-8L M.2 avec une performance d'inférence de 13 TOPS, soit 13 000 milliards d'opérations par seconde.
https://www.generation-nt.com/actualite … al-2047754
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne
#5 Le 29/01/2025, à 15:02
- krodelabestiole
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
c'est d'actualité : https://youtu.be/o1sN1lB76EA
nouveau forum ubuntu-fr on en parle là : refonte du site / nouveau design
profil - sujets récurrents - sources du site
Hors ligne
#6 Le 31/01/2025, à 18:45
- herveD
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
Bonjour
c'est d'actualité : https://youtu.be/o1sN1lB76EA
effectivement des LLM opensouce moins gourmande et plus puissante sont une bonne chose après je ne vais pas m'emballer et je m’interroge quand même sur des LLM chinoises
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne
#7 Le 31/01/2025, à 18:51
- krodelabestiole
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
eh bien si tu l'utilises en ligne tu vends ton âme à xi jinping, selon les cgu, mais si tu le fais tourner localement tu peux même complètement l'isoler d'internet.
nouveau forum ubuntu-fr on en parle là : refonte du site / nouveau design
profil - sujets récurrents - sources du site
Hors ligne
#8 Le 31/01/2025, à 18:52
- herveD
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
ok il faut juste faire confiance à l'opensource avec les enjeux actuels !
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne
#9 Le 31/01/2025, à 19:17
- herveD
Re : Raspberry Pi 5 pour faire tourner différentes LLM I.A.
Tjs le même problème de biais idéologique après ls biais méthodologique ou culturel
Dans le cas de DeepSeek, on découvre un nouveau cran de franchi, avec un biais qui semble être profondément ancré dans les paramètres de l’IA. Ainsi, ne lui parlez pas de Tian’anmen ou de possibles exactions du gouvernement chinois : vous n’aurez pas de réponses. Par contre, lancez le sur les déboires de diverses nations occidentales, et DeepSeek sera là des plus bavards. Et sans surprise, quand on lui demande s’il traite différemment ces informations, il est honnête : ‘Je suis là pour vous apporter des informations en accord avec les positions officielles du gouvernement chinois’. À noter, les restrictions de l’agent conversationnel semblent disparaître lorsqu’il est utilisé en local sur votre machine.
Ma config actuelle : Ubuntu 24.04 - 64b - INTEL NUC 11 PRO - https://clibre.eu/
Hors ligne