Bonjour,

j’ai un serveur sous n100 et franchement faire tourner LocalAI dessus est lourd et pénible… Du coup, installer un GPU de fous sur un serveur ça me dérange un peu sur le concept (et la place dans la tour ITX). Du coup je réfléchis à un accélérateur AI de type Coral.ai. Certain ont des retours dessus ?

    llaumgui

    Localai fonctionne bien en CPU selon les modeles. Après comme j’ai mis dans ma doc, je fais tourner avec un r5 5600g sur CPU pour le moment.

    Après trouve toi une radeon Vega ou NVIDIA 1050 cela améliore pas mal normalement.

    Faut voir cette solution. Je vais tester avec le A6 9500 dispo pour tester les perfs. Sans npu c’est vraiment trop léger le n100…

    Tiens pour info ta aussi Pine64 qui dispose de petites cartes arm avec npu intégré, a voir si c’est toujours dispo…

    En gros local.ai consommé par Nextcloud sur un N100 c’est pas jouable… Je recherche donc une solution à moindre cout.