Swisscom a dévoilé vendredi sa «Swiss AI Platform», une infrastructure dédiée au développement d’applications d’intelligence artificielle (IA) générative en Suisse. Cette initiative vise à offrir des solutions d’IA fiables et sécurisées, tout en garantissant la conservation des données sur le territoire suisse.
En collaboration avec le spécialiste des cartes graphiques NVIDIA, Swisscom met en place des supercalculateurs d’IA pour proposer des cas d’application standardisés et sur mesure. Cette plateforme modulaire permettra dès cet automne aux clients d’accéder de manière flexible à des services d’IA générative, à des espaces de développement ainsi qu’à une bibliothèque de modèles.
Une plateforme modulaire
La Swiss AI Platform inclut des services d’infrastructure d’IA, une plateforme et des applications, permettant aux clients de choisir et de combiner les composants nécessaires selon leurs besoins. Le système NVIDIA SuperPOD, par exemple, permet de traiter de gros volumes de données pour l’entraînement et l’exploitation de modèles.
GenAI Studio offre un accès facile à des services d’IA générative via des interfaces API, facilitant la création de solutions adaptées aux besoins spécifiques des entreprises. L’AI Work Hub, quant à lui, est destiné aux Data Scientists pour analyser et traiter de grandes quantités de données, favorisant le développement de cas d’application spécifiques.
Une offre complète de Swisscom
Swisscom propose une offre complète de services d’IA, allant du conseil à la mise en œuvre et à l’exploitation sécurisée, avec une flexibilité maximale. Les clients peuvent choisir d’utiliser la Swiss AI Platform, des infrastructures nuagiques globales publiques, ou des solutions d’IA intégrées dans des applications logicielles standard, selon un communiqué de presse.
L’infrastructure NVIDIA complète les offres existantes de Swisscom, particulièrement adaptée aux applications nécessitant une conservation et un traitement des données en Suisse. Cette approche garantit une solution suisse pour l’économie suisse, répondant aux besoins de sécurité et de confidentialité des données, souligne l’opérateur.
XS
Ce qu’il faudrait c’est un chatgpt 100% suisse ou européen dont on sait comment fonctionne les algos!
L’algo de chatGPT est basé sur un réseau de neurones…. tu voudrais savoir quoi de plus ? Le nombre de paramètres utilisés ? le degré d’entropie ? le fonctionnement de la rétro-propagation du gradient ? Les sources de données utilisées pour générer les réponses ?
La théorie des réseaux de neurones est disponible gratuitement sur internet si tu souhaites comprendre comment ca fonctionne. Après il faut bien comprendre que business is business, et que un algo IA (bugé jusqu’au trognon) peut tomber dans les trades secrets de la stratégie IP de l’entreprise. Microsoft a investi 10 milliards sur le développement de chatGPT, tu te doutes bien qu’ils ne vont pas en faire un livre blanc qui expliquent précisément comment fonctionne leur algo ?
D’ailleurs, à ce jour, tu noteras que l’algo du moteur de recherche de Google, ou l’algo de choix des vidéos sur TikTok ou instagram est à ce jour en partie confidentiel. Tu noteras aussi que le communiqué de Swisscom ne donne pas beaucoup de précision sur le fonctionnement de leur IA générative promise pour l’automne 2024. Ce qui au passage pourrait en faire un chatgpt 100% suisse. Et avec des cartes Nvidia à 30’000$ l’unité, je n’imagine pas Swisscom faire preuve de plus de transparence que OpenAI.
Voici une version corrigée et révisée de votre texte :
C’est possible de faire fonctionner ces outils (LM Studio, Chat4All, Jan…) sur votre machine, à condition qu’elle dispose d’une carte graphique Nvidia avec une quantité suffisante de mémoire ou d’un Mac équipé d’une puce Apple Silicon.
Personnellement, j’ai une machine Dell dans mon sous-sol, dotée de 32 Go de RAM et de deux cartes graphiques Nvidia Quadro P5000. J’ai acheté l’ensemble d’occasion sur Riccardo et eBay pour environ 800 CHF.
Sur cette machine, je fais tourner Ollama en utilisant le modèle Mixtral 8x7b quantifié en 4 bits (j’ai 16 Go de RAM par carte). Avec ce modèle, j’obtiens une inférence à 24 tokens par seconde. Si vous ne disposez pas de suffisamment de mémoire, vous pouvez utiliser Mixtral 8x7b quantifié en 2 bits pour le faire fonctionner sur une seule carte, auquel cas la vitesse d’inférence est de 12 tokens par seconde.
Après avoir testé plusieurs modèles, je trouve que le modèle Mixtral 8x7b offre le meilleur compromis entre les ressources nécessaires et la qualité des inférences, et il est comparable à un ChatPGPT 3.5 de l’automne dernier.
Je parviens également à faire fonctionner LLAMA3 70b quantifié sur 2 bits, mais cela est beaucoup plus lent (3,75 tokens par seconde). Bien entendu, LLAMA 3:8b fonctionne également (25 tokens par seconde), mais il est beaucoup plus limité que son grand frère.
Il convient de noter que la consommation d’électricité est un facteur à prendre en compte : une inférence consomme environ 200 watts (après quoi la consommation redescend).
Pour ce qui est des options entièrement européennes, il y a https://chat.mistral.ai/chat de l’entreprise française Mistral AI.
J’adore