Le 2 septembre, Elon Musk a franchi une étape majeure dans la course à l’intelligence artificielle avec le lancement de Colossus, le système d’entraînement IA le plus puissant jamais conçu. Développé par xAI, la société de recherche et développement en IA dirigée par Musk, Colossus met en avant un cluster d’entraînement de 100 000 unités de traitement graphique (GPU) H100, une réalisation qui devrait bientôt doubler en taille pour atteindre 200 000 GPU, même si le projet ne s’est pas déroulé une nouvelle fois sans embuches pour le milliardaire.
Colossus, dont le nom évoque déjà l’ampleur de l’innovation, est salué comme un tournant dans le domaine de l’intelligence artificielle. Cette avancée dépasse de loin les capacités des modèles précédents, tels que ceux d’OpenAI, qui utilisent actuellement 80 000 GPU.
Musk just brought back the bit wars of old between SEGA, Nintendo, and ATARI…but in AI form. #Colossus is the new ATARI Jaguar? pic.twitter.com/CiTKIYomPA
— MJSJR (@Micsil81) September 3, 2024
Le modèle a été développé en collaboration avec Nvidia, le leader mondial des puces semi-conductrices, utilisant des GPU H200 de pointe. Ces unités sont dotées de 141 Go de mémoire HBM3E et d’une bande passante de 4,8 To/s, des caractéristiques qui surpassent les précédentes générations de puces.
Elon Musk’s xAI Team Brings Colossus 100k H100 Training Cluster Online in Just 122 Days https://t.co/U8icamrZvJ pic.twitter.com/ignSMU8lxy
— CWT Inc. (@cwtenterprises) September 3, 2024
Réactions et impact
La présentation de Colossus a suscité des réactions enthousiastes dans le secteur technologique. Nvidia a exprimé ses félicitations à Musk et à son équipe, mettant en avant non seulement la puissance brute du système mais aussi ses « gains exceptionnels » en efficacité énergétique.
Exciting to see Colossus, the world’s largest GPU #supercomputer, come online in record time. Colossus is powered by @nvidia's #acceleratedcomputing platform, delivering breakthrough performance with exceptional gains in #energyefficiency.
— NVIDIA Data Center (@NVIDIADC) September 2, 2024
Congratulations to the entire team! https://t.co/UXHtPCELly
Les utilisateurs des plateformes sociales n’ont pas manqué de qualifier cette réalisation de « monumentale » pour le domaine de l’IA.
Même Cathie Wood, PDG de la société de capital-risque ARK Invest et contributrice de l’agenda 2030 du Forum économique mondial, a salué le projet, le qualifiant d’« impressionnant » et annonçant de « grandes nouvelles à venir ».
Impressive! Congratulations to you and the rest of the @xai team on the first of many big announcements ahead. https://t.co/AImAsrIiAN
— Cathie Wood (@CathieDWood) September 2, 2024
Un parcours semé d’embuches
La construction d’un superordinateur de grande envergure qui était à l’origine prévu à Memphis, n’a pas été de toute tranquillité. Ce projet, estimé à plusieurs milliards de dollars, suscite un mélange d’enthousiasme et d’inquiétude parmi les législateurs et les citoyens locaux et le milliardaire a du faire face à la Tenessee Valley Authority, membre du Forum économique mondial, mais également à des groupes de protections de l’environnement comme, Protect Our Aquifer, comme c’est le cas à la StarBase de Space X de Boca Chica ou à la gigafoctery de Tesla en Allemagne. De l’autre côté du Rhin, le milliardaire doit faire face à des collectifs tels qu’Extinction Rébellion, soutenu financièrement par le “Climate Emergency Fund”, qui compte parmi ses fondateurs le contributeur de l’agenda 2030 du FEM, Trevor Neilson.
Le projet d’installation à Memphis a été tellement compliqué à mettre en place, qu’Elon Musk, semble avoir changé son fusil d’épaule et l’avoir relocalisé à Austin, Texas, dans le QG de Tesla, comme en témoigne son tweet ci-dessous.
Video of the inside of Cortex today, the giant new AI training supercluster being built at Tesla HQ in Austin to solve real-world AI pic.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) August 26, 2024
Un projet visionnaire
En parallèle de ce développement, Elon Musk continue de faire avancer ses projets ambitieux. Il envisage la construction d’un superordinateur opérationnel d’ici l’automne 2025 et explore un partenariat potentiel avec Oracle, le géant technologique membre du FEM. Musk a également été un fervent défenseur de la régulation de l’IA, appelant à des mesures de sécurité renforcées tout en avertissant que de telles régulations pourraient freiner l’innovation en IA aux États-Unis.
Le 27 août, Musk a plaidé pour l’adoption du projet de loi 1047 en Californie, un sujet controversé dans l’industrie technologique. Son engagement envers une régulation prudente montre son désir d’équilibrer innovation et sécurité dans un domaine en rapide évolution. Une question d’autant plus centrale que des groupes informelles comme le groupe Bilderberg et le Forum économique mondial, s’intéressent un peu trop à la question de la régulation de l’IA, qui était le sujet principal de leurs dernières réunions.
Le lancement de Colossus par xAI marque une avancée significative dans le domaine de l’intelligence artificielle, posant de nouveaux jalons en matière de puissance et d’efficacité. Alors que le système entre en ligne et se prépare à doubler sa capacité, il est clair que Musk et xAI sont bien positionnés pour redéfinir les contours de la technologie IA dans les années à venir.
This weekend, the @xAI team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days.
— Elon Musk (@elonmusk) September 2, 2024
Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months.
Excellent…