Ouvrir la boîte noire : des chercheurs percent le Neural Engine d'Apple pour entraîner l'IA

Depuis des années, le Neural Engine d'Apple (ANE) est un composant spécialisé des puces Mac et iPhone, conçu uniquement pour l'inférence : une voie rapide pour faire tourner l'IA, mais une impasse pour la construire. Apple ne fournissant aucune documentation publique pour l'entraînement, les développeurs ont dû se rabattre sur des GPU gourmands en énergie, même pour de petites tâches de fine-tuning. Ce mur vient enfin de tomber, grâce à un chercheur indépendant qui a trouvé le moyen de faire tourner des boucles d'entraînement directement sur le matériel.

Contourner le verrou de CoreML

Le projet, mené par le chercheur maderix, contourne entièrement le framework officiel CoreML d'Apple. Plutôt que d'utiliser les outils pris en charge, la méthode s'appuie sur des API privées non documentées comme _ANEClient pour compiler des programmes en mémoire à l'aide du Model Intermediate Language (MIL). En faisant transiter les données par des tampons de mémoire partagée, le système peut effectuer les multiplications de matrices et les fonctions d'activation complexes nécessaires aux réseaux de neurones.\n\nAlors qu'Apple annonce 38 TOPS pour l'ANE du M4, cette recherche révèle un débit réel d'environ 19 TFLOPS en précision FP16. Ce niveau de performance est obtenu en intégrant directement les poids dans les programmes compilés sous forme de constantes. Cela représente un changement fondamental dans notre perception de l'architecture d'Apple Silicon et de ce que ce silicium caché peut réellement accomplir.

Pourquoi l'efficacité compte pour l'IA locale

Les implications en matière de consommation d'énergie sont considérables. Le Neural Engine du M4 délivre environ 6.6 TFLOPS par watt, ce qui le rend plus de 80 fois plus efficace qu'un GPU NVIDIA A100 de niveau professionnel sur des tâches spécifiques. Cette efficacité permet un apprentissage local permanent et du fine-tuning sans vider la batterie d'un ordinateur portable ni nécessiter de serveur dédié.\n\nL'approche reste cependant, pour l'instant, une expérience hybride. Si l'ANE assure l'essentiel des passes avant et arrière, les gradients des poids sont encore calculés sur le CPU à l'aide des bibliothèques Accelerate d'Apple. Cela crée un goulot d'étranglement potentiel, mais marque la première fois que les véritables capacités de l'ANE sont exposées au-delà des strictes barrières logicielles d'Apple.

“Cette efficacité permet un apprentissage local permanent et du fine-tuning sans vider la batterie d'un ordinateur portable ni nécessiter de serveur dédié.”