The Specialty NewsDeux ingénieurs et un essaim d'IA remplacent AWS DynamoDB, économisant $100M par an
Une équipe microscopique a conçu une base de données de recherche sur mesure en huit semaines, divisant par 5,6 les temps d'extraction des données sans louer d'espace cloud générique.
Deux ingénieurs humains viennent d'arracher une pièce maîtresse de l'architecture cloud d'Amazon pour la remplacer en huit semaines. Ils n'ont pas codé la nouvelle base de données distribuée ligne par ligne. Ils ont plutôt agi comme des commandants de flotte, dirigeant un essaim de centaines d'agents d'IA persistants pour construire un système sur mesure qui réduit la latence d'extraction des données de Perplexity à 5,6 millisecondes. C'est la preuve de concept d'une nouvelle ère de l'ingénierie, où une petite entreprise peut bâtir une infrastructure spécialisée sans des effectifs pléthoriques.
Commander l'essaim
Le PDG de Perplexity, Aravind Srinivas, a reconnu que la recherche native en IA traite les données différemment de la recherche classique. DynamoDB d'Amazon, bien que puissant, est un produit universel. Tordre la charge de travail spécifique de Perplexity pour l'adapter à un espace cloud générique ajoutait des millisecondes aux requêtes des utilisateurs et agissait comme une taxe sur la croissance de l'entreprise. Pour bâtir une pile indépendante, ils ont conçu CobbleDB, un magasin clé-valeur interne optimisé uniquement pour des extractions rapides de contenu web.
Sa construction a exigé un changement dans la façon dont les logiciels sont créés. Les deux ingénieurs du projet n'ont pas tapé manuellement le code complexe des systèmes distribués nécessaire à un état durable et à une extraction au moment de la requête. Leurs rôles ont évolué vers le cadrage, la supervision et la validation des résultats d'un essaim d'agents d'IA à l'échelle d'une infrastructure.
“« Nous avons construit un remplaçant pour AWS DynamoDB, une base de données clé-valeur pour des extractions rapides de contenu web. Cela a été réalisé avec deux ingénieurs et des centaines d'agents informatiques persistants sur deux mois. »”— Aravind Srinivas
Demander à un assistant IA d'écrire du code d'application standard est aujourd'hui une routine. Faire confiance à un essaim non supervisé pour générer l'infrastructure profonde qui maintient un moteur de recherche en ligne exige un tout autre niveau de vérification, entraînant un changement structurel dans l'économie du cloud.
Échapper à la taxe du cloud
Le passage à une architecture sur mesure s'avère immédiatement payant en termes de vitesse brute. En séparant le traitement des documents de leur ingestion et en ajustant la base de données exactement à leur charge de travail, le nouveau système a divisé par 5,6 la latence médiane de lecture par lots, passant de 31,4 à 5,60 millisecondes. Les utilisateurs obtiennent des réponses plus rapidement car le moteur de recherche n'a plus à négocier avec un environnement cloud généralisé.
Ce chiffre représente une porte de sortie au piège standard du cloud computing. Historiquement, la construction d'une base de données distribuée sur mesure nécessitait une équipe d'ingénierie dédiée et hautement spécialisée, ce qui en faisait un luxe réservé aux monopoles technologiques. Toutes les autres entreprises en croissance devaient accepter le côté achat de l'équation faire-ou-acheter, en payant des frais exorbitants pour des services gérés. L'essaim d'agents a effectivement démocratisé la capacité de construire une infrastructure d'entreprise sur mesure. Désormais, la question ouverte passe de comment écrire le code à comment le maintenir.
Que se passe-t-il à 3 heures du matin
Quitter AWS signifie annuler la garantie externe. Si CobbleDB tombe en panne au milieu de la nuit, les ingénieurs humains doivent déboguer un code autonome écrit par des agents sans ticket d'assistance chez Amazon. La prochaine frontière opérationnelle consiste à construire des artefacts de vérification humaine robustes afin que les équipes puissent maintenir et auditer en toute confiance ce que leurs flottes construisent pour la sécurité à long terme.
Même avec ces obstacles de maintenance, le rapport de force a changé. Les start-ups ont désormais les moyens de bâtir une architecture spécialisée qui maintient des performances élevées et des marges confortables. L'unité d'exécution d'une entreprise technologique a fondamentalement changé: une petite équipe avec un plan clair et un essaim persistant peut désormais construire exactement ce dont elle a besoin, conservant les gains de performance pour ses utilisateurs et les économies pour elle-même.
Ce que les gens en disent
“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of”
“[Writing this in a personal capacity, not on behalf of my employer (Anthropic).] Jacob’s thread is very worth reading. Here’s my birds-eye view of the situation with risks from AI: 1. AI developers believe their technology could cause human extinction (or similarly bad”
“If Sam Altman, Dario Amodei, and Elon Musk all agree that we have to slow down - and now - something serious clearly happened with a frontier AI model. Journalists should be digging in to this. We aren’t getting the whole story here.”
Custom DB Saves Perplexity $100M
The Brief
Restez curieux
IA et technologie : ce qui change et pourquoi cela compte.
Votre sélection quotidienne, en anglais ou en espagnol.
Gratuit pour toujours. Désabonnement à tout moment.
Plus d'articles
Conversation
Lancer la conversation