Publié le 14 mai 2024, dernière mise à jour le 20 mai 2024
Nous développons des API de plate-forme Web et des fonctionnalités de navigateur conçues pour fonctionner avec des modèles d'IA, des modèles d'experts et des grands modèles de langage (LLM), intégrés au navigateur. Cela inclut Gemini Nano, la version la plus efficace de la famille de LLM Gemini, conçue pour s'exécuter localement sur la plupart des ordinateurs de bureau et portables modernes. Grâce à l'IA intégrée, votre site Web ou votre application Web peut effectuer des tâches optimisées par l'IA, sans avoir à déployer, gérer ni héberger des modèles d'IA.
Découvrez les avantages de l'IA intégrée, notre plan d'implémentation et comment vous pouvez tirer parti de cette technologie.
Avantages de l'IA intégrée pour les développeurs Web
Avec l'IA intégrée, votre navigateur fournit et gère des modèles fondamentaux et d'experts.
L'IA intégrée offre les avantages suivants:
- Facilité de déploiement: le navigateur distribue les modèles, tient compte des fonctionnalités de l'appareil et gère les mises à jour. Cela signifie que vous n'êtes pas responsable du téléchargement ni de la mise à jour de grands modèles sur un réseau. Vous n'avez pas à résoudre les problèmes d'éviction de l'espace de stockage, du budget de mémoire d'exécution, des coûts de diffusion et d'autres défis.
- Accès à l'accélération matérielle: l'environnement d'exécution de l'IA du navigateur est optimisé pour exploiter au mieux le matériel disponible, que ce soit avec un GPU, un NPU ou en cas de retour au processeur. Par conséquent, votre application peut obtenir les meilleures performances sur chaque appareil.
Avantages de l'exécution côté client
Avec l'IA intégrée, vous pouvez effectuer des opérations d'IA côté client, ce qui vous offre les avantages suivants:
- Traitement local des données sensibles: l'IA côté client peut améliorer votre confidentialité. Par exemple, si vous travaillez avec des données sensibles, vous pouvez proposer des fonctionnalités d'IA aux utilisateurs avec le chiffrement de bout en bout.
- Expérience utilisateur rapide: dans certains cas, abandonner l'aller-retour vers le serveur vous permet d'offrir des résultats quasi instantanés. L'IA côté client peut faire la différence entre une fonctionnalité viable et une expérience utilisateur non optimale.
- Accès plus étendu à l'IA: les appareils de vos utilisateurs peuvent assumer une partie de la charge de traitement en échange d'un accès plus étendu aux fonctionnalités. Par exemple, si vous proposez des fonctionnalités d'IA premium, vous pouvez prévisualiser ces fonctionnalités avec l'IA côté client afin que les clients potentiels puissent voir les avantages de votre produit, sans frais supplémentaires pour vous. Cette approche hybride peut également vous aider à gérer les coûts d'inférence, en particulier pour les flux utilisateur fréquemment utilisés.
- Utilisation de l'IA hors connexion: vos utilisateurs peuvent accéder aux fonctionnalités d'IA même en l'absence de connexion Internet. Cela signifie que vos sites et applications Web peuvent fonctionner comme prévu hors connexion ou avec une connectivité variable.
IA hybride: côté client et côté serveur
Bien que l'IA côté client puisse gérer un large éventail de cas d'utilisation, certains nécessitent une prise en charge côté serveur. L'IA côté serveur est une excellente option pour les grands modèles et peut prendre en charge un plus grand nombre de plates-formes et d'appareils.
Vous pouvez envisager une approche hybride si votre application nécessite:
- Complexité:les cas d'utilisation spécifiques et accessibles sont plus faciles à prendre en charge avec l'IA sur l'appareil. Pour les cas d'utilisation complexes, envisagez une implémentation côté serveur.
- Résistance: utilisez côté serveur par défaut et utilisez sur l'appareil lorsque l'appareil est hors connexion ou que la connexion est mauvaise.
- Remplacement élégant: l'adoption des navigateurs avec IA intégrée prendra du temps, certains modèles peuvent ne pas être disponibles, et les appareils plus anciens ou moins puissants peuvent ne pas répondre aux exigences matérielles pour exécuter tous les modèles de manière optimale. Proposez-leur une IA côté serveur.
Par exemple, si vous utilisez l'API Prompt intégrée (qui sera bientôt disponible en version bêta), elle ne fonctionnera que pour les navigateurs Chrome sur ordinateur et dans les extensions Chrome, sous Windows, macOS et Linux. Pour vous assurer que tous vos utilisateurs peuvent profiter de votre fonctionnalité d'IA, configurez une architecture hybride avec la logique d'IA Firebase.
Lorsque vous utilisez des modèles Gemini, vous pouvez créer une intégration backend avec Node.js.
Accéder à l'IA intégrée
Vous pouvez accéder aux fonctionnalités d'IA intégrées principalement avec les API de tâche, telles que l'API Translator ou l'API Summarizer. Les API de tâche sont conçues pour exécuter une inférence sur le meilleur modèle pour l'attribution.
Dans Chrome, ces API sont conçues pour exécuter des inférences sur Gemini Nano avec un réglage fin ou un modèle d'expert. Conçu pour s'exécuter localement sur la plupart des appareils modernes, Gemini Nano est idéal pour les cas d'utilisation liés à la langue, tels que la synthèse, la reformulation ou la catégorisation.
Quand utiliser l'IA intégrée ?
Voici quelques avantages que l'IA intégrée peut vous apporter, à vous et à vos utilisateurs:
- Consommation de contenus optimisée par l'IA: y compris la synthèse, la traduction, la catégorisation, la caractérisation et la fourniture de connaissances.
- Création de contenu optimisée par l'IA: par exemple, l'aide à la rédaction, la relecture, la correction grammaticale et la reformulation.
Plusieurs des API d'IA intégrées sont disponibles dans les versions stables et Origin Trial de Chrome. Les API exploratoires et les API en phase de développement sont disponibles pour les participants au programme Preview anticipé (EPP).
Prévisualiser les nouvelles fonctionnalités
Nous avons besoin de votre avis pour façonner les API, nous assurer qu'elles répondent à vos cas d'utilisation et éclairer nos discussions avec d'autres fournisseurs de navigateurs pour la normalisation.
Rejoignez le programme EPP pour donner votre avis sur les idées d'IA intégrée en phase de développement et découvrir des opportunités de tester des API en cours de développement via le prototypage local.