Les chercheurs d’Apple ont réalisé des progrès récents en se concentrant sur les grands modèles de langage (LLM) multimodaux, en particulier grâce à leurs modèles MM1. Ces modèles possèdent des capacités exceptionnelles de traitement et de compréhension d’une combinaison d’informations visuelles et textuelles.
L’entraînement sur un ensemble de données diversifié comprenant des paires image-légende, des données image-texte entrelacées et des données texte seul permet à ces modèles d’être remarquablement performants dans des tâches telles que le sous-titrage d’images, où le modèle génère un texte descriptif pour une image donnée.
Ils excellent également dans la réponse aux questions visuelles, une tâche dans laquelle le modèle fournit des réponses à des questions basées sur un contenu visuel, et dans l’inférence du langage naturel, où le modèle détermine la relation entre les phrases d’un texte.
Les composants visuels sont très importants pour les performances de l’IA
L’encodeur d’images d’Apple, qui est un composant central chargé de convertir les images dans un format compréhensible par le modèle, est essentiel dans ce contexte. La résolution des images d’entrée et le nombre de jetons d’image, qui correspond au nombre d’informations visuelles distinctes traitées par le modèle, sont essentiels pour améliorer les performances du modèle. Les conclusions d’Apple indiquent que l’optimisation de ces composants peut conduire à des améliorations tangibles de leurs capacités d’IA.
Le modèle MM1, avec ses 30 milliards de paramètres, possède d’excellentes capacités d’apprentissage en contexte. Il est capable de raisonner en plusieurs étapes à partir de plusieurs images – une caractéristique démontrée par l’utilisation d’une « chaîne de pensée » en quelques coups de feu.
Cette capacité suggère que ces grands modèles multimodaux peuvent répondre à des problèmes complexes et ouverts, en offrant une compréhension et une génération de langage fondées dans des scénarios qui nécessitent une interprétation nuancée des données visuelles et textuelles. Les avancées d’Apple dans ce domaine laissent entrevoir un avenir où l’IA pourra s’attaquer à des tâches plus sophistiquées et plus complexes, ouvrant la voie à des applications innovantes dans les années à venir.
L’engagement financier et les initiatives de développement d’Apple
Apple s’est fortement engagée dans l’IA, consacrant chaque année 1 milliard de dollars au développement de l’IA. Apple canalise ces fonds dans plusieurs projets clés, notamment la création d’un cadre d’IA appelé « Ajax » et d’un chatbot connu sous le nom d' »Apple GPT ».
Le cadre « Ajax » doit agir comme une couche fondamentale, probablement conçue pour faciliter le développement et le déploiement d’applications et de services alimentés par l’IA dans l’écosystème d’Apple.
D’autre part, « Apple GPT », une initiative de chatbot, est la poussée d’Apple dans le traitement du langage naturel et l’IA conversationnelle. L’intégration de cette technologie dans des services tels que Siri et Apple Music est susceptible d’améliorer considérablement l’expérience des utilisateurs. Par exemple, Siri pourrait offrir des réponses plus nuancées et adaptées au contexte, tandis qu’Apple Music pourrait créer des listes de lecture personnalisées en fonction des interactions et des préférences de l’utilisateur.
La position actuelle d’Apple dans le secteur de l’IA
La décision d’Apple d’augmenter ses investissements dans l’IA laisse entrevoir un changement dans son approche de l’innovation technologique. Connue pour adopter des technologies après qu’elles ont été validées par les premiers utilisateurs, Apple est désormais proactive dans son nouvel élan pour le développement de l’IA.
Le géant de la technologie reconnaît le pouvoir de l’IA et son potentiel à influencer sa gamme de produits et de services. En renforçant ses capacités en matière d’IA, Apple vise à acquérir un avantage concurrentiel dans un secteur où l’IA devient un élément central de l’innovation et de la différenciation des produits.
Conférence mondiale des développeurs et fonctions d’IA
La Worldwide Developers Conference (WWDC) d’Apple suscite de grandes attentes. Les experts du secteur et les passionnés attendent avec impatience le dévoilement de nouvelles fonctionnalités basées sur l’IA et d’outils pour les développeurs. L’accent est mis sur l’amélioration des produits existants et sur l’introduction de capacités entièrement nouvelles qui pourraient redéfinir les expériences des utilisateurs et l’engagement des développeurs dans l’écosystème d’Apple.
Lors de cet événement, Apple présentera probablement des avancées en matière d’IA qui pourraient inclure des modèles d’apprentissage automatique plus sophistiqués, des cadres améliorés permettant aux développeurs de créer des applications basées sur l’IA, et peut-être même un aperçu plus précis de la manière dont l’entreprise a l’intention d’intégrer ses recherches en matière d’IA multimodale dans les produits de consommation.
Un projet en tête ?
Planifiez un appel de 30 minutes avec nous.
Des experts senior pour vous aider à avancer plus vite : produit, tech, cloud & IA.
