Logo Seekr

Seekr : développer des LLM fiables pour évaluer et générer du contenu à grande échelle

Le Cloud Intel® pour les développeurs [Cloud IA Intel® Tiber™] permet aux entreprises qui travaillent dans le domaine de l'IA de développer, d'entraîner et de déployer des solutions innovantes sur une plateforme d'accélération de l'IA à la fois haute technologie et rentable.

En bref :

  • Seekr a été élue l'une des entreprises les plus innovantes de 2024 par Fast Company. Elle utilise le Cloud IA Intel® Tiber™ pour développer, entraîner et déployer des LLM avancés sur des clusters rentables.

  • Ceux-ci fonctionnent sur le matériel et les logiciels Intel® les plus récents, y compris les accélérateurs d'IA Intel® Gaudi® 2.

  • Cette collaboration stratégique visant à accélérer l'IA aide Seekr à répondre à ses besoins toujours croissants en capacité de calcul, tout en réduisant les coûts du Cloud et en augmentant les performances des charges de travail.

  • Pour une entreprise en pleine croissance comme Seekr, la capacité de faire évoluer ses solutions d'IA sur une plateforme d'accélération d'IA de pointe comme le Cloud IA Intel Tiber est un atout majeur pour une innovation rapide.

author-image

Par

La création d'une marque fiable nécessite une stratégie de contenu réfléchie. La production de contenu et l'alignement sur différents médias doivent correspondre à la marque et être adaptés aux publics cibles. Cependant, le volume énorme de contenus numériques et la grande variété de canaux font qu'il est presque impossible pour les entreprises de s'assurer que ce qu'elles distribuent respecte en permanence les normes de la marque.

Seekr aide le secteur de la publicité à résoudre ce problème avec SeekrAlign*, une solution qui exploite une technologie propriétaire de notation et d'analyse pour aider les marques à trouver le contenu en ligne le plus adapté et à accroître leur portée de manière responsable.

La solution d'IA de Seekr, première en son genre, a été créée, entraînée et déployée sur un cluster d'accélérateurs d'IA Intel® Gaudi® 2 à 8 nœuds sur le Cloud IA Intel® Tiber™, et a rapidement conquis une liste impressionnante de clients dans plusieurs secteurs d'activité. De Moderna à SimpliSafe en passant par Babbel, les entreprises commencent à comprendre la valeur de l'emploi de solutions d'IA pour résoudre les difficultés auxquelles elles sont confrontées. La plateforme d'accélération de l'IA du Cloud IA Intel® Tiber™ est à la pointe de ce mouvement : elle permet aux entreprises d'accélérer et de faire évoluer leurs stratégies d'IA grâce à des clusters rentables composés du matériel et des logiciels Intel® les plus récents.

IA : défis et opportunités

La désinformation, les hallucinations et les contenus inappropriés peuvent rapidement saper la confiance que les clients placent dans une marque. Le simple fait de s'associer par inadvertance à des plateformes qui hébergent du contenu à risque peut mettre en danger la réputation d'une marque. C'est pourquoi de nombreuses entreprises surveillent attentivement le contenu qu'elles distribuent. Cette pratique chronophage est toutefois coûteuse, peu fiable et hautement subjective.

Prenons l'exemple parlant des podcasts. Leur popularité a explosé ces dernières années et, pour de nombreuses entreprises, il s'agit d'un élément essentiel de leur stratégie de contenu et de leurs revenus publicitaires. Malheureusement, le secteur des podcasts a été particulièrement difficile à appréhender pour les marques, car, jusqu'à présent, il n'existait aucun moyen fiable d'évaluer les épisodes individuellement et de façon automatisée.

SeekrAlign résout ce problème en permettant aux entreprises d'analyser rapidement et avec précision des centaines de milliers de podcasts. « Align simplifie la recherche de podcasts sûrs et adaptés en combinant une ingénierie hors pairs à un système d'évaluation innovant et transparent. De quoi aider les marques à s'y retrouver afin de développer en toute confiance leur campagne audio de façon plus claire et plus rapide », explique Dan Granger, PDG de l'agence de publicité sur les podcasts Oxford Road.1

Le tableau de bord convivial d'Align classe le contenu des podcasts sur une échelle allant de 0 à 100. Ce système de notation breveté, appelé Seekr Civility Score™ (« score de civilité »), repose sur le framework de sécurité GARM et offre aux spécialistes du marketing et aux annonceurs une norme objective pour déterminer si un contenu est fiable et adéquat. « Un tel défi à une telle échelle ne pouvait être résolu qu'en combinant une puissance de calcul hors pairs à une détection de signaux novatrice », déclare Rob Clark, président et directeur de la technologie chez Seekr. « Le Civility Score prend en compte des dizaines de considérations qu'il résume en une seule mesure. Cela permet de toucher des publics plus larges et de révéler des opportunités plus adaptées à l'image de la marque. »2

La plateforme Align a déjà attribué une note à 20 millions de minutes de podcasts, un chiffre qui devrait atteindre 40 millions d'ici la fin de l'année 2024. En outre, la plateforme offre des scores en temps réel pour plus de 8 000 épisodes de podcasts, soit un total de plus de 10 millions de minutes d'audio. « Nous avons montré qu'une utilisation responsable et transparente de l'IA peut résoudre des problèmes réels auxquels sont confrontées les entreprises, et cette technologie ne cesse de se développer et de progresser », explique Rob Clark. « Je suis impatient d'étendre cette réussite grâce à une innovation continue, notamment le développement de LLM avancés qui pourront résoudre certains des problèmes sociaux les plus difficiles et stimuler la croissance des entreprises grâce à une vitesse et une précision incroyables. »3

Des performances élevées et des coûts de calcul dans le Cloud réduits

Les exigences avancées des charges de travail d'IA de Seekr nécessitent une énorme capacité de calcul. Traditionnellement, cette puissance de calcul aurait entrainé un investissement important en infrastructure et des coûts Cloud considérables. Mais grâce au Cloud IA Intel Tiber, Seekr a accès à du matériel et à des logiciels Intel de pointe pour une fraction du prix. Pour une entreprise en pleine croissance comme Seekr, la possibilité de conserver son capital et d'augmenter ses revenus grâce aux technologies d'accélération de l'IA les plus récentes est une proposition irrésistible.

« Cette collaboration stratégique avec Intel permet à Seekr de développer des modèles de base au meilleur prix et avec des performances optimales, grâce à un superordinateur composé d'un millier de puces Intel Gaudi dernière génération, le tout avec une interconnectivité à large bande passante », continue Rob Clark. Les produits d'IA de Seekr sont fiables, et combinés au Cloud IA Intel Tiber axé sur l'IA, ils réduisent les erreurs et les biais, de sorte que les entreprises de toutes tailles peuvent accéder à des LLM et à des modèles fondamentaux fiables pour booster leur productivité et favoriser l'innovation, le tout sur un matériel de confiance. »

« Cette collaboration stratégique avec Intel permet à Seekr de développer des modèles de base au meilleur prix et avec des performances optimales, grâce à un superordinateur composé d'un millier de puces Intel Gaudi dernière génération… »

Des solutions d'IA flexibles pour des résultats fiables

SeekrFlow* est à la base de cette solution innovante. Il s'agit d'un ensemble d'outils de développement de LLM de bout en bout, axé sur la création de LLM conformes aux principes de l'entreprise à l'aide de pipelines évolutifs et composables. Conçu pour offrir un maximum d'efficacité et de flexibilité, SeekrFlow permet aux développeurs d'entraîner et de développer des LLM à l'aide de flux de travail évolutifs et composables. L'ensemble du pipeline LLM est géré avec une API et peut être adapté avec des composants personnalisés. Les spécifications des graphiques de calcul telles que les ressources et les dépendances sont flexibles, ce qui permet d'innombrables options de configuration.

Le flux de travail de SeekrFlow est compilé dans un exécutable versionné, répétable et reproductible. Il intègre également des algorithmes d'alignement robustes afin de garantir que le comportement du LLM soit conforme aux normes, intentions, règles ou valeurs prescrites. Ces LLM bénéficient également du solide pipeline d'inférence de l'entreprise, afin que la plateforme puisse transcrire, diariser et attribuer un score aux fichiers audio à grande échelle. Une fois optimisés, ces LLM personnalisés sont acheminés vers la plateforme conviviale Seekr Align où ils sont utilisés pour évaluer le contenu numérique avec rapidité et précision.

Déploiement de Seekr dans le Cloud IA Intel Tiber

Seekr utilisait un fournisseur de colocation régional pour héberger un parc de serveurs équipés de GPU et de CPU. L'infrastructure de calcul autogérée est utilisée pour le développement de LLM et de modèles multimodaux, et prend en charge Seekr Align.

Face à la croissance de sa clientèle et de la taille des LLM déployés, Seekr était à la recherche d'un fournisseur de services Cloud capable de l'aider à développer ses activités grâce à de meilleurs tarifs et de meilleures performances. Après avoir ajusté et inférencé des LLM d'analyse comparative sur Intel Gaudi 2, Seekr a décidé d'utiliser le Cloud IA Intel Tiber comme infrastructure de calcul privilégiée pour le développement et le déploiement en production de LLM.

Les figures 1 à 3 montrent les gains de performance réalisés grâce aux optimisations logicielles et à l'utilisation de l'environnement Cloud IA Intel Tiber.

Figure 1 : affinement des LLM de Seekr à l'aide des API Optimum Habana et Habana PyTorch de Hugging Face. Source : Seekr. Intel ne contrôle et ne vérifie pas les données des tiers. Il est recommandé de consulter d'autres sources pour évaluer leur exactitude.

Figure 2 : inférence des LLM de Seekr à l'aide des API Habana Optimum et Habana PyTorch de Hugging Face. Source : Seekr. Intel ne contrôle et ne vérifie pas les données des tiers. Il est recommandé de consulter d'autres sources pour évaluer leur exactitude.

Figure 3 : inférence des LLM de Seekr à l'aide des API Habana Optimum et Habana PyTorch de Hugging Face. Source : Seekr. Intel ne contrôle et ne vérifie pas les données des tiers. Il est recommandé de consulter d'autres sources pour évaluer leur exactitude.

Seekr prévoit un déploiement progressif pour migrer la plateforme de solutions de l'entreprise vers le Cloud IA Intel Tiber. Elle utilise diverses instances de calcul optimisées pour l'IA dans notre Cloud afin d'optimiser le rapport coût/performance du déploiement des charges de travail des applications, notamment :

  • Accélérateurs Intel Gaudi 2 : le modèle LLM de sept milliards de paramètres au cœur de la solution SeekrAlign est déployé sur un cluster de systèmes Intel Gaudi 2 afin de catégoriser les contenus sensibles et d'évaluer les risques.
  • Intel® Data Center GPU Max Series 1550 : Seekr utilise les extensions Intel® pour PyTorch* pour le traitement des transcriptions et des diarisations sur un cluster de systèmes équipés de GPU Intel.
  • Processeurs Intel® Xeon® Scalable : l'entreprise utilise un cluster de systèmes équipés de CPU Intel® Xeon® de 4ᵉ génération pour surveiller les applications, gérer le stockage, et pour les services de bases de données vectorielles et à index inversé. Ces systèmes prennent en charge SeekrFlow et les services de génération augmentée par récupération de Seekr pour créer des LLM alignés sur les principes de l'entreprise à l'aide de pipelines évolutifs et composables.
  • La société compte utiliser des processeurs Intel® Xeon® Scalable de 5ᵉ génération plus tard cette année.

Stefanos Poulis, directeur de la recherche et du développement en IA chez Seekr, précise : « La collaboration entre Seekr et Intel permet d'exécuter l'IA sur des infrastructures hybrides. Les GPU Intel et les puces Intel Gaudi 2 sont utilisés pour entraîner et déployer à grande échelle des transformateurs de grande et moyenne taille. Nous avons constaté une amélioration des performances au niveau de l'entraînement et de l'inférence des modèles par rapport à d'autres puces sur le marché. Pour l'inférence notamment, la capacité mémoire importante des HPU et GPU Intel nous a permis d'ajuster les paramètres spécifiques aux charges de travail, comme les tailles de lots. Côté logiciel, les différentes extensions Intel nous ont permis de déplacer notre pile ML vers le matériel Intel en toute transparence. »

Dans le cadre de la prochaine phase d'intégration du Cloud IA Intel Tiber, Seekr prévoit d'exploiter des clusters à grande échelle Intel Gaudi 2 avec Intel® Kubernetes Service pour entraîner son modèle de fondation LLM et ajouter des capacités de calcul CPU/GPU afin d'accroître sa gamme de services d'IA réputée.

Grâce à SeekrAlign, la solution LLM de Seekr, SimpliSafe® touche un public plus large et plus personnalisé dans le domaine de la sécurité domestique

SimpliSafe® est une solution de sécurité résidentielle primée qui a pour mission de « sécuriser chaque maison » en fournissant à ses clients les technologies les plus récentes et les plus performantes. L'entreprise est très fière d'être l'un des premiers acteurs du secteur en pleine évolution de la maison intelligente, et ce sentiment se reflète dans ses fonctions métiers secondaires, notamment le test de technologies marketing émergentes qui permettent d'élargir la portée de l'entreprise de manière réfléchie et efficace. La création et le maintien d'une relation de confiance avec ses clients est également un aspect fondamental de la stratégie d'expansion de SimpliSafe. L'entreprise y parvient non seulement par ses produits et services innovants, mais aussi par ses pratiques publicitaires réfléchies.

SimpliSafe utilise SeekrAlign pour toucher des clients potentiels au bon moment, par le biais des canaux de contenu appropriés. Grâce à SeekrAlign, SimpliSafe a accès aux scores de contenu de milliers de podcasts en temps réel, et peut isoler le contexte d'une conversation. Les capacités d'analyse du contenu de Seekr, basées sur des LLM, dépassent tout ce qui est disponible sur le marché actuel et aident SimpliSafe à découvrir des contenus adaptés à la marque afin d'atteindre des publics pertinents.

« Notre marque est synonyme de confiance et de sécurité, et il était important pour nous de trouver une solution qui partage les valeurs de SimpliSafe. La plateforme Seekr, optimisée par le Cloud Intel® pour les développeurs [Cloud IA Intel Tiber], est idéale, car elle permet une étude approfondie des podcasts à grande échelle afin de diffuser nos publicités auprès d'audiences pertinentes. Avec Seekr, nous pouvons trouver des podcasts qui conviennent à notre marque et nous permettent de toucher les bons publics et, au final, de présenter les solutions de sécurité résidentielle de SimpliSafe à plus de consommateurs. »
— Nicholas Giorgio, directeur de l'acquisition client, SimpliSafe

Plus d'informations

Présentation du programme Intel® Liftoff pour les startups

Intel Liftoff est un programme virtuel gratuit qui aide les startups en phase de démarrage dans le domaine de l'IA et du Machine Learning à innover et à évoluer. Lancé en 2022 par Intel, ce programme asynchrone permet aux startups d'éviter les blocages dus au code, de libérer leur potentiel et de transformer leurs idées en entreprises d'IA évolutives à la pointe du secteur.

4