Intégration de LLM et d'IA générative

Ajoutez des fonctionnalités basées sur les modèles de langage aux logiciels que vous utilisez déjà.

La plupart des entreprises qui font appel à nous n'ont pas besoin d'un nouveau produit d'IA. Elles ont besoin que les logiciels qu'elles utilisent déjà – le CRM, le portail, le back-office, les outils internes – fassent ce qu'ils ne pouvaient pas faire il y a deux ans : répondre à des questions à partir de leurs propres données, rédiger les documents qu'une personne tapait autrefois, trier la file d'attente avant même que quelqu'un l'ouvre.

C'est un problème d'intégration avant d'être un problème d'IA. Le modèle est la partie facile. Le vrai travail se situe dans la couche de recherche, les droits d'accès, les tests, et dans ce que fait le système lorsque le fournisseur est lent, limite vos requêtes ou tombe en panne en pleine requête. Nous intégrons des systèmes depuis 2006 et nous abordons ce sujet de la même manière : comme de l'ingénierie de production qui fait simplement intervenir un modèle.

Discuter de votre projet

Ce que vous apporte la mission

  • Une intégration opérationnelle dans votre propre base de code et vos dépôts
  • Une recherche sur vos propres contenus, dans le respect de vos règles d'accès existantes
  • Un jeu de tests qui mesure la qualité des réponses, pour voir si une modification améliore ou dégrade le résultat
  • Des paramètres de prompts, de modèles et de coûts modifiables sans redéploiement
  • Des garde-fous : contrôle des entrées, limites de sortie, timeouts, nouvelles tentatives et une solution de repli définie lorsqu'un fournisseur est lent ou indisponible
  • Coût et rapidité visibles par fonctionnalité, dans les outils de supervision que vous utilisez déjà

Répondre aux questions à partir de vos propres données

Un modèle qui n'a jamais vu vos données répondra avec assurance – et se trompera. La solution consiste à chercher d'abord : nous indexons vos documents, tickets, enregistrements ou catalogue, retrouvons les passages pertinents pour la question et ne transmettons que ceux-là au modèle, avec des liens vers la source.

L'essentiel du travail se joue dans les détails. Découper les documents sans couper un tableau en deux. Combiner la recherche par mots-clés et la recherche sémantique, car les références exactes et les noms comptent toujours. Classer les résultats pour que le meilleur arrive en premier. Et appliquer vos droits d'accès pendant la recherche, afin que personne ne voie un passage d'un document qu'il ne pourrait pas ouvrir lui-même.

Dans la mesure du possible, nous nous appuyons sur une infrastructure que vous payez déjà – votre base de données Postgres ou votre cluster de recherche existant – plutôt que d'ajouter un fournisseur de plus à votre stack.

Des agents qui agissent, dans les limites que vous fixez

Un agent est un modèle capable d'appeler vos fonctions. C'est puissant, et c'est aussi le moyen le plus rapide de construire quelque chose d'imprévisible. C'est pourquoi nous gardons des agents au périmètre restreint : un ensemble d'outils défini, des droits explicites sur chacun et une étape de validation humaine partout où une action est coûteuse ou difficile à annuler.

Les agents utiles que nous livrons sont banals à décrire et précieux à exploiter : trier une file entrante et l'acheminer en justifiant le choix, rapprocher deux systèmes qui divergent, rédiger un devis à partir d'un cahier des charges ou exécuter un processus de back-office qui obligeait auparavant à recopier des valeurs entre quatre écrans.

Deux règles assurent l'essentiel de la sécurité. Les identifiants n'entrent jamais dans un prompt : le modèle désigne le workflow et ses paramètres, et le serveur ajoute l'adresse et le jeton d'accès. Et tout code écrit par le modèle s'exécute dans un bac à sable isolé, avec uniquement les accès dont il a besoin.

Chaque appel d'outil est journalisé avec ses entrées et son résultat : en cas de problème, vous voyez exactement ce que le modèle a fait.

Travailler avec des documents longs

Un contrat de 300 pages n'a pas sa place dans un prompt. C'est lent, coûteux, et cela cesse complètement de fonctionner dès que plusieurs documents entrent en jeu. Nous stockons plutôt les documents, les traitons en arrière-plan avec OCR et extraction de tableaux, et laissons le modèle ne lire que les parties dont il a besoin.

La taille des documents ne dicte alors plus le coût ni la rapidité. Une revue de contrat porte sur les clauses qui comptent, et la réponse cite une page et un paragraphe réels, afin que chacun puisse vérifier.

Choix du modèle, coûts et flexibilité

Nous travaillons avec les principaux fournisseurs – Anthropic, OpenAI et des modèles open-weight que vous pouvez héberger vous-même lorsque la localisation des données ou les coûts l'exigent. Les fournisseurs diffèrent réellement, nous ne prétendons donc pas qu'ils sont interchangeables. Ce que nous garantissons, en revanche, c'est qu'en changer revient à modifier la configuration et à relancer le jeu de tests, pas à tout réécrire.

Le coût est un paramètre de conception dès la première semaine, pas une surprise que l'on découvre sur la première facture.

Pour les équipes basées dans l'UE, nous concevons en fonction de l'endroit où vont les données : endpoints régionaux, paramètres sans conservation des données ou modèles entièrement auto-hébergés lorsque rien ne doit quitter votre infrastructure.

Notre méthode

La première mission dure généralement de deux à quatre semaines : cadrage, examen sans complaisance des données sur lesquelles portera la recherche, et une première tranche fonctionnelle du cas d'usage à plus forte valeur, exécutée sur vos systèmes réels. Cette tranche tient lieu d'estimation. Elle vous dit bien mieux qu'un document ce que coûtera le développement complet.

Ensuite, notre CEO et nos ingénieurs seniors définissent le périmètre de livraison, et nous constituons l'équipe à partir d'un réseau de plus de 100 ingénieurs avec qui nous travaillons depuis dix ans ou plus. Démos hebdomadaires, code dans vos dépôts, passage en production et support après le lancement. En vingt ans, nous n'avons abandonné aucun projet.

Questions fréquentes

Combien de temps prend une intégration de LLM ?

Un premier cas d'usage prêt pour la production prend généralement de six à douze semaines, avec une tranche fonctionnelle sur vos données réelles dès le premier mois. La variable est rarement le modèle. C'est l'état des données à interroger et le nombre de systèmes que la fonctionnalité doit toucher.

Pouvez-vous travailler avec notre base de code et notre cloud existants ?

Oui. Nous développons dans vos dépôts, votre CI et votre compte cloud. Nos ingénieurs travaillent sur des backends .NET Core, Node, Python, Java et PHP avec des front-ends React, Vue ou Angular, sur AWS, Azure, Google Cloud et des infrastructures on-premise, et le livrable est un code que votre propre équipe peut maintenir après notre départ.

Comment empêchez-vous que nos données servent à entraîner les modèles ?

Grâce à des offres API entreprise sans conservation des données, à des endpoints régionaux ou européens, et à des modèles open-weight auto-hébergés lorsque l'exigence est que rien ne quitte votre infrastructure. Nous définissons ensemble la politique de traitement des données pendant le cadrage, avant d'écrire la moindre ligne d'intégration.

Combien coûte le fonctionnement une fois en production ?

Cela dépend du volume et de la conception du système, c'est pourquoi nous traitons le coût comme une contrainte de conception dès la première semaine. Le routage entre modèles, la mise en cache et la réduction du contexte permettent couramment de diviser par dix les dépenses d'inférence, et nous rendons ces dépenses visibles par fonctionnalité pour que vous puissiez les suivre.

Parlez de votre projet IA ou logiciel à nos experts

Remplissez le formulaire et nous répondons sous un jour ouvré.

Evgueny Lemasov — CEO chez ITFriends.AI

Evgueny Lemasov

CEO, ITFriends.AI