Integration av LLM och generativ AI

Lägg till funktioner med språkmodeller i den mjukvara du redan använder.

De flesta företag som kommer till oss behöver ingen ny AI-produkt. De behöver att mjukvaran de redan har – CRM-systemet, portalen, backoffice, de interna verktygen – klarar saker den inte kunde för två år sedan: besvara frågor ur sina egna data, skriva utkast till dokument som någon tidigare skrev för hand, sortera kön innan någon ens har öppnat den.

Det är ett integrationsproblem innan det är ett AI-problem. Modellen är den enkla delen. Arbetet ligger i söklagret, behörigheterna, testningen och i vad systemet gör när leverantören är långsam, begränsar anropen eller går ner mitt i en förfrågan. Vi har integrerat system sedan 2006, och vi behandlar det här på samma sätt – som produktionsutveckling som råkar involvera en modell.

Diskutera ditt projekt

Det här levererar uppdraget

  • En fungerande integration i din egen kodbas och dina egna repon
  • Sökning i ditt eget innehåll, där dina befintliga behörighetsregler respekteras
  • En testuppsättning som mäter svarskvaliteten, så att du ser när en ändring hjälper eller stjälper
  • Inställningar för prompt, modell och kostnad som kan ändras utan ny driftsättning
  • Skyddsräcken: kontroll av indata, begränsningar av utdata, timeouts, omförsök och en definierad reservlösning när en leverantör är långsam eller nere
  • Kostnad och svarstid synliga per funktion, i den övervakning du redan använder

Svar på frågor ur dina egna data

En modell som aldrig har sett din data svarar självsäkert och har fel. Lösningen är att slå upp saker först: vi indexerar dina dokument, ärenden, poster eller din katalog, hittar de avsnitt som är relevanta för frågan och ger modellen bara dem, med länkar tillbaka till källan.

Det mesta av arbetet sitter i detaljerna. Att dela upp dokument så att en tabell inte klyvs mitt itu. Att kombinera nyckelordssökning med semantisk sökning, eftersom exakta artikelnummer och namn fortfarande spelar roll. Att sortera resultaten så att det bästa kommer först. Och att tillämpa dina behörigheter redan i sökningen, så att ingen ser ett avsnitt ur ett dokument som de inte själva hade kunnat öppna.

Där det går bygger vi på infrastruktur du redan betalar för – din befintliga Postgres-databas eller ditt sökkluster – i stället för att lägga ytterligare en leverantör i din stack.

Agenter som kan agera, inom gränser du sätter

En agent är en modell som kan anropa dina funktioner. Det är kraftfullt, och det är också det snabbaste sättet att bygga något oförutsägbart. Därför håller vi agenterna smala: en definierad uppsättning verktyg, uttryckliga behörigheter för vart och ett och ett mänskligt godkännande överallt där en åtgärd är dyr eller svår att ångra.

De användbara agenter vi levererar är odramatiska att beskriva och värdefulla att köra – att sortera en inkommande kö och skicka vidare med en motivering, att stämma av två system som inte stämmer överens, att ta fram ett offertutkast utifrån en specifikation eller att sköta en backofficeprocess som tidigare innebar att kopiera värden mellan fyra skärmar.

Två regler står för det mesta av säkerheten. Inloggningsuppgifter hamnar aldrig i en prompt: modellen anger arbetsflödet och dess parametrar, och servern lägger till adressen och åtkomsttoken. Och all kod som modellen skriver körs i en isolerad sandlåda med bara den åtkomst den behöver.

Varje verktygsanrop loggas med indata och resultat, så när något går fel kan du se exakt vad modellen gjorde.

Arbete med långa dokument

Ett avtal på 300 sidor hör inte hemma i en prompt. Det är långsamt, dyrt och slutar fungera helt så snart flera dokument är inblandade. I stället lagrar vi dokumenten, bearbetar dem i bakgrunden med OCR och tabellextrahering och låter modellen läsa bara de delar den behöver.

Då slutar dokumentens storlek att styra kostnad och svarstid. En avtalsgranskning tittar på de klausuler som spelar roll, och svaret hänvisar till en verklig sida och ett verkligt stycke, så att någon kan kontrollera det.

Modellval, kostnad och flexibilitet

Vi arbetar med de stora leverantörerna – Anthropic, OpenAI och modeller med öppna vikter som du kan driva själv när datalagringskrav eller kostnad motiverar det. Leverantörerna skiljer sig på riktigt, så vi låtsas inte att de är utbytbara. Det vi däremot lovar är att ett byte innebär att ändra konfigurationen och köra om testuppsättningen, inte att skriva om allt.

Kostnad är en designparameter från första veckan, inte något du upptäcker på den första fakturan.

För team inom EU designar vi utifrån var datan tar vägen: regionala endpoints, inställningar utan datalagring eller helt egenhostade modeller när ingenting får lämna din infrastruktur.

Så arbetar vi

Det första uppdraget är oftast två till fyra veckor: förstudie, en ordentlig genomgång av de data du skulle söka i och en fungerande del av det mest värdefulla användningsfallet som körs mot dina riktiga system. Den delen är uppskattningen. Den visar vad hela bygget kostar betydligt bättre än ett dokument gör.

Därefter avgränsar vår VD och våra seniora utvecklare leveransen, och vi sätter ihop teamet från ett nätverk av fler än 100 utvecklare som vi har arbetat med i tio år eller mer. Demo varje vecka, kod i dina repon, överlämning till produktion och support efter lansering. På tjugo år har vi inte lämnat ett enda projekt i sticket.

Vanliga frågor

Hur lång tid tar en LLM-integration?

Ett första produktionsklart användningsfall tar normalt sex till tolv veckor, med en fungerande del mot dina riktiga data inom den första månaden. Det som varierar är sällan modellen. Det är skicket på de data som ska sökas i och hur många system funktionen behöver beröra.

Kan ni arbeta i vår befintliga kodbas och vårt moln?

Ja. Vi bygger i dina repon, din CI och ditt molnkonto. Våra utvecklare arbetar med backend i .NET Core, Node, Python, Java och PHP och frontend i React, Vue eller Angular, på AWS, Azure, Google Cloud och egen infrastruktur on-premise, och leveransen är kod som ditt eget team kan förvalta när vi har gått vidare.

Hur ser ni till att vår data inte används för att träna modeller?

Genom API-nivåer för företag utan datalagring, regionala endpoints eller endpoints inom EU och egenhostade modeller med öppna vikter där kravet är att ingenting alls får lämna din infrastruktur. Vi kommer överens om hur data ska hanteras under förstudien, innan någon integration skrivs.

Vad kostar det att driva när det väl är i produktion?

Det beror på volym och hur systemet är designat, och därför behandlar vi kostnad som ett designkrav från första veckan. Modellroutning, cachning och nedbantad kontext minskar ofta inferenskostnaderna med en storleksordning, och vi gör kostnaderna synliga per funktion så att du ser dem.

Prata med våra experter om ditt AI- eller mjukvaruprojekt

Fyll i formuläret så svarar vi inom en arbetsdag.

Evgueny Lemasov – vd på ITFriends.AI

Evgueny Lemasov

VD, ITFriends.AI