LLM-Integration & generative KI

Erweitern Sie Ihre bestehende Software um Funktionen auf Basis von Sprachmodellen.

Die meisten Unternehmen, die zu uns kommen, brauchen kein neues KI-Produkt. Sie brauchen Software, die sie bereits nutzen – das CRM, das Portal, das Backoffice, die internen Tools –, die Dinge kann, die vor zwei Jahren noch nicht möglich waren: Fragen aus den eigenen Daten beantworten, Dokumente entwerfen, die früher jemand von Hand geschrieben hat, und die Warteschlange sortieren, bevor sie überhaupt jemand öffnet.

Das ist zuerst ein Integrationsproblem und erst dann ein KI-Problem. Das Modell ist der einfache Teil. Die Arbeit steckt in der Suchebene, den Berechtigungen, den Tests und darin, was das System tut, wenn der Anbieter langsam ist, Anfragen drosselt oder mitten in einem Request ausfällt. Wir integrieren Systeme seit 2006 und behandeln das hier genauso – als Produktiv-Engineering, bei dem eben auch ein Modell im Spiel ist.

Projekt besprechen

Was das Projekt liefert

  • Eine funktionierende Integration in Ihrer eigenen Codebasis und Ihren Repositories
  • Suche über Ihre eigenen Inhalte, unter Einhaltung Ihrer bestehenden Zugriffsregeln
  • Ein Testset, das die Antwortqualität misst, damit Sie sehen, ob eine Änderung hilft oder schadet
  • Einstellungen für Prompts, Modelle und Kosten, die sich ohne neues Deployment ändern lassen
  • Schutzmechanismen: Eingabeprüfungen, Ausgabelimits, Timeouts, Wiederholungsversuche und ein definierter Fallback, wenn ein Anbieter langsam ist oder ausfällt
  • Kosten und Geschwindigkeit pro Funktion sichtbar – in dem Monitoring, das Sie bereits nutzen

Antworten aus Ihren eigenen Daten

Ein Modell, das Ihre Daten nie gesehen hat, antwortet selbstbewusst – und liegt falsch. Die Lösung: erst nachschlagen. Wir indexieren Ihre Dokumente, Tickets, Datensätze oder Ihren Katalog, finden die Passagen, die für die Frage relevant sind, und geben dem Modell nur diese, mit Links zurück zur Quelle.

Die meiste Arbeit steckt im Detail. Dokumente so aufteilen, dass keine Tabelle in der Mitte zerschnitten wird. Stichwortsuche mit semantischer Suche kombinieren, weil exakte Artikelnummern und Namen weiterhin zählen. Ergebnisse so sortieren, dass das beste zuerst kommt. Und Ihre Berechtigungen schon bei der Suche anwenden, damit niemand eine Passage aus einem Dokument sieht, das er selbst nicht öffnen dürfte.

Wo immer möglich, bauen wir auf Infrastruktur auf, für die Sie ohnehin schon bezahlen – Ihre bestehende Postgres-Datenbank oder Ihren Suchcluster –, statt Ihrem Stack einen weiteren Anbieter hinzuzufügen.

Agenten, die handeln – innerhalb Ihrer Grenzen

Ein Agent ist ein Modell, das Ihre Funktionen aufrufen kann. Das ist mächtig – und zugleich der schnellste Weg, etwas Unberechenbares zu bauen. Deshalb halten wir Agenten eng gefasst: ein definierter Satz an Tools, explizite Berechtigungen für jedes davon und eine menschliche Freigabe überall dort, wo eine Aktion teuer oder schwer rückgängig zu machen ist.

Die nützlichen Agenten, die wir ausliefern, klingen in der Beschreibung unspektakulär und sind im Betrieb wertvoll: eine eingehende Warteschlange sortieren und mit Begründung weiterleiten, zwei Systeme abgleichen, die sich widersprechen, ein Angebot aus einer Spezifikation entwerfen oder einen Backoffice-Prozess ausführen, für den man früher Werte zwischen vier Bildschirmen hin und her kopieren musste.

Zwei Regeln leisten den Großteil der Sicherheitsarbeit. Zugangsdaten landen nie in einem Prompt: Das Modell nennt den Workflow und seine Parameter, der Server ergänzt Adresse und Zugriffstoken. Und jeder Code, den das Modell schreibt, läuft in einer isolierten Sandbox mit genau den Zugriffsrechten, die er braucht.

Jeder Tool-Aufruf wird mit seinen Eingaben und seinem Ergebnis protokolliert. Wenn etwas schiefgeht, sehen Sie genau, was das Modell getan hat.

Arbeit mit langen Dokumenten

Ein 300-seitiger Vertrag gehört nicht in einen Prompt. Das ist langsam, teuer und funktioniert überhaupt nicht mehr, sobald mehrere Dokumente im Spiel sind. Stattdessen speichern wir die Dokumente, verarbeiten sie im Hintergrund mit OCR und Tabellenextraktion und lassen das Modell nur die Teile lesen, die es braucht.

Damit bestimmt die Dokumentgröße nicht länger Kosten und Geschwindigkeit. Eine Vertragsprüfung betrachtet die relevanten Klauseln, und die Antwort verweist auf eine tatsächliche Seite und einen tatsächlichen Absatz, sodass sie jemand nachprüfen kann.

Modellwahl, Kosten und Flexibilität

Wir arbeiten mit den großen Anbietern – Anthropic, OpenAI und Open-Weight-Modellen, die Sie selbst hosten können, wenn Datenresidenz oder Kosten es erfordern. Die Anbieter unterscheiden sich spürbar, daher tun wir nicht so, als wären sie austauschbar. Was wir aber zusagen: Ein Wechsel bedeutet, die Konfiguration anzupassen und das Testset erneut laufen zu lassen – keine Neuentwicklung.

Kosten sind ab der ersten Woche eine Designvorgabe – nicht etwas, das Sie auf der ersten Rechnung entdecken.

Für Teams in der EU planen wir von Anfang an, wohin die Daten fließen: regionale Endpunkte, Zero-Retention-Einstellungen oder vollständig selbst gehostete Modelle, wenn nichts Ihre Infrastruktur verlassen darf.

So arbeiten wir

Das erste Projekt dauert in der Regel zwei bis vier Wochen: Analyse, ein kritischer Blick auf die Daten, die durchsucht werden sollen, und ein funktionsfähiger Ausschnitt des wertvollsten Anwendungsfalls, der gegen Ihre echten Systeme läuft. Dieser Ausschnitt ist die Schätzung. Er zeigt weit besser als jedes Dokument, was die vollständige Umsetzung kostet.

Danach legen unser CEO und unsere Senior-Entwickler den Lieferumfang fest, und wir stellen das Team aus einem Netzwerk von über 100 Entwicklern zusammen, mit denen wir seit zehn Jahren und länger zusammenarbeiten. Wöchentliche Demos, Code in Ihren Repositories, Übergabe in den Produktivbetrieb und Support nach dem Go-live. In zwanzig Jahren haben wir kein Projekt im Stich gelassen.

Häufig gestellte Fragen

Wie lange dauert eine LLM-Integration?

Ein erster produktionsreifer Anwendungsfall dauert in der Regel sechs bis zwölf Wochen, mit einem funktionsfähigen Ausschnitt auf Ihren echten Daten innerhalb des ersten Monats. Die Variable ist selten das Modell. Entscheidend sind der Zustand der zu durchsuchenden Daten und die Anzahl der Systeme, die die Funktion berühren muss.

Können Sie mit unserer bestehenden Codebasis und Cloud arbeiten?

Ja. Wir entwickeln in Ihren Repositories, Ihrer CI und Ihrem Cloud-Konto. Unsere Entwickler arbeiten mit Backends in .NET Core, Node, Python, Java und PHP sowie Frontends in React, Vue oder Angular, auf AWS, Azure, Google Cloud und On-Premise-Infrastruktur. Das Ergebnis ist Code, den Ihr eigenes Team weiterpflegen kann, wenn wir weg sind.

Wie verhindern Sie, dass unsere Daten zum Modelltraining verwendet werden?

Durch Enterprise-API-Tarife ohne Datenspeicherung, regionale bzw. EU-Endpunkte und selbst gehostete Open-Weight-Modelle, wenn die Anforderung lautet, dass überhaupt nichts Ihre Infrastruktur verlässt. Den Umgang mit Daten legen wir gemeinsam in der Analysephase fest, bevor auch nur eine Zeile der Integration geschrieben wird.

Was kostet der laufende Betrieb?

Das hängt vom Volumen und vom Systemdesign ab – deshalb behandeln wir Kosten ab der ersten Woche als Designvorgabe. Model-Routing, Caching und gekürzter Kontext senken die Inferenzkosten häufig um eine Größenordnung, und wir machen die Ausgaben pro Funktion sichtbar, damit Sie sie im Blick haben.

Sprechen Sie mit unseren Experten über Ihr KI- oder Softwareprojekt

Füllen Sie das Formular aus und wir antworten innerhalb eines Werktags.

Evgueny Lemasov — CEO bei ITFriends.AI

Evgueny Lemasov

CEO, ITFriends.AI