Integrazione LLM e AI generativa

Un modello che non ha mai visto i tuoi dati risponderà con sicurezza e sbaglierà. La soluzione è cercare prima: indicizziamo documenti, ticket, record o catalogo, troviamo i passaggi pertinenti alla domanda e forniamo al modello solo quelli, con i link alla fonte.

Gran parte del lavoro sta nei dettagli. Suddividere i documenti senza spezzare a metà una tabella. Combinare la ricerca per parole chiave con quella semantica, perché codici articolo esatti e nomi contano ancora. Ordinare i risultati in modo che il migliore compaia per primo. E applicare i tuoi permessi già durante la ricerca, così nessuno vede un passaggio di un documento che non potrebbe aprire da solo.

Dove possibile, costruiamo su infrastruttura che già paghi – il tuo database Postgres o il tuo cluster di ricerca esistente – invece di aggiungere un altro fornitore al tuo stack.

Un agente è un modello in grado di chiamare le tue funzioni. È uno strumento potente, ma anche il modo più rapido per costruire qualcosa di imprevedibile. Per questo manteniamo gli agenti circoscritti: un insieme definito di strumenti, permessi espliciti su ciascuno e un passaggio di approvazione umana ovunque un'azione sia costosa o difficile da annullare.

Gli agenti utili che rilasciamo sono poco appariscenti da descrivere e preziosi da usare: smistare una coda in ingresso e instradarla motivando la scelta, riconciliare due sistemi che non coincidono, redigere un preventivo a partire da una specifica o eseguire un processo di back office che prima significava copiare valori tra quattro schermate.

Due regole fanno la maggior parte del lavoro di sicurezza. Le credenziali non finiscono mai in un prompt: il modello indica il workflow e i suoi parametri, e il server aggiunge l'indirizzo e il token di accesso. E qualsiasi codice scritto dal modello viene eseguito in una sandbox isolata, con i soli accessi di cui ha bisogno.

Ogni chiamata a uno strumento viene registrata con i relativi input e risultati, così quando qualcosa va storto puoi vedere esattamente cosa ha fatto il modello.

Un contratto di 300 pagine non va messo in un prompt. È lento, costoso e smette del tutto di funzionare appena entrano in gioco più documenti. Al contrario, archiviamo i documenti, li elaboriamo in background con OCR ed estrazione delle tabelle e lasciamo che il modello legga solo le parti che gli servono.

Così la dimensione dei documenti smette di determinare costi e velocità. La revisione di un contratto si concentra sulle clausole che contano e la risposta cita una pagina e un paragrafo reali, in modo che chiunque possa verificarla.

Lavoriamo con i principali provider – Anthropic, OpenAI e modelli open-weight che puoi ospitare in proprio quando la residenza dei dati o i costi lo richiedono. I provider differiscono davvero, quindi non fingiamo che siano intercambiabili. Quello che garantiamo è che cambiarne uno significhi modificare la configurazione e rieseguire il set di test, non riscrivere tutto.

Il costo è un parametro di progettazione fin dalla prima settimana, non qualcosa che scopri alla prima fattura.

Per i team nell'UE progettiamo tenendo conto di dove vanno i dati: endpoint regionali, impostazioni a zero conservazione o modelli completamente self-hosted quando nulla può uscire dalla tua infrastruttura.

Il primo incarico dura di solito da due a quattro settimane: analisi, un esame rigoroso dei dati su cui si dovrà cercare e una prima porzione funzionante del caso d'uso a più alto valore, in esecuzione sui tuoi sistemi reali. Quella porzione è la stima. Ti dice quanto costerà lo sviluppo completo molto meglio di qualsiasi documento.

Da lì il nostro CEO e i nostri ingegneri senior definiscono il perimetro della delivery e componiamo il team attingendo a una rete di oltre 100 ingegneri con cui lavoriamo da dieci anni o più. Demo settimanali, codice nei tuoi repository, passaggio in produzione e supporto dopo il lancio. In vent'anni non abbiamo mai abbandonato un progetto.