Napojení AI do vaší aplikace přes API

Volání OpenAI API z jedné funkce zvládne kdekdo za odpoledne. Rozdíl se ukáže až v provozu: poskytovatel má výpadek, odpověď přijde za dvacet sekund místo dvou, model vrátí text místo očekávané struktury, na konci měsíce dorazí faktura o řád vyšší, než jste čekali. Moje práce je postavit napojení tak, aby vaše aplikace přežila všechny čtyři situace.

Stavím mezivrstvu, přes kterou jde veškerá komunikace s modelem. Ta zajišťuje opakování při chybě s postupným prodlužováním prodlevy, přepnutí na jiného poskytovatele při výpadku, ukládání opakovaných dotazů do mezipaměti, omezení počtu volání na uživatele a vynucení pevné struktury odpovědi. Zároveň zapisuje každé volání s počtem tokenů a cenou, takže kdykoli vidíte, kolik která funkce stojí, a můžete si nastavit strop, po jehož překročení přijde upozornění nebo se funkce vypne.

Pracuju hlavně v PHP, ale napojení jsem stavěl i v Pythonu a Node.js — mezivrstva se dá volat odkudkoli. Umím zapojit OpenAI API, Claude API i modely provozované v Evropě a nastavit to tak, že se poskytovatel dá vyměnit změnou nastavení, ne přepsáním aplikace. Když přes napojení tečou zákaznická data, řekneme si dopředu, co se posílá a co se před odesláním odstraní; kde to jde, posílám jen identifikátory místo jmen a e-mailů. Účet u poskytovatele modelu vedete vy a fakturu dostáváte přímo od něj — nemám důvod si mezi to stavět přirážku.

Co mezivrstva umí

• Opakování při chybě a přepnutí na náhradního poskytovatele
• Vynucení pevné struktury odpovědi a kontrola, že přišla platná data
• Mezipaměť na opakované dotazy — stejný dotaz nestojí dvakrát
• Omezení počtu volání na uživatele a ochrana proti zneužití
• Záznam každého volání s počtem tokenů a přepočtem na koruny
• Měsíční strop s upozorněním a automatickým vypnutím funkce

Co potřebuju od vás

• Přístup do zdrojového kódu nebo na testovací prostředí
• Popis, co má funkce v aplikaci dělat a kdo ji bude používat
• Vlastní účet u poskytovatele modelu a klíč vydaný na tento projekt

Co dostanete při předání

• Zdrojový kód ve vašem úložišti, žádná uzavřená bedna
• Popis rozhraní a příklady volání
• Testy na hlavní situace včetně chyb poskytovatele
• Postup nasazení a návod, jak vyměnit poskytovatele

Jednodušší napojení bývá hotové do tří týdnů, rozsáhlejší mezivrstva pro více funkcí do šesti až osmi týdnů. Poplatky za tokeny platíte přímo poskytovateli a jejich výše závisí na provozu — u aplikace s tisícem volání denně to bývá 1 000 až 5 000 Kč měsíčně a po nasazení mezipaměti obvykle klesne o třetinu.