Kostenkontrolle für ChatGPT in Notes Anwendungen
Wenn Sie ChatGPT in Ihre Notes Anwendungen integrieren, eröffnen sich große Möglichkeiten, diese zu verbessern. Sowohl durch generierte Texte und Empfehlungen als auch durch eine Intelligenz, die sich einen Überblick über sehr große Datenmengen verschaffen kann.
Beachten Sie bei der Integration von ChatGPT in Ihre Notes Anwendungen, dass der Preis nutzungsabhängig ist. Sie zahlen für die Tokens, die Sie senden und empfangen. Ein Token entspricht etwa vier Zeichen. Es lohnt sich daher, etwas Zeit in Prompt Engineering zu investieren, also in die Optimierung dessen, was hin- und hergeschickt wird.
Zum Zeitpunkt der Erstellung dieses Textes ist GPT-4o (omni) das neueste Modell. Sein Vorteil ist, dass es das fortschrittlichste Modell ist, aber auch, dass es doppelt so schnell wie frühere Modelle ist und nur halb so viel kostet. Mehr über GPT-4o erfahren Sie bei OpenAI.
Laufende Berechnung des ChatGPT-Verbrauchs
Wenn wir die Integration zwischen HCL Notes und ChatGPT entwickeln, erhalten Sie von uns auch eine Übersicht, in der Sie den Verbrauch im Zeitverlauf verfolgen können.
Das erreichen wir über die Antwort, die ChatGPT zurücksendet. Sie zeigt, wie viele Tokens gesendet und wie viele zurückgegeben wurden. Bei den Anfragen, die Sie senden, können Sie außerdem eine maximale Anzahl an Tokens festlegen, die verwendet werden darf.
Aus den Token-Zahlen berechnen wir, was ein Aufruf und eine Antwort kosten. So wissen Sie, wie viel Sie die Analyse Ihrer Daten kostet.
Bei unserer Integration empfehlen wir dringend, dass die Integration prüft, ob tatsächlich neue Daten an ChatGPT gesendet werden, damit Sie nicht unnötig Informationen anfordern, die Sie bereits haben. Das können zum Beispiel Berichte sein, die auf denselben Daten wie zuvor erstellt werden und bei denen Sie denselben Bericht zurückerwarten würden. Das steuern wir über eine Logik in HCL Notes, die das im Blick behält.
Rate Limits in ChatGPT
Wenn Sie Ihre API-Schlüssel erhalten, legen Sie auf der Plattform von OpenAI auch ein monatliches Maximum fest. Zu Beginn liegt das Maximum bei 120 USD, das Sie bei Bedarf niedriger ansetzen können. Mit wachsendem Verbrauch können Sie in sogenannte Tiers aufsteigen. Höhere Tiers geben Ihnen ein höheres Maximum und mehr Freiheit, große Datenmengen zu senden.
Fazit
Mit der Plattform von ChatGPT können Sie Grenzen setzen, damit das Budget nicht aus dem Ruder läuft. Gleichzeitig bauen wir eine Verbrauchsübersicht auf, mit der wir die Prompts, die wir an ChatGPT senden, verbessern, um die Kosten pro Aufruf so niedrig wie möglich zu halten.
Wir beraten Sie zu Einsatz und Möglichkeiten und können für Sie einen Proof of Concept in der Sandbox von OpenAI erstellen, einem Bereich, in dem wir testen können, was zurückkommt.
Kontaktieren Sie gern Christian Gravgaard unter +45 70 230 249 oder per E-Mail an cg@bizperformer.com, um sich zu Ihren Möglichkeiten für die Integration Ihrer Notes Anwendungen mit ChatGPT beraten zu lassen.