Chat GPT im Javascript Adapter verwenden

[OliverIO]

@codierknecht

hab mich gerade gewundert, woher chatgpt die befehle von iobroker kennt.
hab in den code reingeschaut verbrät halt relativ viele tokens, da die dokumentation jedesmal mitgeschickt wird
https://github.com/ioBroker/ioBroker.javascript/blob/939b0b0a70dd857684afc10be6732467fb3a5208/src/src/OpenAi/docs.md
https://github.com/ioBroker/ioBroker.javascript/blob/939b0b0a70dd857684afc10be6732467fb3a5208/src/src/OpenAi/OpenAiDialog.jsx#L105

als model wird gpt-3.5-turbo-16k verwendet. die dokumentation macht allein 22 tausend tokens aus. wovon es alles über die 16000 hinaus sich nicht merken kann.
https://openai.com/pricing
daher kostet je nach Umfang der Rückmeldung eine Anfrage so zwischen 3 und 5 cent

[bergjet]

@codierknecht Alles so gemacht. Geht nicht.

[Codierknecht]

@bergjet
Und dieses "geht nicht" äußert sich wie?

[bergjet]

@codierknecht sagte in Chat GPT im Javascript Adapter verwenden:

@bergjet
Und dieses "geht nicht" äußert sich wie?

Nach dem Klick auf fragen, dreht sich das Rad, aber es kommt nichts.

[haus-automatisierung]

@bergjet sagte in Chat GPT im Javascript Adapter verwenden:

Nach dem Klick auf fragen, dreht sich das Rad, aber es kommt nichts.

Hatte ich auch Anfangs - aktuell wird der 403 (?) Response nicht ausgewertet. Das heißt, dass mein Konto nicht genügend Guthaben hatte. In der Entwickler-Console vom Browser siehst Du das. Ist aktuell ein Bug im Adapter.

Ich hatte Chat GPT auch schonmal getestet und war mit den Ergebnissen nicht so richtig glücklich: https://www.youtube.com/watch?v=OigIpE3Aez0

[bergjet]

@haus-automatisierung Habe einen neuen Account angelegt. Jetzt geht es.

[haus-automatisierung]

@bergjet sagte in Chat GPT im Javascript Adapter verwenden:

Habe einen neuen Account angelegt.

Dann ist das "Gratis-Guthaben" im alten Account wahrscheinlich schon verfallen.

[ch90045]

@haus-automatisierung Guten Morgen,

ich versuche gerade Chat GPT zu verwenden. Leider funktioniert es gar nicht und ich finde den Grund nicht:

• Ich habe 5$ bei openai als budget hinterlegt
• API Key erstell und hinterlegt
• JS Adapter auf Debug gestellt
• Beim absenden der Anfrage kommt kurz der "Spinner" und nichts passiert

Die Logs sind danach absolut leer und auch bei openai sind keine Anfragen sichtbar.

Irgendeine Idee, wo ich schauen kann.

Christian

[haus-automatisierung]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Die Logs sind danach absolut leer

In die Entwickler-Tools vom Browser schauen. Der Request zu ChatGPT geht nicht über den ioBroker, sondern wird direkt von deinem Client versendet.

[ch90045]

@haus-automatisierung ahhhh ....

Cannot request: Error: 429 Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more., {
  "status": 429,
  "headers": {
    "content-length": "416",
    "content-type": "application/json; charset=utf-8"
  },
  "error": {
    "message": "Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.",
    "type": "tokens",
    "param": null,
    "code": "rate_limit_exceeded"
  },
  "code": "rate_limit_exceeded",
  "param": null,
  "type": "tokens"
}```

Frage ist, warum habe ich so viele Token?

Christian

[Codierknecht]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Frage ist, warum habe ich so viele Token?

Weil da jedes mal die Doku mitgeschickt wird.
https://forum.iobroker.net/topic/68671/chat-gpt-im-javascript-adapter-verwenden/16

[ch90045]

@codierknecht ok, danke - hatte den Thread auch schon gesehen - meine IOB install ist jetzt nicht besonders gross (du schreibst etwas von 22k tokens, ich bin ja aber sogar über 60k) - kann ich das irgendwie beeinflussen?

[Codierknecht]

@ch90045
Nicht ich, sondern @OliverIO hat das herausgefunden

Das liegt nicht an "Deiner" Installation, sondern an der Größe der Doku, die ja jedes mal mitgesendet wird.
Das kannst Du nicht beeinflussen.

Funktioniert übrigens bei mir mittlerweile auch nicht mehr.

[ch90045]

@codierknecht wie gut, dass ich "nur" 5$+Tax versenkt habe - schade eigentlich.

[ch90045]

@Codierknecht & @haus-automatisierung macht es Sinn eine Issue Report gegen die JS Adapter aufzumachen?

Christian

[haus-automatisierung]

@ch90045 Sich mit dem Thema zu beschäftigen und einen PR mit einer Lösung zu erstellen wäre besser Ich werde da erstmal keine Zeit für investieren, weil die Ergebnisse von ChatGPT bisher eigentlich nicht zu gebrauchen waren, ...

Also gern öffnen, aber nicht hoffen dass sich da bald jemand dran setzt

[OliverIO]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

on tokens per min (TPM): Limit 60000, Requested 62890.

du hast ein limit von 60000 tokens pro minute
das llm gpt-3.5-turbo-16k
kann eh nur 16000 tokens (16k) verarbeiten. alles andere wird ignoriert

https://platform.openai.com/docs/models#:~:text=updated%20GPT%2D3.5%20Turbo%20(16k%20context%20window

direkt kopiert funktioniert der link nicht, daher bitte hier kopieren und im browser öffnen

daher musst du deinen input verkleinern. als context wird auf der oberfläche immer der komplette chat mitgesendet. das gilt in der api eigentlich auch.

[ch90045]

@oliverio Was meinst du genau mit "du musst deinen input verkleinern" - meine Anfrage für ein einfaches Script war "Schalte am Wochende scene.0.WohnzimmerLicht um 7:00 an" - noch weniger?

[OliverIO]

@ch90045

gemäß fehlermeldung wurden 62000 tokens versendet.
https://deinkikompass.de/blog/openai-gpt-token-guide
das verhältnis buchstaben zu tokens hängt von der sprache ab (von 1:1 bis 1:4 tokens/buchstaben)

dann musst du prüfen warum da mehr tokens versendet wurden.
wahrscheinlich wurde als context das komplette script mit versendet

[haus-automatisierung]

@oliverio sagte in Chat GPT im Javascript Adapter verwenden:

wahrscheinlich wurde als context das komplette script mit versendet

Als Context wird immer die Dokumentation angehangen (als Markdown). Die ist halt alleine schon sehr lang. Und wenn man viele Geräte definiert hat, dann werden die auch noch mitgeliefert, damit ChatCPT auch die richtigen Objekt-IDs, Räume, usw. kennt.

Das wird ggf. natürlich sehr groß.