Chat GPT im Javascript Adapter verwenden

[ch90045]

@haus-automatisierung Guten Morgen,

ich versuche gerade Chat GPT zu verwenden. Leider funktioniert es gar nicht und ich finde den Grund nicht:

• Ich habe 5$ bei openai als budget hinterlegt
• API Key erstell und hinterlegt
• JS Adapter auf Debug gestellt
• Beim absenden der Anfrage kommt kurz der "Spinner" und nichts passiert

Die Logs sind danach absolut leer und auch bei openai sind keine Anfragen sichtbar.

Irgendeine Idee, wo ich schauen kann.

Christian

[haus-automatisierung]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Die Logs sind danach absolut leer

In die Entwickler-Tools vom Browser schauen. Der Request zu ChatGPT geht nicht über den ioBroker, sondern wird direkt von deinem Client versendet.

[ch90045]

@haus-automatisierung ahhhh ....

Cannot request: Error: 429 Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more., {
  "status": 429,
  "headers": {
    "content-length": "416",
    "content-type": "application/json; charset=utf-8"
  },
  "error": {
    "message": "Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.",
    "type": "tokens",
    "param": null,
    "code": "rate_limit_exceeded"
  },
  "code": "rate_limit_exceeded",
  "param": null,
  "type": "tokens"
}```

Frage ist, warum habe ich so viele Token?

Christian

[Codierknecht]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Frage ist, warum habe ich so viele Token?

Weil da jedes mal die Doku mitgeschickt wird.
https://forum.iobroker.net/topic/68671/chat-gpt-im-javascript-adapter-verwenden/16

[ch90045]

@codierknecht ok, danke - hatte den Thread auch schon gesehen - meine IOB install ist jetzt nicht besonders gross (du schreibst etwas von 22k tokens, ich bin ja aber sogar über 60k) - kann ich das irgendwie beeinflussen?

[Codierknecht]

@ch90045
Nicht ich, sondern @OliverIO hat das herausgefunden

Das liegt nicht an "Deiner" Installation, sondern an der Größe der Doku, die ja jedes mal mitgesendet wird.
Das kannst Du nicht beeinflussen.

Funktioniert übrigens bei mir mittlerweile auch nicht mehr.

[ch90045]

@codierknecht wie gut, dass ich "nur" 5$+Tax versenkt habe - schade eigentlich.

[ch90045]

@Codierknecht & @haus-automatisierung macht es Sinn eine Issue Report gegen die JS Adapter aufzumachen?

Christian

[haus-automatisierung]

@ch90045 Sich mit dem Thema zu beschäftigen und einen PR mit einer Lösung zu erstellen wäre besser Ich werde da erstmal keine Zeit für investieren, weil die Ergebnisse von ChatGPT bisher eigentlich nicht zu gebrauchen waren, ...

Also gern öffnen, aber nicht hoffen dass sich da bald jemand dran setzt

[OliverIO]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

on tokens per min (TPM): Limit 60000, Requested 62890.

du hast ein limit von 60000 tokens pro minute
das llm gpt-3.5-turbo-16k
kann eh nur 16000 tokens (16k) verarbeiten. alles andere wird ignoriert

https://platform.openai.com/docs/models#:~:text=updated%20GPT%2D3.5%20Turbo%20(16k%20context%20window

direkt kopiert funktioniert der link nicht, daher bitte hier kopieren und im browser öffnen

daher musst du deinen input verkleinern. als context wird auf der oberfläche immer der komplette chat mitgesendet. das gilt in der api eigentlich auch.

[ch90045]

@oliverio Was meinst du genau mit "du musst deinen input verkleinern" - meine Anfrage für ein einfaches Script war "Schalte am Wochende scene.0.WohnzimmerLicht um 7:00 an" - noch weniger?

[OliverIO]

@ch90045

gemäß fehlermeldung wurden 62000 tokens versendet.
https://deinkikompass.de/blog/openai-gpt-token-guide
das verhältnis buchstaben zu tokens hängt von der sprache ab (von 1:1 bis 1:4 tokens/buchstaben)

dann musst du prüfen warum da mehr tokens versendet wurden.
wahrscheinlich wurde als context das komplette script mit versendet

[haus-automatisierung]

@oliverio sagte in Chat GPT im Javascript Adapter verwenden:

wahrscheinlich wurde als context das komplette script mit versendet

Als Context wird immer die Dokumentation angehangen (als Markdown). Die ist halt alleine schon sehr lang. Und wenn man viele Geräte definiert hat, dann werden die auch noch mitgeliefert, damit ChatCPT auch die richtigen Objekt-IDs, Räume, usw. kennt.

Das wird ggf. natürlich sehr groß.

[ch90045]

@oliverio Nun ja, skript war 0 gross, ChatGPT sollte, rein zum testen, ein Skript zur Änderung EINES Zustandes erstellen - denke die Frage war kleiner als 100 Token, der Rest waren Interna.

[TomTom24]

ist im Moment unbrauchbar...leider

Error: 400 This model's maximum context length is 16385 tokens. However, your messages resulted in 49186 tokens

[nerg]

@haus-automatisierung said in Chat GPT im Javascript Adapter verwenden:

@oliverio sagte in Chat GPT im Javascript Adapter verwenden:

wahrscheinlich wurde als context das komplette script mit versendet

Als Context wird immer die Dokumentation angehangen (als Markdown). Die ist halt alleine schon sehr lang. Und wenn man viele Geräte definiert hat, dann werden die auch noch mitgeliefert, damit ChatCPT auch die richtigen Objekt-IDs, Räume, usw. kennt.

Das wird ggf. natürlich sehr groß.

Lässt sich das mit der Dokumentation eigentlich ausschalten? Meiner Erfahrung nach macht GPT auch so ganz gute Skripte

[haus-automatisierung]

@nerg Und dann gibst Du immer die Verison des Adapters mit, damit ChatGPT alle verfügbaren Funktionen der Version kennt?!

[nerg]

@haus-automatisierung mit ein bisschen Fingerspitzengefühl hab ich ihn bisher ganz gut angeleitet auch ganz ohne Anbindung an die Doku.
Da ich nur tier1 bei der API habe, sprengt die Doku direkt das token Limit. Im Gegensatz zu Lindner würde ich die Schnittstelle lieber schlecht als gar nicht nutzen 🥴

Edit: falls jemand noch einen chatGPT Plus Account hat, dann könnte der-/diejenige auch einen individuellen iobroker GPT anlegen, der mit der Doku gefüttert wird und ein paar individuelle Anweisungen zur Codeerstellung bekommt. Zur Not würde ich auch noch Mal Plus abschließen, falls da Interesse besteht. Das würde auch die Schwelle reduzieren für Einsteiger

[haus-automatisierung]

@nerg sagte in Chat GPT im Javascript Adapter verwenden:

mit ein bisschen Fingerspitzengefühl hab ich ihn bisher ganz gut angeleitet auch ganz ohne Anbindung an die Doku.

Da kommt sehr häufig unnötig komplexer Code raus, welcher dann erstmal fetch importiert, statt z.B die internen Methoden zu nutzen. Das Ergebnis ist in den meisten Fällen nicht gut. Das bestätigen auch zig Screenshots in der Facebook-Gruppe, wo Leute ihre "top Ergebnisse" gezeigt haben.

Ich habe schonmal überlegt ein Custom GPT (heißt das so?) zu erstellen, welches dann den ioBroker-Adapter kennt und dann nur noch die Version übergeben werden muss. Damit man auch vernünftigen Code bekommt, welcher die internen Methoden nutzt.

[nerg]

@haus-automatisierung ja das stimmt. Blind übernehmen kann man das nicht. Er ist aber auch mit 4o wieder deutlich besser geworden und auch kooperativer.
Ich glaube custom gpt ist richtig. Ich schau mir das Mal an. Hatte das seinerzeit Mal versucht, da waren die Tokens aber sehr niedrig, die man mitgeben konnte.