NEWS
Chat GPT im Javascript Adapter verwenden
-
@haus-automatisierung ahhhh ....
Cannot request: Error: 429 Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more., { "status": 429, "headers": { "content-length": "416", "content-type": "application/json; charset=utf-8" }, "error": { "message": "Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.", "type": "tokens", "param": null, "code": "rate_limit_exceeded" }, "code": "rate_limit_exceeded", "param": null, "type": "tokens" }```
Frage ist, warum habe ich so viele Token?
Christian
-
@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:
Frage ist, warum habe ich so viele Token?
Weil da jedes mal die Doku mitgeschickt wird.
https://forum.iobroker.net/topic/68671/chat-gpt-im-javascript-adapter-verwenden/16 -
@codierknecht ok, danke - hatte den Thread auch schon gesehen - meine IOB install ist jetzt nicht besonders gross (du schreibst etwas von 22k tokens, ich bin ja aber sogar über 60k) - kann ich das irgendwie beeinflussen?
-
-
@codierknecht wie gut, dass ich "nur" 5$+Tax versenkt habe - schade eigentlich.
-
@Codierknecht & @haus-automatisierung macht es Sinn eine Issue Report gegen die JS Adapter aufzumachen?
Christian
-
@ch90045 Sich mit dem Thema zu beschäftigen und einen PR mit einer Lösung zu erstellen wäre besser Ich werde da erstmal keine Zeit für investieren, weil die Ergebnisse von ChatGPT bisher eigentlich nicht zu gebrauchen waren, ...
Also gern öffnen, aber nicht hoffen dass sich da bald jemand dran setzt
-
@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:
on tokens per min (TPM): Limit 60000, Requested 62890.
du hast ein limit von 60000 tokens pro minute
das llm gpt-3.5-turbo-16k
kann eh nur 16000 tokens (16k) verarbeiten. alles andere wird ignorierthttps://platform.openai.com/docs/models#:~:text=updated%20GPT%2D3.5%20Turbo%20(16k%20context%20window
direkt kopiert funktioniert der link nicht, daher bitte hier kopieren und im browser öffnen
daher musst du deinen input verkleinern. als context wird auf der oberfläche immer der komplette chat mitgesendet. das gilt in der api eigentlich auch.
-
@oliverio Was meinst du genau mit "du musst deinen input verkleinern" - meine Anfrage für ein einfaches Script war "Schalte am Wochende scene.0.WohnzimmerLicht um 7:00 an" - noch weniger?
-
gemäß fehlermeldung wurden 62000 tokens versendet.
https://deinkikompass.de/blog/openai-gpt-token-guide
das verhältnis buchstaben zu tokens hängt von der sprache ab (von 1:1 bis 1:4 tokens/buchstaben)dann musst du prüfen warum da mehr tokens versendet wurden.
wahrscheinlich wurde als context das komplette script mit versendet -
@oliverio sagte in Chat GPT im Javascript Adapter verwenden:
wahrscheinlich wurde als context das komplette script mit versendet
Als Context wird immer die Dokumentation angehangen (als Markdown). Die ist halt alleine schon sehr lang. Und wenn man viele Geräte definiert hat, dann werden die auch noch mitgeliefert, damit ChatCPT auch die richtigen Objekt-IDs, Räume, usw. kennt.
Das wird ggf. natürlich sehr groß.
-
@oliverio Nun ja, skript war 0 gross, ChatGPT sollte, rein zum testen, ein Skript zur Änderung EINES Zustandes erstellen - denke die Frage war kleiner als 100 Token, der Rest waren Interna.
-
ist im Moment unbrauchbar...leider
Error: 400 This model's maximum context length is 16385 tokens. However, your messages resulted in 49186 tokens