Chat GPT im Javascript Adapter verwenden

[fastfoot]

@nerg sagte in Chat GPT im Javascript Adapter verwenden:

@bergjet Das Verhalten ist bei mir identisch. Die Anfrage scheint auch nicht bei der API anzukommen (last used: "never"). Eine Fehlermeldung gibt es allerdings auch nicht im iobroker-log.

ich bekomme da ein quota exceeded, die kommunikation mit der api funktioniert also scheinbar

[bergjet]

@oliverio sagte in Chat GPT im Javascript Adapter verwenden:

@loverz

wahrscheinlich so etwas
https://github.com/features/copilot

Genau.

[Codierknecht]

@bergjet
Funktioniert tadellos.

Zunächst hier einen Key erzeugen
https://platform.openai.com/api-keys
und in der Instanz hinterlegen

Edit
Man kann ChatGPT auch auf Deutsch fragen

[OliverIO]

@codierknecht

hab mich gerade gewundert, woher chatgpt die befehle von iobroker kennt.
hab in den code reingeschaut verbrät halt relativ viele tokens, da die dokumentation jedesmal mitgeschickt wird
https://github.com/ioBroker/ioBroker.javascript/blob/939b0b0a70dd857684afc10be6732467fb3a5208/src/src/OpenAi/docs.md
https://github.com/ioBroker/ioBroker.javascript/blob/939b0b0a70dd857684afc10be6732467fb3a5208/src/src/OpenAi/OpenAiDialog.jsx#L105

als model wird gpt-3.5-turbo-16k verwendet. die dokumentation macht allein 22 tausend tokens aus. wovon es alles über die 16000 hinaus sich nicht merken kann.
https://openai.com/pricing
daher kostet je nach Umfang der Rückmeldung eine Anfrage so zwischen 3 und 5 cent

[bergjet]

@codierknecht Alles so gemacht. Geht nicht.

[Codierknecht]

@bergjet
Und dieses "geht nicht" äußert sich wie?

[bergjet]

@codierknecht sagte in Chat GPT im Javascript Adapter verwenden:

@bergjet
Und dieses "geht nicht" äußert sich wie?

Nach dem Klick auf fragen, dreht sich das Rad, aber es kommt nichts.

[haus-automatisierung]

@bergjet sagte in Chat GPT im Javascript Adapter verwenden:

Nach dem Klick auf fragen, dreht sich das Rad, aber es kommt nichts.

Hatte ich auch Anfangs - aktuell wird der 403 (?) Response nicht ausgewertet. Das heißt, dass mein Konto nicht genügend Guthaben hatte. In der Entwickler-Console vom Browser siehst Du das. Ist aktuell ein Bug im Adapter.

Ich hatte Chat GPT auch schonmal getestet und war mit den Ergebnissen nicht so richtig glücklich: https://www.youtube.com/watch?v=OigIpE3Aez0

[bergjet]

@haus-automatisierung Habe einen neuen Account angelegt. Jetzt geht es.

[haus-automatisierung]

@bergjet sagte in Chat GPT im Javascript Adapter verwenden:

Habe einen neuen Account angelegt.

Dann ist das "Gratis-Guthaben" im alten Account wahrscheinlich schon verfallen.

[ch90045]

@haus-automatisierung Guten Morgen,

ich versuche gerade Chat GPT zu verwenden. Leider funktioniert es gar nicht und ich finde den Grund nicht:

• Ich habe 5$ bei openai als budget hinterlegt
• API Key erstell und hinterlegt
• JS Adapter auf Debug gestellt
• Beim absenden der Anfrage kommt kurz der "Spinner" und nichts passiert

Die Logs sind danach absolut leer und auch bei openai sind keine Anfragen sichtbar.

Irgendeine Idee, wo ich schauen kann.

Christian

[haus-automatisierung]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Die Logs sind danach absolut leer

In die Entwickler-Tools vom Browser schauen. Der Request zu ChatGPT geht nicht über den ioBroker, sondern wird direkt von deinem Client versendet.

[ch90045]

@haus-automatisierung ahhhh ....

Cannot request: Error: 429 Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more., {
  "status": 429,
  "headers": {
    "content-length": "416",
    "content-type": "application/json; charset=utf-8"
  },
  "error": {
    "message": "Request too large for gpt-3.5-turbo-16k in organization org-6XonBlBfqBtiOYpdmqzcoXW0 on tokens per min (TPM): Limit 60000, Requested 62890. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.",
    "type": "tokens",
    "param": null,
    "code": "rate_limit_exceeded"
  },
  "code": "rate_limit_exceeded",
  "param": null,
  "type": "tokens"
}```

Frage ist, warum habe ich so viele Token?

Christian

[Codierknecht]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

Frage ist, warum habe ich so viele Token?

Weil da jedes mal die Doku mitgeschickt wird.
https://forum.iobroker.net/topic/68671/chat-gpt-im-javascript-adapter-verwenden/16

[ch90045]

@codierknecht ok, danke - hatte den Thread auch schon gesehen - meine IOB install ist jetzt nicht besonders gross (du schreibst etwas von 22k tokens, ich bin ja aber sogar über 60k) - kann ich das irgendwie beeinflussen?

[Codierknecht]

@ch90045
Nicht ich, sondern @OliverIO hat das herausgefunden

Das liegt nicht an "Deiner" Installation, sondern an der Größe der Doku, die ja jedes mal mitgesendet wird.
Das kannst Du nicht beeinflussen.

Funktioniert übrigens bei mir mittlerweile auch nicht mehr.

[ch90045]

@codierknecht wie gut, dass ich "nur" 5$+Tax versenkt habe - schade eigentlich.

[ch90045]

@Codierknecht & @haus-automatisierung macht es Sinn eine Issue Report gegen die JS Adapter aufzumachen?

Christian

[haus-automatisierung]

@ch90045 Sich mit dem Thema zu beschäftigen und einen PR mit einer Lösung zu erstellen wäre besser Ich werde da erstmal keine Zeit für investieren, weil die Ergebnisse von ChatGPT bisher eigentlich nicht zu gebrauchen waren, ...

Also gern öffnen, aber nicht hoffen dass sich da bald jemand dran setzt

[OliverIO]

@ch90045 sagte in Chat GPT im Javascript Adapter verwenden:

on tokens per min (TPM): Limit 60000, Requested 62890.

du hast ein limit von 60000 tokens pro minute
das llm gpt-3.5-turbo-16k
kann eh nur 16000 tokens (16k) verarbeiten. alles andere wird ignoriert

https://platform.openai.com/docs/models#:~:text=updated%20GPT%2D3.5%20Turbo%20(16k%20context%20window

direkt kopiert funktioniert der link nicht, daher bitte hier kopieren und im browser öffnen

daher musst du deinen input verkleinern. als context wird auf der oberfläche immer der komplette chat mitgesendet. das gilt in der api eigentlich auch.