Test/Support für Adapter rssfeed und vis-2-widgets-rssfeed
-
hm, was mach ich mit dir.
also der reihe nach- admin gui nicht mehr bedienbar.
wie gesagt, ich habe das nachvollzogen und bei mir funktioniert es.
leider habe ich aktuell nur in den randzeiten etwas zeit, zu denen du wahrscheinlich kein anydesk mehr machen kannst.
aber nochmal vorab. kannst du beim aufruf der admin gui bitte mal die browserkonsole (F12 chrome,edge und firefox) aufrufen und da schauen, ob da irgendwas nach Fehler im rssfeed aussieht? da werden die fehler, neben warnungen und debughinweisen auch explizit ausgewiesen. - absturz.
also nach log passiert das auf der serverseite. also iobroker. was mich etwas wundert, aber ich kann das log auch nicht so exakt lesen, es ist der web-adapter abgestürzt und nicht rssfeed.
erkennbar in den zeilen steht [io.web.0]
dieser adapter hat zu wenig speicher und hat sich dann beendet. das heißt den müsste man in die untersuchung mit einbeziehen.
mit dieser information würde mich der steigenden speicherverbrauch maL des web-adapters interessieren. aber ein typischer kandidat ist eigentlich immer auch der javascript-adapter.
ich gehe davon aus, das du den history-adapter laufen lassen hast?
dann gehe bitte im objekte-tab im iobroker in den expertenmodus (kopf-knopf am oberen ende des bildschirms)
dann erscheint in der objektauflistung noch der system knoten.
den klappst du bitte auf bis die datenpunkte zum adapter web.0 sichtbar sind
und drückst das zahlnrad für die 3 folgenden datenpunktesystem.adapter.web.0.memHeapTotal
system.adapter.web.0.memHeapUsed
system.adapter.web.0.memRssim folgebildschirm aktivierst du bitte bei history.0 und speicherst danach ab. die zahnräder der 3 punkte leuchten dann blau
die ergebnisse kannst du dann als diagramm abrufen, wenn du wieder auf das zahnrad drückst.
hier mal meine ergebnisse des rssfeed adapters. da steigt über die zeit nix an und bleibt mehr oder weniger auf dem gleichen level. zeitraum ist fast eine woche,
ich vermute mal, das irgendwo bei dir noch der wurm drin ist.
durch stoppen des rssfeed-adapters hat dein system wieder genügend speicher und das problem verschiebt sich weiter in der zeit nach hinten.
da rssfeed die ganzen feeds im hauptspeicher behält frisst er natürlich je nach anzahl der feeds und umfang der artikel nicht wenig speicher. (bei mir mit 3 feeds 80MB) - admin gui nicht mehr bedienbar.
-
-
@skokarl
ja, geht nicht.
hatte ich im januar als issue festgehalten
https://github.com/oweitman/ioBroker.rssfeed/issues/29
hatte ja gesagt, das ich die admin oberfläche überarbeiten mussclosed max-article can not be changed #29
-
So, die Influx DB läuft jetzt auch wieder ...... das ganze System läuft wieder kugelrund ....
werde jetzt morgen den RSS wieder einschalten und ein bisschen loggen .....
-
und auch den web und javascript adapter
-
@oliverio Ich habe gerade einen Atom-Feed der nicht mehr will. Lief seit x Monaten problemlos, sehe aber so auch nichts was ihn daran hindern würde ihn zu verarbeiten
Mit dem öffentlichen Feed habe ich es aktuell noch nicht probiert, sollte aber identisch sein. Der User-spezifische geht nur mit einem kostenlosen Account (enthält dann aber nur konfigurierte Sendungen).
Feed-Auszug (wg. Copyright Texte gekürzt):
<?xml version="1.0" encoding="utf-8"?> <feed xmlns="https://www.w3.org/2005/Atom"> <title>TV Wunschliste</title> <subtitle>Mein TV-Planer Wunschliste</subtitle> <link href="https://meine.wunschliste.de/updates" /> <link rel="self" href="https://www.wunschliste.de/xml/atom.pl" /> <updated>2022-05-06T11:20:48+02:00</updated> <author> <name>TV Wunschliste</name> </author> <id>https://meine.wunschliste.de/</id> <logo>https://www.wunschliste.de/gfx/logo.png</logo> <entry> <title>LeveragXXX (3.9) - Fr XX.05., XX.25 Uhr / VOXup</title> <link href="https://www.wunschliste.de/serie/leverage" /> <id>https://www.wunschliste.de/tv/2582052</id> <summary>Der InstallXXX ...</summary> <content type="xhtml" xml:base="https://example.org/"> <div xmlns="https://www.w3.org/1999/xhtml"> <strong>Im NamXXX</strong> <br />Der InstallXXX ... <br />mit TimoXXX <br />Regie: DeXXX </div> </content> <updated>2022-05-06T18:25:00+02:00</updated> </entry> </feed>Eine Idee
? -
ok, der public feed hat das selbe problem.
muss da mal reindebuggen. melde michhier das ergebnis des offiziellen validators.
evtl liegts an den 2 gleichen IDs.
https://validator.w3.org/feed/check.cgi?url=https%3A%2F%2Fapi.wunschliste.de%2Fatom.pl
Das könnte ich aber lösen.
Mal schauen. -
@sborg
kann dieses wochenende nicht debuggen, aber ich habe eine starke Vermutung.
Die haben den xml-Namesapce falsch angegeben
Anstatt
http://www.w3.org/2005/Atom wurde
https://www.w3.org/2005/Atom
angegeben.
Der feedparser validiert die Namespaces. Auch der w3-Tester sagt das es falsch ist.Ich müsste jetzt die zugrundeliegende Bibliothek feedparser forken und
die dort enthaltenen Namespace-Definitionen erweitern:
https://github.com/danmactough/node-feedparser/blob/0a734f88195e4c7048a53867a8ec7c52f150fff2/lib/namespaces.jsWerde das aber durch debuggen nochmal verifizieren.
Lösung wäre halt rumpfuscheln an den Standards, nur weil jemand denkt der namespace sei ein Link und Links sind neuerdings alle https -
@oliverio Danke schon mal
Ich könnte sie auch einfach anschreiben es rückgängig bzw. korrekt zu machen.
Die andere Lösung, die ich zum testen aber mal ausführen werde, ich lade den Feed lokal auf meinen Web-Server und ändere ihn dementsprechend ab. Dann sehe ich ja ob es funktioniert.(Notfalls kleines bash mit curl und sed mittels cronjob und ich ändere die Feed-URL
) -
@sborg said in Test und Support Adapter rssfeed v1.x.x:
Ich könnte sie auch einfach anschreiben
hehe, hab ich schon gemacht.
aber viel Hoffnung mach ich mir da nicht.
jetzt erst mal debuggen -
@oliverio sagte in Test und Support Adapter rssfeed v1.x.x:
hehe, hab ich schon gemacht.
Die sind aber eigentlich recht zugänglich. Sie stellen bspw. ihre Daten kostenlos dem SerienRecorder (Plugin für E2-Sat-Receiver) zur Verfügung
-
@oliverio Bin auch eben erst dazugekommen. Es liegt am "https". Patche ich den Feed funktioniert es.
Von daher Danke und problem solved
Ich warte mal ab ob sie den Feed aufgrund deiner Meldung ändern. Da ich ihn nur einmal täglich abfrage, genügt mir auch ein cronjob der ihn per curl lokal auf meinen Web-Server downlädt, per sed patcht und ich dann den Feed über meinen internen Web-Server abonniere. Sind ja nur zwei Programmzeilen
-
@sborg
Sehr gut.
Noch eine Frage, hast du, wie von @skokarl auch berichtet, gelegentliche Speicher und absturzprobleme in Verbindung mit dem rssfeed Adapter? -
@oliverio Nein, läuft seit 26 (
) Monaten ohne zu murren (sorry alter Haudegen @skokarl).
...und falls jemand zufällig per Suche hier landet und eine temporäre Lösung für den Atom-Feed von "Wunschliste" braucht:
#!/bin/bash #Feed in den Web-Serverspace laden sudo -s -u www-data curl -o ./tmp/feed.atom "https://api.wunschliste.de/atom.pl?user_id=1234567&key=123456789012" #Feed patchen sed -i 's/feed xmlns=\"https/feed xmlns=\"http/g' ./tmp/feed.atomDann den Feed vom eigenen Web-Server abonnieren. That's all
-
So nach längerer Zeit mal eine
neue Version 2.0.0- Neuer Admin Konfigurationsdialog mittels jsonConfig
- Dadurch sind die Probleme in verschiedenen Browsern behoben
- Auch die falsche Farbdarstellung, wenn iobroker auf dunkles Design umgestellt wurde ist damit behoben
- Das untere Request/Refresh-Limit wurde auf 5 Minuten abgesenkt
- Die Einstellung maxarticles gibt es nun für jeden einzelnen feed separat
- wenn das widget rssfeed widget 2 platziert wird, erscheint nun keine hässliche Fehlermeldung mehr
- die Übersetzung wurde erneuert auf basis des iobroker übersetzers
- Bereiche des READMEs die nicht übersetzt werden sollten wurden nun als solche markiert
- Konfigurationsdaten müssten 1:1 übernommen werden, es muss nix migriert werden.
Ich freu mich über Tester und Fehlerberichte hier im Thread
-
Danke, hatte schon nicht mehr damit gerechnet.
Update fehlerfrei durchgelaufen. ( wesentlich besseres Design )
Mein Speicherproblem hatte ich zunächst damit behoben, dass ich einen von 4 Feeds gelöscht hatte, der kommt jetzt
natürlich wieder rein.kurze Frage, meinst Du wirklich Minuten ? Wäre 15 Minuten zu knapp ?
-
sieht nicht gut aus, hab den Adapter gestoppt
nach Absturz von IO und Neustart der VM
Wir können gerne mal zusammen drüber gucken, nur kann ich nicht zeitaufwändige Tests am Live System machen....
meine Frau nutzt das Tablet ..... aber der Fehler kam relativ schnell nach dem Start vom RSS Feed -
@skokarl sagte in Test und Support Adapter rssfeed v1.x.x:
kurze Frage, meinst Du wirklich Minuten ? Wäre 15 Minuten zu knapp ?
ja Minuten, das niedrigste ist jetzt 5 Minuten
wie in der Warnung geschrieben kann man das nicht generell sagen.
Große Anbieter merken da nicht viel davon und setzten auch Caches ein.
Kleinere Anbieter merken da halt schon was davon, wenn regelmäßig viele Leute viele Daten abrufen. -
@skokarl
Der Speicherverbrauch von rssfeed ist normal, aber der des webservers unnatürlich hoch.
jetzt weiß ich nicht, was der da alles im hautpspeicher hält.was passiert, wenn du alle widgets zu rssfeed entfernst. dann dürfte doch nix passieren?
Ansonsten gibt es keine Berührungspunkte zu rssfeed, ausser das die widgets html code erzeugen, der in einer vis seite enthalten ist und die der web server ausliefern muss -
@oliverio
bin nur am Handy....System lief wochenlang stabil, mit 3 Feeds, .... heute update gemacht, 4. RSS Feed wieder hinzugefügt....nach 5 Minuten komplett Zusammenbruch. Meine Feeds stehen hier weiter oben...hna, bild, zweimal ntv
