Test/Support für Adapter rssfeed und vis-2-widgets-rssfeed

[OliverIO]

Unter Abteilung Tester konnte ich kein Topic anlegen. Bitte dort hin verschieben.

Nachdem ich immer weider lese, wie sich die Leute mit rss-Feeds abmühen,
habe ich einen Adapter dazu geschrieben.
Dieser hat aktuell minimale Fähigkeiten, man kann damit aber
schon annehmbare Ergebnisse erzielen.

Verwendete Bausteine
Um die Flexibilität bei der Anzeige der Feeds bieten zu können, erfolgt die Formatierung der Ausgabe
über ein template-system.
Eine Vorlage werde ich hier weiter unten kopieren.
Beschreibung der Formatierung und Syntax finden sich auf den folgenden Seiten
https://ejs.co/ und https://github.com/mde/ejs

Einlesen der Feeds.
Dazu verwende ich ein node modul namens feedparser.
Dieses Modul kann verschiedene RSS-Standards (RSS, Atom, and RDF).
Dazu ist er noch dazu in der Lage, die Attribute zu normalisieren, so das es in der Ausgabe egal ist,
wie der jeweilige Standard ein bestimmtes Feld nennt.
https://github.com/danmactough/node-feedparser

Installation und Einrichtung

Schritt 1 - Installation
Der Adapter ist aktuell nur auf github verfügbar.
Name des Repository ist https://github.com/oweitman/iobroker.rssfeed

Schritt 2 - Instanz hinzufügen
Der Adapter müsste dann im Abschnitt adapter im iobroker angezeigt werden.
Manchmal kommt es vor, das insbesondere bei Webänderungen (Widgets/Konfigurationsdialog) die Änderungen nicht sichtbar sind, muss evtl. auf der Kommandozeile folgender Befehl ausgeführt werden:
iobroker upload rssfeed
Im rechten Bereich in der Zeile des Adapters kann über den Plus-Knopf eine Instanz hinzugefügt werden

Schritt 3 - Konfiguration

Die Konfiguration ist relativ simpel. Es gibt nur wenige Felder

Refresh: ist die generelle Vorgabe, wie oft in Minuten der Feed neu abgerufen werden soll. Voreinstellung ist 60
Maximale Artikel im Datenpunkt: Hier kann die Gesamtmenge der zu verarbeitenden Daten begrenz werden.

Dann je neuen Feed:
Name: Ein eindeutiger Name, darf nicht doppelt vorkommen
Url: Die vollständige Adresse des Feed (mit http:// oder https://)
Refresh: Bei Erfassung kann ein abweichender Wert angegeben werden. Ansonsten wird die generelle Vorgabe genommen

Nach Neustart und Abruf der Daten ist der Feed als JSON-Datenpunkt im Objektbaum zu finden.

Schritt 4 - vis und widgets

Um die Feeds anzuzeigen gibt es ein widget. Dieses kann über den Suchfilter in vis mittels rssfeed gefunden werden.

Das widget hat folgende Einstellmöglichkeiten

rss_oid Hier wird der JSON-Datenpunkt des gewünschten feeds ausgewählt. Ich habe festgestellt, das der Objektbrowser hier nicht imnmer zufriedenstellend funktioniert, da er die im JSON enthaltenen HTML-Anteile versucht dazustellen.
Alternativ die Datenpunkt ID direkt aus vis kopieren.
template: Hier kann ein template erfasst werden, welches javascript und html gemischt enthalten kann.

maxarticles: Hier kann widget individuell die Anzahl der Artikel begrenzt werden.

Alle anderen Einstellungen sind identisch zu den anderen widgets, Die Formatvorgaben gellten generell für alle widgetinhalte

Die widgets rssfeed Meta helper und rssfeed Article helper unterstützen bei der Erstellung eines Templates,
indem dort komfortabel die meta-Informationen und die Attribute eines Artikels angezeigt werden.
Im widget rssfeed Article Helper kann man den Artikel auswählen, dessen Attribute angezeigt werden soll, sowie das Präfix anpassen, so dass es einfacher ist dieses in das Template zu kopieren.

Ein weiteres widget hat nichts direkt mir rssfeed zu tun und ist in diesem adapter voraussichtlich temporär zu Gast.

Template anhand von Beispielen
Ein Beispiel, welches ich mit den folgenden RSS Feeds getestet habe:

• http://www.tagesschau.de/xml/rss2
• https://www.bild.de/rssfeeds/rss3-20745882,feed=alles.bild.html

<%= meta.title %> 
<% articles.forEach(function(item){ %>
<p><small><%- vis.formatDate(item.pubdate, "TT.MM.JJJJ SS:mm") %></small></p>
<h3><%- item.title %></h3>
<p><%- item.description %></p>
<div style="clear:both;" />
<% }); %>

Das Templatesystem arbeitet mit bestimmten Tags.
Die verwendeten Tags bedeuten das folgenden
<%= Der Inhalt des enthaltenen Ausdrucks/Variable wird escaped ausgegenen.
<%- Der Inhalt des enthaltenen Ausdrucks/Variable wird unescaped ausgegenen.
<% Tag ohne Ausgabe, wird für javascriptanweisungen verwendet
%> ist generell ein schließender Tag um eines der vorherigen abzuschließen
Alles was außerhalb dieser Tags ist, wird genau so dann angezeigt bzw. wenn es HTML ist als HTML interpretiert ausgegeben. (siehe bspw das p-tag,div-tag,small-tag

Innerhalb des Templates habt ihr 2 vorgegebene variablen zur Verfügung

meta: Hier sind alle Metainformationen zum Feed enthalten. Die folgenden Inhalte stehen zur Verfügung. Ich denke die Bezeichner sind selbst erklärend. In der Hilfe werde ich diese noch genauer Beschreiben. bzw den Inhalt spezifizieren (manche sind Arrays)

meta.title
meta.description
meta.link
meta.xmlurl
meta.date
meta.pubdate
meta.author
meta.language
meta.image
meta.favicon
meta.copyright
meta.generator
meta.categories

articles: Ist ein Array mit einzelnen Elementen (javascript array). Jedes Element hat die folgenden Eigenschaften.
Damit es zum Beispiel passt mache ich hier mal das Prefix item davor. Aber wenn ihr wollt könnt ihr das selbst wählen. Es muss dann nur in der Schleife (forEach) entsprechend benannt werden. Auch hjier sind die Bezeichner erst einmal selbst erklärend. Nicht in jedem Feed sind alle attribute auch gefüllt. Die wichtigsten sind im obigen Template bereits enthalten.

item.title
item.description
item.summary
item.link
item.origlink
item.permalink
item.date
item.pubdate
item.author
item.guid
item.comments
item.image
item.categories
item.source
item.enclosures"

<%= meta.title %> 
<% articles.forEach(function(item){ %>
<p><small><%- vis.formatDate(item.pubdate, "TT.MM.JJJJ SS:mm") %></small></p>
<h3><%- item.title %></h3>
<p><%- item.description %></p>
<div style="clear:both;" />
<% }); %>

Kurze Beschreibung was in den einzelnen Zeilen passiert
Z1: Der Feed-titel wird ausgegeben
Z2: Ohne Ausgabe. Schleife über alle articles, bei jedem Durchgang wird das aktuelle Element der variable item zugewiesen.
Z3: Datum und Uhrzeit wird ausgegeben und wird in einem p/small-Tag eingeschlossen zur Formatierung. Zur Formatierung wird die vis-eigene Datumsformatfunktion verwendet. Beschreibung ist im adapter vis zu finden.
Z4: Der Titel des Artikels wird ausgegeben. Zur Formatierung wird der Tag für Überschrift 3 verwendet
Z5: Der Inhalt des Artikels wird ausgegeben und in einem p-Tag eingeschlossen. Hier ist, zumindest bei den beiden Beispielen, HTML-code enthalten, der meist ein Bild, sowie beschreibenden Text mitbringt
Z6: Ein div-Tag, das ausgegeben werden muss, um eine spezielle Formatierung im Feed wieder aufzuheben.
Z7: Ohne Ausgabe. Hier wird die Schleife geschlossen. Alles was zwischen Z2 und Z7 definiert wurde, wird für jeden einzelnen Artikel wiederholt.

Ich freue mich über reges testen und Vorschlag von Erweiterungen.

Fehler können hier, aber auch auf github https://github.com/oweitman/ioBroker.rssfeed
gemeldet werden.

[OliverIO]

Neue Version 0.0.4
2 neue widgets wurden hinzugefügt, die bei der Erstellung eines Template helfen.
Darüber können die Inhalte der Attribute der beiden template variablen meta und articles angezeigt werden

[jackblackson]

@OliverIO Sehr cooler Adapter, bin grad am Testen. Mir ist aufgefallen, das wenn ich einen Eintrag im Setup gemacht habe, und diesen wieder lösche, das Objekt dazu bestehen bleibt - wäre vielleicht etwas, was man optimieren kann. Hättest du solche Themen lieber hier oder auf Github als Issue?

[OliverIO]

@jackblackson hier passt schon. Ich schaue. Es scheint da wohl noch ein problemchen zu geben, da manchmal auch eine Fehlermeldung erscheint, das noch nicht alles gespeichert ist, obwohl alles gespeichert ist.

[jackblackson]

@OliverIO Danke. Ich bin auf deinen Eintrag über einen anderen gekommen, der eine ähnliche Aufgabenstellung hatte, dies aber ohne Adapter gelöst hatte. Hier fand ich cool, das eine Laufschrift möglich ist - fände das genial, wenn am unteren Rand am Tablet diese Nachrichten durchlaufen. Wie siehst du das, wäre das bei dir auch möglich umzusetzen? https://forum.iobroker.net/topic/31242/nachrichten-ticker-newsticker-via-php-in-vis-einbinden/6

[sigi234]

@OliverIO

[OliverIO]

@jackblackson
den hab ich auch gesehen, ist schon in der mache

[OliverIO]

@sigi234 erledigt, kommt im nächsten release

[sigi234]

@OliverIO

Kannst du dir das mal ansehen, sollte jetzt mit deinen Adapter alles machbar sein?

https://forum.iobroker.net/topic/29148/hilfe-bei-rss-feed-benötigt

[OliverIO]

@sigi234
das muss ich mir erst in ruhe anschauen.
da scheint mir ein wenig zuviel Spezialfilterung drin zu sein, was genau nur auf diesen einen feed zugeschnitten ist.
Was machbar ist, wie bei openliga auch, generelle Suchkriterien zu hinterlegen, anhand denen dann Artikel zur Ansicht ausgewählt werden.
Allerdings haben wir hier ein paar mehr Attribute und nicht nur eins wie bei openliga.
Auch hier müsste ich mir überlegen, wie ich das am benutzerfreundlichsten löse.

[sigi234]

@OliverIO

Irgendwo habe ich gelesen das es auch einen anderen Link gibt, nicht nur RSSAtom

[OliverIO]

@sigi234
Das dürfte RDF sein, was das Fromat im frühen RSS war
https://de.wikipedia.org/wiki/RSS_(Web-Feed)#Versionen,_Alternativen_und_Ergänzungen

RDF RSS und Atom sind die 3 relevanten Formate

[OliverIO]

Neue Version v0.0.5
Enthalten ist

• Marquee widget (Laufschrift)
• Filter Funktion für Artikel

Für die Filter-Funktion kann in das entsprechende Feld ein oder mehrere Filterkriterien mit Semikolon (;) getrennt eingegeben werden.
Für die Suche werden die folgenden Artikel-Attribute durchsucht: titel, description, categories

[jackblackson]

@OliverIO sagte in Test Adapter rssfeed v0.0.x:

https://github.com/danmactough/node-feedparser

Leider schlägt bei mir die Installation der neuen Version immer fehl, am Raspberry pi und in meiner Test-VM..hat sonst noch jemand hier Probleme?

[OliverIO]

@jackblackson
Hi, mal schauen was andere sagen. Ich hab gerade leider keine Iobroker Test Instanz zum installieren Testen

[sigi234]

@OliverIO sagte in Test Adapter rssfeed v0.0.x:

Neue Version v0.0.5

Alles Ok, Code 0
Windows System

[Oli]

@OliverIO

bin gerade auf deinen Adapter gestoßen und habe ihn gleich getestet, funktioniert super, danke dafür.

Nur komme ich mit deinen Widgets nicht ganz zurecht.

Was muss ich machen, damit mir der komplette RSS-Feed angezeigt wird?

Ich habe es mit dem RSS-Feed Widget versucht, OID eingetragen, aber leider bleibt das Widget leer.

[Bostil]

Blind geliked! Jetzt erstmal schauen, worum es geht, aber RSS-Feed hört sich erstmal total vielversprechend an und toll, dass du dich dem Wunsch vieler annimmst!

[jackblackson]

Die Laufschrift ist genial, danke @OliverIO , funktioniert super!

[OliverIO]

@Oli
Sag mal den Feed?
Hast du das Template aus der Beschreibung kopiert?