Jahresrückblick 2025 – unser neuer Blogbeitrag ist online! ✨

[Meistertr]

Da wäre ich auch dabei. Viele habe auch die produktiv Systeme auf latest stehen auch wenn sie keine Ahnung haben wie bei Fehlern die Sache wieder zu retten ist.. . Bei nem Fehler im Controller kann das natürlich schnell in einem Totalausfall enden..

Gesendet von meinem Handy

[Ein ehemaliger Benutzer]

Finde ich auch, kann auch gerne helfen. ( ich zieh mir sowieso gerne die neuesten Version direkt von git… ;-)) (aber bei mir läuft es auch in Proxmox, das ist doch Ideal zum testen und Backup/Snapshot geht ratzfatz.)

Getestetes Zeug, das einfach ohne Fehler funktioniert, ist ja langweilig..

[AlCalzone]

Ich bin schnell ein riesen Fan von Komponententests geworden, die über einen reinen Test "startet es?" hinausgehen. Eine brauchbare Testabdeckung zu erreichen ist jetzt nachträglich sehr schwierig und erfordert in einigen Fällen auch refactorings. Im JS-Adapter bin ich an sowas dran, da geht aber definitiv noch etwas Zeit ins Land. Wenn man da > 90% erreicht, kann man auch bei Änderungen relativ sicher sein, dass alles tut, was es soll.

@Meistertr:

Viele habe auch die produktiv Systeme auf latest stehen auch wenn sie keine Ahnung haben wie bei Fehlern die Sache wieder zu retten ist.. `
Das ist natürlich ein Problem. Eventuell sollte man hier auch in ioBroker deutlicher kommunizieren, was die Risiken sind.

Nichtsdestotrotz befürworte ich ein Kern-Tester-Team, das die Alpha (Github-Version) vor Latest-Release einige Zeit testen kann.

[sigi234]

Hallo,

auch NORMALE User die keine Programmier- Erfahrung haben sollten dabei sein , weil das sind ja der Hauptteil der Anwender.

Weil ein Normaler User denkt und handelt mit Sicherheit anders als Programmierer….......... ;)

Oder was sagt Ihr dazu?

[arteck]

@sigi234:

Hallo,

auch NORMALE User die keine Programmier- Erfahrung haben sollten dabei sein , weil das sind ja der Hauptteil der Anwender.

Weil ein Normaler User denkt und handelt mit Sicherheit anders als Programmierer….......... ;)

Oder was sagt Ihr dazu? `

klar du hast recht…aber... ich wollte es erstmal abchecken ob und wer von den "erfahrenen" lust hat..es bringt nichts wenn "jeder" hier schreit und im entdefekt weiss er nicht wie einen zuatzadmin installiert oder oder ... die leute sollten schon Ahnung haben und natürlich unterschiedliche Systemkonstellationen besitzen

[apollon77]

Vllt sollten wir den Thread ins "Tester" Forum schieben … das war mal genau für soewas gedacht ... da sind glaube auch einige Leute die öfter schon mitgetestet haben ... ?!

[kmxak]

Testen ist ein sehr breit gefasster Begriff. Mir steht recht viel Hardware zur Verfügung daher könnte ich persönlich auf lauffähigkeit usw. Testen geht es aber in Richtung Fehler im Code finden bin ich recht schnell raus. Falls es also auf der Hardware Schiene mit etwas Software Know-how Hilfe gibt wäre ich dazu auch bereit was aufzusetzen.

Gesendet von meinem SM-G930F mit Tapatalk

[Dutchman]

hmmm,

das haben wird doch eigentlich bereits so ?

Getest wird immer im latestrepository befohr es in stable komt (produktion).

Jeder der moechte kan im latest mithelfen, meistens kommt im forum auch ein aufruf zum testen.

Erst wen genuegend feedback gekommen ist, fehler beseitigt (oder auf naeste release verschoben) kommt die ganze sache ins stable und damit produktion.

Die frage kommt dan mehr auf, das dies in der basis so ist, wie will man sich organisieren und ist was wir im moment haben nicht bereits ausreichend.

Greetz,

Dutch

[arteck]

@Dutchman:

hmmm,

das haben wird doch eigentlich bereits so ?

Getest wird immer im latestrepository befohr es in stable komt (produktion). `

ja und wer macht .. jeder.. der lust hat.. nach chema f.. ach ja dann läuft halt nicht

Testpaln was ist das .. brauch ich nicht.. ich weiss was ICH mache.. und das ist KACKE

@Dutchman:

Jeder der moechte kan im latest mithelfen, meistens kommt im forum auch ein aufruf zum testen.

Erst wen genuegend feedback gekommen ist, fehler beseitigt (oder auf naeste release verschoben) kommt die ganze sache ins stable und damit produktion. `

was heisst genuegen feedback..wenn sich 5 Leute gemeldt haben oder 500.. wenn ein Multihost läft ist es dann ok ..oder erst wenn es dunkel ist im Hause

@Dutchman:

Die frage kommt dan mehr auf, das dies in der basis so ist, wie will man sich organisieren und ist was wir im moment haben nicht bereits ausreichend.

Greetz,

Dutch `

deshalb meine Frage.. als nächstes wollte ich mal dieBereitschaft abklappern wer was machen kann und wie lange er an Zeit zu investieren vermag..

aber einz nach dem anderen

[Jey Cee]

Ich hab es ja nicht so mit Testen, für mich wären Testpläne für meine eigenen Adapter schon eine gute Hilfe.

Auch automatisierte Funktionstest wären Super.

Aus meiner Sicht sollte sich das Team dann vor allem um die Pläne Kümmern anhand derer weniger erfahrene die Tests machen.

Testplan ist für mich halt eine Ausführlichere Checkliste, wo bei bedarf auch eine Erklärung dabei ist wie man das dann prüfen kann.

Gesendet von meinem m8 mit Tapatalk

[TomT]

Auch ich wäre bereit, soweit es geht beim Testen mitzumachen.

Habe aber recht wenig Erfahrung im JavaScript und Linux und leider auch nur ein Produktivsystem, wo die Tests auch laufen müssten.

Daher läuft bei mir auch momentan alles im Stable Status.

Bin aber in Planung, mir noch ein wenig weitere Hardware zuzulegen und da könnte ich dann wirklich auch alles im Latest laufen lassen….

Und auch Alpha oder PreAlpha. Schwanke noch zwischen einem Tinker S oder einem Opi Plus 2E...

Ich denke aber, das jedes Feedback beim Testen willkommen ist, auch wenn es denn so heißt : Alles läuft sauber...

Oder sehe ich das falsch?

just my 2 Cents

Tom

[Dutchman]

Ich komme selber aus der iT Branche und war 2-Jahre entverantwortlicher Testmanager also die pro/Con und Schwierigkeiten bin ich mir bewusst.

Mein Gedanken :

• Entwickler/core team hat die development tedt in eigener hand

• pro adapter währe es cool wenn man einen Funktions Testplan hat, was sollte getestet werden um Funktionalität sicher zu stellen

• Tester = es währe sehr hilfreich wenn man pro Adapter ein paar Leute festlegen könnte die die Funktionstest auf sich nehmen, das werden nicht immer die selben sein den jeder hat andere Adapter und Hardware

Wen man sich so organisieren könnte und dan abstreichen könnte ob die Test ausgeführt und ok sind währe das eine geniale Sachen

Updates auf Adapter sind immer, so nennen wir das, unit Test (js-controller ist gleich geblieben) man testet also nur die Funktionalität des Adapters.

Ein Update des Core ist ne andere Sache, eigentlich müsste man hier einen Integration Test durchführen was bedeutet alle Adapter mit dem neue Core definierte Test durchlaufen lassen.

Man kan hier auch das ein und andere automatisch machen.

So Mal zur Gedanken Anregung

Sent from my iPhone using Tapatalk

[apollon77]

Hey,

also einen Teil davon gibt es schon.

Jeder Adapter im Repo hat automatisierte Teste die bei jedem Commit laufen und den Adapter mindestens Installieren (inkl. der Dependencies) und starten. Das ganze auf Linux, macOS und WIndows und mit mindestens nodejs 6,8,10 und teilweise noch 4.

Hierzu wird immer der GitHub-Stand vom js-controller verwendet, sodass wir sehr schnell sehen wenn eine Änderung dort etwas kaputt macht.

Für einige der wichtigen Core-Adapter laufen die Tests deswegen auch mindestens täglich ohne Änderungen. Hat auch in einigen Fällen schon Fehler aufgezeigt die dann schnell gefixt werden konnten!

Einige Adapter haben auch anstelle der "nur installation und start"-Tests noch erweiterte Adapterspezifische Tests drin die noch weiterführend testen. Aber es gibt noch zu viele Adapter die diese Möglichkeiten nicht nutzen und damit leider Funktionalitäten nur manuell testbar sind … :-)

Der js-controller hat ebenso umfangreiche automatisierte Tests die bei jedem Commit ausgeführt werden. Ich tippe das wir eine funktionale Abdeckung von ca. 50-70% haben. Das ist einiges an Arbeit und wird erweitert wie nötig bzw. wie Zeit ist.

Das so mal der Stand der "technischen Tests". Das ganze System haben wir geschaffen als wir vor ca. 1-2 Jahren das Problem hatten das Adapter öfter auf einzelnen NodeJS Versionen oder Betriebssystemen nicht bei Änderungen kaputt gegangen sind und hat uns einen großen Schritt vorangebracht.

Da jedes System aber doch wieder anders ist und User andere Funktionen nutzen werden wir immer "manuelles testing" brauchen ... bzw. das komplett und vollumfänglich zu automatisieren ist auch eine Frage von Kosten-Nutzen :-)

Ingo

[arteck]

na das ist ja schon mal was..Resonanz ist da und Verständniss auch…klasse...

ich mach mir paar Gedanken..