Direktzugriff auf Daten

[jmoellers]

Mooi'n,
Wir haben Probleme mit unserem Speicher (der speichert IMHO zu wenig, so daß wir zu viel einspeisen) und da sind die Aufzeichnungen der openWB eine sehr große Hilfe, insbesondere weil die openWB die Daten mehrerer Komponenten vereint darstellt, u.a. PV, Hausverbrauch, Speicher, Speicher SoC.
Der Default-Graph zeigt aber nur eine halbe Stunde an, das "Logging -> Graph" zwar einen ganzen Tag, aber schwer zu analysieren.

Gibt es einem Möglichkeit, die im Default-Graphen angezeigt werden, "abzugreifen" um sie z.B. in CSV-Dateien (eine pro Tag) zu speichern?

In einem nachgeschalteten Schritt würde ich die dann z.B. mit Hilfe eines PERL/TK-Programms oder mit Hilfe von ImageMagick für den gewünschten Zeitraum darstellen. Ggf könnten andere Daten hinzugenommen werden.

Danke im Voraus!

[Kitmgue]

die per MQTT bereitgestellten Daten reichen dafür nicht aus?

[JSAnyone]

Du kennst

Code: Alles auswählen

http://ip/openWB/web/logging/data/daily/

?

[jmoellers]

Du kennst

Code: Alles auswählen

http://ip/openWB/web/logging/data/daily/

?

Nein, kannte ich nicht.
Ich wußte gar nicht, daß wir schon 2018 eine openWB hatten

Thanks!

Josef

[jmoellers]

Nachfrage: was bedeuten die Spalten?
Spalte 1 ist die Uhrzeit H*100+M
Spalte 21 scheint der Ladestand (SoC) der Batterie zu sein, die anderen Werte kann ich aber beim besten Willen nicht zuordnen.

[holgerwolf]

viewtopic.php?f=6&t=1544

[jmoellers]

viewtopic.php?f=6&t=1544

Danke!

[HSC]

...
Der Default-Graph zeigt aber nur eine halbe Stunde an, das "Logging -> Graph" zwar einen ganzen Tag, aber schwer zu analysieren.

Gibt es einem Möglichkeit, die im Default-Graphen angezeigt werden, "abzugreifen" um sie z.B. in CSV-Dateien (eine pro Tag) zu speichern?

Du könntest auch unter Einstellungen/ Verschiedenes/ Web-Theme Optionen den "Zeitintervall für den Live Graphen der Hauptseite" erhöhen auf max. 120 Min.
VG

[jmoellers]

...
Der Default-Graph zeigt aber nur eine halbe Stunde an, das "Logging -> Graph" zwar einen ganzen Tag, aber schwer zu analysieren.

Gibt es einem Möglichkeit, die im Default-Graphen angezeigt werden, "abzugreifen" um sie z.B. in CSV-Dateien (eine pro Tag) zu speichern?

Du könntest auch unter Einstellungen/ Verschiedenes/ Web-Theme Optionen den "Zeitintervall für den Live Graphen der Hauptseite" erhöhen auf max. 120 Min.
VG

Danke, aber dann würde mir das Programmieren ja keinen Spaß mehr machen
Und ich habe mich jetzt schon so an die 30min gewöhnt, daß ich das erst mal so lasse.

Schönes Wochenende,

Josef

[okaegi]

Hallo Leute,
Mit der neuesten nightly haben wir nun eine neue Datenbasis für die online Auswertungen (Monat und Jahr). Und ich habe die Daten so strukturiert, dass diese einfach in Excel importiert werden können.

Im Einzelnen ändert sich folgendes:

1) Nur noch die Daily csv Dateien sind als Datenbasis relevant (unter openWB/web/logging/data/daily zu finden)
2) Basierend auf diesen Dateien wird eine neue Monatsdatei (mit Header und mit einer Zeile pro Tag) und eine neue Monatssummendatei (mit Header und einer Zeile pro Monat und eine Kontrollzeile) gerechnet, die sowohl die Zählerstände (wie heute) als auch den jeweiligen Bezug / Einspeisung / usw für die jeweilige Periode beinhaltet.
3) Die Monatsdatei hat folgenden Aufbau:

Spalte 1 - 41
Zähler:

Spalte 42
Trennwert fix -1
Spalte 43 -83
Berechnete Beträge

(alle unter 192.xxx.xx.xx//openWB/web/logging/data/v001/yyyymmonl.csv zu finden)
(die aktuellen Monatsdatei unter 192.xxx.xx.xx/openWB/ramdisk/logaktmonthonl.csv zu finden)

4) Die Monatsdateisummendatei hat folgenden Aufbau:
Zeile 1 Kontrollzeile

x3.png (8.93 KiB) 5711 mal betrachtet

Hier steht in Spalte 1 die Anzahl Spalten - 1 (siehe Punkt 3)
In Spalte 4 und 6 der letzte verarbeitet Tag und die letzte Uhrzeit

Ab Zeile zwei ist die Datei aufgebaut wie die Monatsdatei (siehe Punkt 3)

(alle unter 192.xxx.xx.xx//openWB/web/logging/data/v001/yyyymmonls.csv zu finden)
(die aktuellen Monatsdatei unter 192.xxx.xx.xx/openWB/ramdisk/logaktmonthonls.csv zu finden)

5) Die Monatsdateien werden täglich im Cronnightly überprüft:
Sofern sich an der Datenbasis etwas ändern (d.h. neue noch nicht verarbeitete Daily csv für einen Monat gefunden werden oder Veränderung der Anzahl Spalten) wird die jeweilige Monatsdatei neu erstellt

6) Der aktuelle Monat wird auch beim reboot neu gerechnet da dieser wegen der laufenden Änderung auf der Ramdisk liegt.

Warum das ganze:
a) In Zukunft (nachdem die Monatsansicht und Jahresansicht umgestellt sind ) basieren sämtliche Auswertungen nur auf eine Datenquelle (daily files).
b) Die Berechnung und Validierung der Daten basierend auf den Zählerständen findet auf dem Raspi statt und nicht mehr im Browser.
c) Risse in den Zählerständen (z.B. aufgrund Austausch WR) führen zu einem maximalen Datenverlust von 5 Minuten für einen einzelne Datenreihe (und nicht mehr wie alt eine ganzen Tag oder einen ganzen Monat)
(d) und ich persönlich wollte die Daten gerne im Excel verarbeiten)

Noch ein Hinweis:
Nach der Installation von der neuesten nighlty braucht es einen Cronnighly Verarbeitung (also ein Tag warten) , damit alle historischen Daten (ab 2018) verarbeiten werden und auf der sd Karte abgelegt werden. Jeder abgeschlossene Monat wird nur einmal gerechnet.

Bitte testen und Feedback,
Gruss Oliver
P.S.: das Log vom csvcalc findet ihr auch auf der Ramdisk 192.xxx.xx.xx/openWB/ramdisk/csvcalc.log