Datenübernahme von 1.9 in software2

[aiole]

@KrailPV
Lies doch bitte das Tutorial. Das ist sehr wichtig. https://openwb.de/main/?page_id=1104
Du hast z.B. Punkt 2. nicht beachtet.

[shesse]

Ich bin soeben auch auf die Version 2.0 mit Datenübernahme umgestiegen. Leider habe ich bei der Kontrolle des Ladeprotokolls Abweichungen festgestellt. Hier mal eine Übersicht der Ladeverbräuche:

Screenshot 2023-08-22 004058.png (9.68 KiB) 1039 mal betrachtet

Wie man sieht stimmen einige Monate exakt, dafür sind andere mit größeren oder kleineren Abweichungen importiert worden.
Der Mai weist die größte Abweichung auf.
Die CSV-Dateien kann ich gern zur Verfügung stellen, wenn das hilft.

[LutzB]

Wie man sieht stimmen einige Monate exakt, dafür sind andere mit größeren oder kleineren Abweichungen importiert worden.
Der Mai weist die größte Abweichung auf.
Die CSV-Dateien kann ich gern zur Verfügung stellen, wenn das hilft.

Da die Summen in 2.x immer kleiner sind, wird beim Import einzelner Zeilen ein Problem aufgetreten sein.
Am Besten mal in die Logdateien schauen. Da werden Fehlermeldungen zum Import auftauchen.

[shesse]

Kann es sein, dass die Logeinträge bei einem Neustart gelöscht werden?

Wenn es mir gelingen sollte die problematischen Einträge zu finden, habe ich dann überhaupt noch eine Chance diese fehlenden Werte nachträglich zu importieren?

Inzwischen habe ich mein Auto geladen und damit neue Einträge produziert, die nicht in dem Backup enthalten wären. Wenn ich jetzt ein Backup zurückspiele und erneut die korrigierten Daten importieren würde, würden mir diese neuen Einträge ja fehlen.

Macht es für mich überhaupt noch Sinn sich damit zu beschäftigen?

[LutzB]

Ja, die sind doch in einer Ramdisk.

Alternativ manuell die 1.9 mit 2.x vergleichen und die fehlenden Einträge im 1.9er CSV raussuchen.

[shesse]

Bei einem Neustart sollte doch aber die Ramdisk geordnet noch ins Log geschrieben werden und nicht einfach gelöscht werden, oder nicht?
Ich habe die Box ja nicht hart ausgeschaltet, sondern sauber über "Neustart" rebootet.

Wo finde ich denn die Logdateien im 2.0 und wie komme ich da ran, um manuelle Änderungen zu machen?
Einen root-Zugang gibt es ja nicht mehr.

Ich könnte mir einen Test-Raspi schnappen und dort den Import noch mal machen, um da dann das Log anzuschauen. Danach müsste ich die fehlenden Daten aber manuell in die 2.0er Logs überführen.

[LutzB]

Nein, die Logdateien werden nicht gesichert. Dadurch werden die Schreibzyklen auf die SD Karte verringert.

Das Ladelog kannst Du einfach als CSV exportieren. Die Funktion ist im GUI.

Zuerst sollten wir feststellen, welche Einträge verworfen wurden und was daran nicht passt. Dann sehen wir weiter.

[shesse]

Ich habe jetzt auf meinem Test-Raspi noch einmal die gleichen Schritte zum Import übernommen und interessanterweise folgendes Ergebnis:

Wie man sehen kann, sind jetzt beim 2. Versuch deutlich mehr Monate korrekt importiert worden (z.B. Mai und Juni 2023). Das Backup, welches genutzt wurde, ist exakt die gleiche Datei wie beim ersten Mal.
Die Logs habe ich alle gesichert. Im Main-Log sieht man tausende Einträge der Art

Code: Alles auswählen

2023-08-22 14:02:38,696 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20181115-einspeisung.csv} - Fehler beim Konvertieren des Tages-Logs vom 20181115-einspeisung.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20181115-einspeisung 0:0' does not match format '%Y%m%d %H:%M'
2023-08-22 14:02:38,701 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20200207-verbraucher3.csv} - Fehler beim Konvertieren des Tages-Logs vom 20200207-verbraucher3.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20200207-verbraucher3 0:0' does not match format '%Y%m%d %H:%M'
2023-08-22 14:02:38,704 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20181115-ll2.csv} - Fehler beim Konvertieren des Tages-Logs vom 20181115-ll2.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20181115-ll2 0:0' does not match format '%Y%m%d %H:%M'
2023-08-22 14:02:38,726 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20181115-einspeisung.csv} - Fehler beim Konvertieren des Tages-Logs vom 20181115-einspeisung.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20181115-einspeisung 0:0' does not match format '%Y%m%d %H:%M'
2023-08-22 14:02:38,729 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20200207-verbraucher3.csv} - Fehler beim Konvertieren des Tages-Logs vom 20200207-verbraucher3.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20200207-verbraucher3 0:0' does not match format '%Y%m%d %H:%M'
2023-08-22 14:02:38,731 - {helpermodules.data_migration.data_migration:423} - {ERROR:convert daily 20181115-ll2.csv} - Fehler beim Konvertieren des Tages-Logs vom 20181115-ll2.csv, Reihe ['0']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 335, in _daily_log_entry
    "timestamp": datetime.datetime.strptime(f"{file[:-4]} {time}", "%Y%m%d %H:%M").timestamp(),
  File "/usr/lib/python3.9/_strptime.py", line 568, in _strptime_datetime
    tt, fraction, gmtoff_fraction = _strptime(data_string, format)
  File "/usr/lib/python3.9/_strptime.py", line 349, in _strptime
    raise ValueError("time data %r does not match format %r" %
ValueError: time data '20181115-ll2 0:0' does not match format '%Y%m%d %H:%M'

Was mich wundert ist die Tatsache, dass jetzt plötzlich mehr Monate korrekt importiert wurden. Eigentlich hätte ich erwartet genau das gleiche Ergebnis zu sehen, wenn es ein Bug im Code wäre.
Ich würde jetzt ungern den Import so oft wiederholen, bis ich alle Monate richtig habe. Das kann ja dauern...

[shesse]

Hi,

bringt der Auszug aus dem Log Dich weiter, oder benötigst Du noch mehr Daten?

Die gesamten Logs lassen sich mit winRAR auf 20kb packen. Ich würde sie nur ungern hier hochladen, da ich nicht weiß was da alles so an persönlichen Daten drin ist. Ich kann sie Dir/Euch aber gern zur Verfügung stellen.

[shesse]

Hi @LutzB,

wärest Du bereit mir noch weiter zu helfen?

Gruß,
Stefan