Datenübernahme von 1.9 in software2

[matzbe]

Doch hat funktioniert.

Lediglich das EVU Kit PV für einen Kaco2012 WR lädt nicht.

[matzbe]

Doch hat funktioniert.

Lediglich das EVU Kit PV für einen Kaco2012 WR lädt nicht.

Erledigt als openWB flex (PV Kit) eingebunden

[Thomas aus W]

Bei mir klemmt's noch. Ich habe jetzt man die "problematischen" Dateien aus dem 1.9er Backup gelöscht so dass nur ein paar wenige logs aus den letzten 2 Jahren über sind (siehe Anhang1).

Fehler, die ich bekomme sind (beispielhaft):

Code: Alles auswählen

2024-02-06 21:08:22,170 - Fehler beim Konvertieren des Logs vom 202401.csv
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 289, in convert
    content["totals"] = get_totals(merged_entries)
AttributeError: 'LegacySmartHomeLogData' object has no attribute 'update'

oder

Code: Alles auswählen

2024-02-06 21:08:04,353 - Fehler beim Konvertieren des Lade-Logs vom 202401.csv, Reihe ['05.01.24-00:01', '05.01.24-03:23', '11
0', '19.90', '5.91', '3 H 22 Min', '2', '7', '0', '6.56']
Traceback (most recent call last):
  File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 220, in _charge_log_file_entries
    cp_name = None
TypeError: get_ev_to_rfid() missing 1 required positional argument: 'vehicle_id'

kann man das im Migrations-Script fixen oder muss ich die CSVs manipulieren?
Wenn letzteres, wie?

bye
TW

[fawick]

Bei meiner Datenuebernahme wurden die Zeitreihen auch nicht richtig importiert, obwohl die Datenmigration als erfolgreich abgeschlossen wurde. Log anbei (gzipped).

data_migration.log.gz

(33.66 KiB) 63-mal heruntergeladen

Softwarestand der OpenWB zum Zeitpunkt der Migration: 2024-02-05 11:52:39 +0100 [352561b7c]

In /var/www/html/openWB/data/daily_log existiert nun fuer jeden Tag, der importiert werden sollte, eine JSON-Datei mit folgenden Inhalt:

Code: Alles auswählen

{"entries": [], "totals": {}}

In /var/www/html/openWB/data/monthly_log sieht es so aus:

Code: Alles auswählen

/var/www/html/openWB/data/monthly_log $ ls -l
insgesamt 252
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-bezug.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-date.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-einspeisung.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-ll1.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-ll2.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-ll3.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-llg.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 201811-pv.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-bezug.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-date.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-einspeisung.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-ll1.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-ll2.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-ll3.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-llg.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-pv.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-speicherewh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-speicheriwh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-verbraucher1ewh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-verbraucher1iwh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-verbraucher2ewh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202002-verbraucher2iwh.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202012.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202101.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202102.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202103.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202104.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202105.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202106.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202107.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202108.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202109.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202110.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202111.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202112.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202201.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202202.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202203.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202204.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202205.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202206.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202207.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202208.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202209.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202210.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202211.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202212.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202301.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202302.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202303.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202304.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202305.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202306.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202307.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202308.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202309.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202310.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202311.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202312.json
-rw-r--r-- 1 openwb openwb   29  7. Feb 19:59 202401.json
-rw-r--r-- 1 openwb openwb 1221  8. Feb 00:00 202402.json

Ich hatte die Wallbox erst ab Januar 2021 in Betrieb, da gab es auf der alten Wallbox-SD-Karte bereits bei Auslieferung vorheriger Logdateien, die davor datieren.

Im /var/www/html/openWB/data/charge_log liegen Dateien, in denen nur ein leeres Paar eckiger Klammern steht, z.B.

Code: Alles auswählen

$ cat 202303.json
[]

[LutzB]

Ich sammel gerade noch ein paar Bugfixes, bevor die Anpassungen in den Master kommen. Wollte nur einen Zwischenstand liefern.

Code: Alles auswählen

AttributeError: 'LegacySmartHomeLogData' object has no attribute 'update'

Wird behoben.

Code: Alles auswählen

TypeError: get_ev_to_rfid() missing 1 required positional argument: 'vehicle_id'

Wird behoben.

Code: Alles auswählen

ValueError: time data '20200206-soc 0:0' does not match format '%Y%m%d %H:%M'

Wird behoben.

[fawick]

Ich sammel gerade noch ein paar Bugfixes, bevor die Anpassungen in den Master kommen. Wollte nur einen Zwischenstand liefern. [...]

Danke schoen fuer die Info!

Ist es noetig, vor dem naechsten Ausprobieren der Datenmigration das Backup der software2 zu laden, das ich VOR dem ersten Versuch der Datenmigration gemacht? Oder kann man "einfach Migration nochmals anstossen"?

[LutzB]

So, der PR ist jetzt im aktuellen Master enthalten.

Ist es noetig, vor dem naechsten Ausprobieren der Datenmigration das Backup der software2 zu laden, das ich VOR dem ersten Versuch der Datenmigration gemacht? Oder kann man "einfach Migration nochmals anstossen"?

Du kannst die Datenübernahme einfach erneut mit dem 1.9er Backup starten. Eventuell vorhandene Daten werden dann für den im Backup enthaltenen Zeitraum überschrieben bzw. ergänzt.

Bitte testet das übers Wochenende mal, da wir zügig in Richtung neue Beta bzw. Release gehen möchten, sobald die grundlegenden Probleme beseitigt sind.

[fawick]

Habe den aktualisierten Master (2024-02-09 13:43:35 +0100 [83b8ba48d]) getestet. Tagesgraphen und Ladelog sind erfolgreich importiert worden, Monats- und Jahresgraphen nicht. Log anbei.

data_migration.log

(67.31 KiB) 45-mal heruntergeladen

[Heavendenied]

Bei mir klappt das jetzt (aktuelle Master von heute 13:43) mit der Datenübernahme leider noch schlechter als vor ein paar Wochen.
In den NAchrichten kommt das hier:
Bei der Verarbeitung des Befehls 'dataMigration' mit den Parametern '[object Object]' ist ein Fehler aufgetreten:
Es ist ein interner Fehler aufgetreten: Traceback (most recent call last):
File "/var/www/html/openWB/packages/helpermodules/command.py", line 127, in on_message
func(connection_id, payload)
File "/var/www/html/openWB/packages/helpermodules/command.py", line 739, in dataMigration
migrate_data.migrate()
File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 96, in migrate
raise e
File "/var/www/html/openWB/packages/helpermodules/data_migration/data_migration.py", line 91, in migrate
thread_handler(self.convert_csv_to_json_measurement_log("daily"), None)
File "/var/www/html/openWB/packages/helpermodules/utils/_thread_handler.py", line 18, in thread_handler
thread.start()
File "/usr/lib/python3.9/threading.py", line 874, in start
_start_new_thread(self._bootstrap, ())
RuntimeError: can't start new thread

Das komplett Log hänge ich an.

data_migration.log

(133.99 KiB) 36-mal heruntergeladen

Als Ergebnis habe ich komplett leere Auswertungen und ein leeres Ladeprotokoll.

[keepout]

Ich möchte mich gerne anhängen und mein Problem schildern. Ich habe mehrere Testsysteme durch, schaffe es nicht, eine Datenübernahme korrekt einzuspielen.

Hier das Protokoll des letzten Versuchs:

Laufende OpenWB mit Update 1.9.304.0 (ist kein stable – geht also laut Anleitung nicht)
Datensicherung 1 auf PC

Testsystem Raspi 3
Image 1.9.220 auf neue SDHC Karte geflasht
Update auf 1.9.303 stable
Datensicherung 1 aufgespielt – Testsystem sieht genauso aus wie laufende OpenWB
Datensicherung 2 vom Testsystem auf PC gezogen

Neue SDHC Karte mit Software 2.1.2. patch 1.1. geflasht
Update auf neueste Beta
Ersteinrichtung durchgeführt – alles da
Datenübernahme von Datensicherung 2 gestartet – Dauer 56 Minuten
Keine Daten vor 9.2.24 auffindbar

Log:
Bei der Verarbeitung des Befehls 'getDailyLog' mit den Parametern '[object Object]' ist ein Fehler aufgetreten:
Es ist ein interner Fehler aufgetreten: Traceback (most recent call last):
File "/var/www/html/openWB/packages/helpermodules/command.py", line 127, in on_message
func(connection_id, payload)
File "/var/www/html/openWB/packages/helpermodules/command.py", line 561, in getDailyLog
get_daily_log(payload["data"]["day"]))
File "/var/www/html/openWB/packages/helpermodules/measurement_logging/process_log.py", line 142, in get_daily_log
data = _analyse_energy_source(data)
File "/var/www/html/openWB/packages/helpermodules/measurement_logging/process_log.py", line 292, in _analyse_energy_source
data["totals"] = analyse_percentage_totals(data["entries"], data["totals"])
File "/var/www/html/openWB/packages/helpermodules/measurement_logging/process_log.py", line 347, in analyse_percentage_totals
totals["cp"]["all"][f"energy_imported_{source}"] += entry["cp"]["all"][f"energy_imported_{source}"]*1000
KeyError: 'energy_imported_grid'

Hat jemand eine Idee, wo ich ansetzen könnte?

lg Andreas