Re: [vz-users] Gaszähler mit Itron Cable Sensor V"

[Friedrich Kessler]

Hallo Klaus,

Welche günstige, sehr einfache Lösungen sind dies, hast du einen Link.
VG
Fritz

Von:  volkszaehler-users 
on behalf of Klaus Reichenecker 
Antworten an:  "volkszaehler.org - users"

Datum:  Dienstag, 14. Februar 2023 um 18:29
An:  "'volkszaehler.org - users'" 
Betreff:  Re: [vz-users]  Gaszähler mit Itron Cable Sensor V"

Hallo Günther,
 
der Itron cable V2 verhält sich doch am Ausgang wie ein normaler
Reedkontakt?
 
Womit realisierst Du die Anbindung an USB?
 
Es gibt übrigens sehr einfache, günstige Lösungen die direkt per WLAN die
Impulse an VZ schicken, ganz ohne Umweg über USB, Raspberry usw
z.B. ESPEasy
 
Viele Grüße
 
Klaus
 
 
 
 
 

Von: volkszaehler-users 
Im Auftrag von Günther Vonhof 73312 Geislingen
Gesendet: Dienstag, 14. Februar 2023 18:23
An: volkszaehler-us...@lists.volkszaehler.org
Betreff: [vz-users] Gaszähler mit Itron Cable Sensor V"
 
Hallo,
 
ich habe den Itron cable V2 montiert.
Ich möchte die S0-Impulse über USB auswerten..
Angezeigt bekomme ich im Volkszähler nicht.
 
Wie könnte ich die Schnittstelle testen?
 
Mit diesem Befehl bekomme ich folgendes angezeigt:
 
strace -ttt -e read cat  < /dev/ttyUSB0 > /dev/null
 
1676392129.792865 read(3,
"\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0(\0\1\0\0\0\254\3\0\0004\0\0\0"..., 512)
= 512
1676392129.795866 read(3,
"\177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0(\0\1\0\0\0\240\255\1\0004\0\0\0"...,
512) = 512
1676392129.802560 read(0, "", 131072)   = 0
1676392132.168172 +++ exited with 0 +++
 
Wie soll ich diese Information interpretieren?
 
Danke im VorausŠ
 
 
Günther 
 

Re: [vz-users] SD-Karten Crash

[Friedrich Kessler]

Hallo Stefan,
auch wenn SSD nicht „Deine“ Lösung ist.
Mit der SSD hast du absolut keine Schreibaktivitäten auf der SD Card – und
damit 0 – Stress. Es gibt für den Zero  Adapter mit weiteren USB Anschlüssen
(ich habe einen Zero 2w – damit habe ich alle Anschlussmöglichkeiten – für
ca. 17,—€).
Gruss
Friedrich

Von:  volkszaehler-users 
on behalf of "Stefan S." 
Antworten an:  "volkszaehler.org - users"

Datum:  Montag, 28. November 2022 um 17:55
An:  
Betreff:  Re: [vz-users] SD-Karten Crash


 Hallo,
 
 SSD ist nicht wirklich eine Lösung da ich einen Raspberry Zero W verwende.
 Wenn ich es richtig verstehe bewirkt eine "aggtime: 60", dass nur alle 60s
in die mySQL Datenbank geschrieben wird?
 Das muss doch gehen?
 
 Gruß,
 Stefan
 
 
Am 22.11.2022 um 13:57 schrieb Sebastian Blaesing:
 
 
>   Ergänzend: wie Freidrich sagte, bei den Pi 2 ist eine SD-Karte zum booten
> nötig(es sei denn man will aufwendig Firmware Updates einspielen), bei den
> neueren nicht. Da bootet er von der SSD oder USB Stick, wenn keine SD Karte
> eingesteckt ist. Eine SSD ist auf jedenfall der richtige Weg um SD-Karten-Tod
> vorzubeugen 
>  
>  
> Von meinem iPhone gesendet
>  
> 
>  
>> Am 22.11.2022 um 13:38 schrieb Friedrich Kessler 
>> <mailto:v...@riare.de> :
>>  
>>  
>  
>  
>>  
>>  
>> Hallo,
>>  
>> Ich habe an 4 Raspis 2 seit 2015  SSD’s  mit allen Daten drauf. Lediglich zum
>> Booten wird die SD Card benötigt (hat aber in den 8 Jahren keine 10x booten
>> müssen).
>>  
>> Läuft alles ohne Probleme – und eine SSD ist heute keine wirkliche
>> Investition im Verhältnis zum Aufwand und Ärger.
>>  
>> Gruss
>>  
>> Friedrich
>>  
>> 
>>  
>>   
>> Von:  volkszaehler-users 
>> on behalf of "Stefan S." 
>>  Antworten an:  "volkszaehler.org - users"
>> 
>>  Datum:  Dienstag, 22. November 2022 um 06:52
>>  An:  
>>  Betreff:  [vz-users] SD-Karten Crash
>>  
>>  
>> 
>>  
>>  
>>   
>>  Hallo,
>>  
>>  meine SD-Karten halten aktuell kaum länger als ein Jahr. Bei mir sind
>> inzwischen schon einige zerstört.
>>  Kann ich an der Config noch was optimiert werden, damit diese länger halten?
>> Danke!
>>  
>>  {
>>  // General settings
>>  "daemon": true,// run periodically
>>  "verbosity": 0, // log verbosity (0=log_alert, 1=log_error,
>> 3=log_warning, 5=log_info, 10=log_debug, 15=log_finest)
>>  "log": "/var/log/vzlogger.log", // log file, optional
>>  "retry": 30,// http retry delay in seconds
>>  
>>  // Build-in HTTP server
>>  "local": {
>>  "enabled": false,   // enable local HTTPd for serving live readings
>>  "port": 8080,   // TCP port for local HTTPd
>>  "index": true,  // provide index listing of available channels
>> if no UUID was requested
>>  "timeout": 30,  // timeout for long polling comet requests in
>> seconds (0 disables comet)
>>  "buffer": 600// HTTPd buffer configuration for serving
>> readings, default -1
>>  //   >0: number of seconds of readings to serve
>>  //   <0: number of tuples to server per channel
>> (e.g. -3 will serve 3 tuples)
>>  },
>>  
>>  // realtime notification settings
>>  "push": [
>>  {
>>  "url": "http://127.0.0.1:5582; <http://127.0.0.1:5582>   //
>> notification destination, e.g. frontend push-server
>>  }
>>  ],
>>  // Meter configuration
>>  "meters": [{
>>  
>>  "enabled" : true,
>>  "allowskip": false,
>>  "aggtime": 60,
>>  "aggfixedinterval": false,
>>  "channels": [{
>>  "uuid" : "",
>>  "middleware" : "http://localhost/middleware.php;
>> <http://localhost/middleware.php> ,
>>  "identifier" : "1-0:1.8.0",  //Zählerstände
>>  "api": "volkszaehler",
>>  "aggmode": "max"
>>  }, {
>>  "uuid" : "",
>>  "middleware" : "http://localhost/middleware.php;
>> <http://localhost/middleware.php> ,
>>  "identifier" : "1-0:16.7.0", // Leistungswerte
>>  "api": "null",
>>  "aggmode": "none"
>>  }],
>>  "protocol": "sml",
>>  "device": "/dev/ttyUSB0",
>>  "baudrate": 9600,
>>  "parity": "8n1",
>>  "use_local_time": true
>>  },
>>  
>>  Gruß,
>>  Stefan
>>  
>>  
>>   
>>  
>  
 
 

Re: [vz-users] SD-Karten Crash

[Friedrich Kessler]

Hallo,
Ich habe an 4 Raspis 2 seit 2015  SSD¹s  mit allen Daten drauf. Lediglich
zum Booten wird die SD Card benötigt (hat aber in den 8 Jahren keine 10x
booten müssen).
Läuft alles ohne Probleme ­ und eine SSD ist heute keine wirkliche
Investition im Verhältnis zum Aufwand und Ärger.
Gruss
Friedrich

Von:  volkszaehler-users 
on behalf of "Stefan S." 
Antworten an:  "volkszaehler.org - users"

Datum:  Dienstag, 22. November 2022 um 06:52
An:  
Betreff:  [vz-users] SD-Karten Crash


 Hallo,
 
 meine SD-Karten halten aktuell kaum länger als ein Jahr. Bei mir sind
inzwischen schon einige zerstört.
 Kann ich an der Config noch was optimiert werden, damit diese länger
halten? Danke!
 
 {
 // General settings
 "daemon": true,// run periodically
 "verbosity": 0, // log verbosity (0=log_alert, 1=log_error,
3=log_warning, 5=log_info, 10=log_debug, 15=log_finest)
 "log": "/var/log/vzlogger.log", // log file, optional
 "retry": 30,// http retry delay in seconds
 
 // Build-in HTTP server
 "local": {
 "enabled": false,   // enable local HTTPd for serving live readings
 "port": 8080,   // TCP port for local HTTPd
 "index": true,  // provide index listing of available channels
if no UUID was requested
 "timeout": 30,  // timeout for long polling comet requests in
seconds (0 disables comet)
 "buffer": 600// HTTPd buffer configuration for serving
readings, default -1
 //   >0: number of seconds of readings to serve
 //   <0: number of tuples to server per channel
(e.g. -3 will serve 3 tuples)
 },
 
 // realtime notification settings
 "push": [
 {
 "url": "http://127.0.0.1:5582;    //
notification destination, e.g. frontend push-server
 }
 ],
 // Meter configuration
 "meters": [{
 
 "enabled" : true,
 "allowskip": false,
 "aggtime": 60,
 "aggfixedinterval": false,
 "channels": [{
 "uuid" : "",
 "middleware" : "http://localhost/middleware.php;
 ,
 "identifier" : "1-0:1.8.0",  //Zählerstände
 "api": "volkszaehler",
 "aggmode": "max"
 }, {
 "uuid" : "",
 "middleware" : "http://localhost/middleware.php;
 ,
 "identifier" : "1-0:16.7.0", // Leistungswerte
 "api": "null",
 "aggmode": "none"
 }],
 "protocol": "sml",
 "device": "/dev/ttyUSB0",
 "baudrate": 9600,
 "parity": "8n1",
 "use_local_time": true
 },
 
 Gruß,
 Stefan
 

Re: [vz-users] Verbindung zur Datenbank von außen + Absturz

[Friedrich Kessler]

Hallo Mirko, hallo Rupert,

Ich habe seit 3 Jahren ein php Script laufen (cronjob). Es fragt in der DB
alle 5 Minuten die Anzahl der S0 Impulse der letzten 5 Minuten ab und
Mitteln den Wert. Darüber erhalte ich die aktuell  verbrauchte Leistung.
Habe 3 Raspi¹s mit 15 S= Zählern.
Frage jeden ab und bilde die Summe welche ich dann mittels matt an Node-red
weiterleitet (kann damit den Akt. Verbrauch visualisieren).
Node-red schreibt dann den Wert in eine eigene Tabelle.
Diese kann ich auswerten.

MariaDB [test]> select * from test where bezeichnung ='Akt_Stromverbrauch';

+-+-++--+-+

| id  | datum   | bezeichnung| wert | strwert |

+-+-++--+-+

|   34438 | 2017-01-31 22:10:03 | Akt_Stromverbrauch |  288.000 | |

|   34440 | 2017-01-31 22:15:03 | Akt_Stromverbrauch |  264.000 | |

|   34442 | 2017-01-31 22:20:02 | Akt_Stromverbrauch |  300.000 | |

|   3 | 2017-01-31 22:25:02 | Akt_Stromverbrauch |  312.000 | |

|   34446 | 2017-01-31 22:30:03 | Akt_Stromverbrauch |  360.000 | |

|   34448 | 2017-01-31 22:35:03 | Akt_Stromverbrauch |  396.000 | |



Es gibt wahrscheinlich bessere Möglichkeiten über die Middleware ­ aber da
bin ich nicht mehr am laufenden. Da meine VZ ohne Updates seit 2014 völlig
stabil vor sich hin laufen. (habe SSD¹s dran).



Gruss 

Fritz



Von:  volkszaehler-users 
on behalf of Rupert Schöttler 
Antworten an:  "volkszaehler.org - users"

Datum:  Donnerstag, 6. Januar 2022 um 13:32
An:  
Betreff:  Re: [vz-users]  Verbindung zur Datenbank von außen + Absturz


 

Hallo Mirko,
 
 
Am 04.01.22 um 22:41 schrieb onlineor...@gmx.de:
 
 
>
> bei mir scheinen Änderungen an der 50-Server.cnf immer wieder mit den
> Default-Werten überschrieben zu werden. Nach einem Neustart steht da wieder
> 127.0.0.1 drin, obwohl ich nach dem Ändern per Nano und nach dem Verlassen des
> Editors und erneutem Aufruf der Config per Nano noch meine neuen Einstellungen
> sehe. Der Neustart machtŒs dann rückgängig.
>  
 

Warum das passiert, kann ich auch nicht erklären. Da bin ich raus.
 
 


 
 
>  
> Gern würde ich eigentlich mal eine Zusammenfassung der Verbräuche nach
> Tageszeit sehen: also alle erfassten Daten der letzten Monate (bspw. 365 Tage
> zurück) nach Uhrzeit gruppieren. Damit ich sehen kann, wann wir den höchsten
> Stromverbrauch im Laufe eines Tages haben. Ggf. Noch nach Wochentagen oder
> Monaten gruppiert.
> Hast Du so etwas schon mal versucht/gemacht?
>  
>  
 

Du meinst so was wie mittlerer Verbrauch an Sonntagen 2021 zwischen 10 und
11h, zwischen 11 und 12h usw.? Ja, das wäre spannend!
 

Mit welcher Plattform / Programmiersprache würdest Du das machen wollen?
 
 
* SQL? Dann könntest Du die Abfragen / Prozeduren auch direkt in der MariaDB
des VZ implementieren
* PHP? Auch diese Programme kannst Du auf dem Pi mit der DB ablegen (damit
ist der Datenbankzugriff lokal) und das Ergebnis im Browser anschauen. Siehe
z.B. https://wiki.volkszaehler.org/software/frontends/day_values
 

Was ich schon mal realisiert habe, ist eine Excel-Abfrage des
Energieverbrauchs zwischen zwei Zeitpunkten. Da frage ich per Excel-VBA das
API der VZ Middleware ab, siehe
https://wiki.volkszaehler.org/development/api/reference Abschnitt "Messwerte
abfragen". Die VBA-Tools dafür kamen von
https://github.com/VBA-tools/VBA-Web.
 
 


 
 
>  
>  
> Bzgl. des Absturzes: wo finde ich die Logs?
>  
>  
 

Fast alles geht nach /var/log bzw. Unterverzeichnisse. Problem könnte sein,
dass das eine RAM-Disk ist und die nicht oder nur gelegentlich auf die
SD-Karte geschrieben wird -- dann sind die Absturzereignisse nach dem
Neustart ziemlich sicher nicht (mehr) vorhanden...
 


 
 
>  
>  
> Per Putty kann ich den Raspberry bei einem Absturz nicht mehr erreichen.
>  
>  
 

Vermutlich antwortet auch die Website nicht, oder? Könntest Du einen Monitor
an den HDMI-Ausgang und eine Tastatur anschließen, erst mal temporär beim
(Neu-)Start oder im Normalbetrieb und dann im Falle des Crashs, bevor Du den
Strom abstellst?
 


 
 
>  
>  
> Mitte Mai hatte ich mit dem System begonnen. Dann gab es einen Ausfall Mitte
> August dann wieder Mitte November. Es scheint immer so ca 3 Monate zu laufen.
> Ich merke das immer nur per Zufall, da ich mir das nicht regelmäßig ansehe.
>  
>  
 

Ich verwende zur Überwachung meiner Pi's RPi-Monitor
https://github.com/XavierBerger/RPi-Monitor. Da sehe ich die Last, die
Speicherauslastung und nebenbei noch angebotene Updates.
 

Und nicht zuletzt: Wenn Dein Pi mit der MariaDB im "08/15-Standard" nur mit
einer SD-Karte ausgestattet ist, ist nach einigen Monaten wegen der vielen
Schreibvorgänge mit einem Kartendefekt zu rechnen. Besser ist es, zumindest
die root-Partition auf eine SSD (gibt es ja auch als USB-Stick) auszulagern.
Pi4 kann man m.W. auch direkt von USB betreiben, ganz ohne SD-Karte.
 

Re: [vz-users] Image mit dd erstellen / Datenbackup

[Friedrich Kessler]

Hallo,
Die Data Tabelle sieht so aus:
mysql> desc data;
+++--+-+-++
| Field   | Type | Null | Key | Default | Extra   |
+++--+-+-++
| id  | int(11)  | NO   | PRI | NULL| auto_increment |
| channel_id  | int(11)  | YES  | MUL | NULL||
| timestamp   | bigint(20)   | NO   | | NULL||
| value   | double   | NO   | | NULL||
+++--+-+-++
4 rows in set (0.02 sec)

Wie Daniel schon geschrieben hat - dasFeld id wird durch die DB mittels
auto-increment beschrieben und kann nicht

mit „Usermitteln“ gefüllt werden. Ich kenne an dieser Stelle dbcopy nicht
- eigentlich sollte dieses Feld erst gar nicht gesichert werden wenn die
Rücksicherung in eine VzDB erfolgen soll.

Gruss
Fritz

Am 24.11.20, 11:01 schrieb "volkszaehler-users on behalf of Daniel
Lauckner" unter :

>Hallo,
>
>
>am Dienstag, 24. November 2020 um 09:21 hat John Doe geschrieben:
>> Ich tippe auf
>> inkonsistente Datenbank an der Stelle. Gibt es eigentlich eine
>> Möglichkeit, die "Richtigkeit" der DB im Sinne der Konsistenz,
>> speziell bei der Uhr-/Systemzeit zu überprüfen ?
>
>Die Fehlermeldung besagt das dbcopy einen Index zu schreiben
>versucht den er nicht doppelt schreiben darf. Das hat nix mit dem
>Inhalt der übrigens Felder im Datensatz zu tun.
>Und der Inhalt der Felder wird da auch nicht auf externe Plausibilität
>überprüft. "Zeit" ist für die Datenbank nur ein Feld mit einer
>ordinären Ganzzahl.
>
>>  Das Problem habe
>> ich auch immer mal wieder und muss dann Daten per =delete
>> solange bereinigen, bis es wieder passt, d.h. unsinnige Peaks
>>verschwunden sind.
>
>Wenn Peaks im Graph sind konnte die Datenbank die Anfrage bearbeiten.
>Da geht die Theorie schon nicht auf.
>
>
>mfg Daniel
>

Re: [vz-users] Image mit dd erstellen / Datenbackup

[Friedrich Kessler]

Hallo zusammen,
Der Timestamp in der DB ist ein Unix Timestamp in ms. Also vorher den
Timestamp durch 1000 dividieren und dann in einen Zeitwert umwanden ­ dann
passt¹s
Grüsse
Fritz

Von:  volkszaehler-users 
on behalf of John Doe 
Antworten an:  "volkszaehler.org - users"

Datum:  Dienstag, 24. November 2020 um 09:21
An:  
Betreff:  Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo zusammen,
 
der timestamp 1590761781023 ergibt Dienstag, 27 März 52379,  16:30:23 Uhr.
Das klingt ein wenig surreal. Wie sehen denn die Daten per visueller
Kontrolle im Verlauf der Monate aus ? Könnte ein Reboot bei noch nicht
wieder vorliegender korrekter Systemzeit des Raspis da ein wenig Unordnung
gemacht haben ? Ich tippe auf inkonsistente Datenbank an der Stelle. Gibt es
eigentlich eine Möglichkeit, die "Richtigkeit" der DB im Sinne der
Konsistenz, speziell bei der Uhr-/Systemzeit zu überprüfen ? Das Problem
habe ich auch immer mal wieder und muss dann Daten per =delete
solange bereinigen, bis es wieder passt, d.h. unsinnige Peaks verschwunden
sind.
Grüße
 
JD.
 
 
Sent: Monday, November 23, 2020 at 8:48 PM
From: "Michael Hartmann" 
To: "volkszaehler.org - users" 
Subject: Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo Thomas,

Ich bin raus. Keine Ahnung, warum ich die Daten nicht retour bekomme. Es ist
scheinbar nur für Menschen mit detailierten DB-Kenntmissen lösbar. Was
solls...

Grüße Micha
 
Am 22. November 2020 15:44:46 MEZ schrieb "Thomas Höpfner"
: 
> Hallo Micha,
> 
>  
> 
> bei mir sieht es so aus:
> 
> - NFS-Freigabe auf NAS  backup/methusalix2 (muss einmal erstellt werden)
> 
> - auf Rechner methusalix2 ein Script backup.sh mit folgenden Funktion:
> 
> 1. mounten der NFS -Freigabe nach /tmp/backup
> 
> 2. Backup der Datenbank mit dbcopy nach /tmp/backup/sqlite.db3
> 
> 3. umount /tmp/backup
> 
> - das Script wird täglich über cron gestardet
> 
>  
> 
> Für meinen Test habe ich
> 
> - VM methusalix3 erstellt
> 
> - volkszähler installeirt
> 
> - die Datei sqlite.db3 in die vm kopiert
> 
> - ein Restore der DB mit dbcopy gestardet, das hat ca 2h gedauert
> 
> - heute habe ich das Backup der letzen Nacht in die VM kopiert
> 
> - und wieder ein Restore der DB mit dbcopy gestardet, diesmal hat es wenige
> Sekunden gedauert.
> 
>  
>  
>> -Ursprüngliche Nachricht-
>> Von: Michael Hartmann 
>> Gesendet: Sonntag 22 November 2020 14:52
>> An: 'volkszaehler.org - users' 
>> Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup
>>  
>> Hallo Thomas,
>>  
>> was soll ich sagen? Ich bekomme die Daten weder in ein mit DD erstelltes
>> Image, noch in ein komplett neu installiertes System zurückgespielt. Es läuft
>> immer wieder auf diesen Fehler:
>> 
>>  
>> pi@SmartMeter:~ $ sudo /usr/bin/php
>> /var/www/volkszaehler.org/vendor/bin/dbcopy copy -c /etc/dbcopy_restore.yaml
>> entities: copying 7 rows (overwrite)
>> [] 100%  < 1 sec/< 1 sec  7 rows
>>  
>> properties: copying 63 rows (overwrite)
>> [] 100%  < 1 sec/< 1 sec  63 rows
>>  
>> entities_in_aggregator: copying 0 rows (overwrite)
>> 0 [->--] < 1 sec 4.0 MiB
>>  
>> data: copying 7855387 rows (overwrite)
>> [>---]   0%  < 1 sec/< 1 sec0 rows
>> In AbstractMySQLDriver.php line 74:
>>  
>>   An exception occurred while executing 'INSERT INTO `data`
>> (`id`,`channel_id`,`timestamp`,`value`) VALUES (?,?,?,?)' with para
>>   ms ["1", "2", "1590761781023", "826598.2"]:
>>  
>>   SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1'
>> for key 'PRIMARY'
>>  
>>  
>> In Exception.php line 18:
>>  
>>   SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1'
>> for key 'PRIMARY'
>>  
>>  
>> In PDOStatement.php line 115:
>>  
>>   SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1'
>> for key 'PRIMARY'
>>  
>>  
>> 
>> copy [-c|--config CONFIG] [-b|--batch BATCH] [-k|--keep-constraints] [--]
>> [...]
>>  
>> Die Kanäle werde dabei korrekt zurückgespielt, den sie stehen mir im FE zur
>> Verfügung.
>>  
>> Das ist frustrierend. Nun habe ich mit eurer Hilfe eine DB auf meinem NAS
>> generiert in die ich täglich die Daten sichere, aber scheinbar ohne nutzbaren
>> Wert da ich sie nicht wieder heraus bekomme. :-/
>>  
>> Grüße
>>  
>> Micha
> Wie gesagt, das währe mit Netzwerk zu erklären.
> 
>  
> Mit freundlichen Grüßen,
> 
> Thomas 
>  
> 
>  
>> 
>>  

--
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.

Re: [vz-users] Image mit dd erstellen / Datenbackup

[Friedrich Kessler]

Hallo,

Ich muss mich mal outen. Ich habe 3 Vz mit Erweiterungsplatinen (16 S0
Zähler) seit 2014 (wheezy und keine Updates) am Laufen. (Raspis mit SSDs).
Von diesen frage ich auf DB Ebene
die Daten der letzten 3 Tage (im 15 min Takt ab) ab und füge diese auf einem
weiteren gleichen „alten“ Raspi mit SSD ein. So habe ich in einer DB alle
Daten der 3 Raspis.
Von hier hole ich mitr alle Daten für Auswertungen. Von hier werden
ebenfalls per DB Scripts die Daten der letzten 3 Tage abgefragt und in einen
CubieTruck (hatte ich über) importiert. Alles ganz simpel mittels
Shellscripten und Cron Jobs. So habe ich bis heute 11.370.555  Datensätze in
der Data Tabelle. Die DB ist damit gut gesichert, ich brauche keine
Downtimes für die Sicherung und da die Raspis nur noch von der SD-Card
booten habe ich auch keine sooo grosse Angst vor einem Karten Crash.
Gebe zu, ist keine super professionelle Lösung -> läuft aber seit 2014
stabil. Bis dato hatte ich lediglich 3 x Downtimes. 2 x Stromausfall und
einmal Ausfall eines Switches welchen
Ich nicht sofort erkannt hatte.
Gruss
Fritz


Von:  volkszaehler-users 
on behalf of Michael Hartmann 
Antworten an:  "volkszaehler.org - users"

Datum:  Mittwoch, 18. November 2020 um 20:49
An:  "volkszaehler.org - users" 
Betreff:  Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo Fritz,

da ich in dbcopy.yaml pk konfiguriert habe sollten doch nur fehlende Daten
ergänzt werden. Das funktionert in der anderen Richtung beim täglichen
Backup via cronjob doch auch.

Grüße

Micha

Am 18. November 2020 19:27:04 MEZ schrieb Friedrich Kessler :
> Hallo,
> In der Fehlermeldung steht ja genau drin weshalb die Daten nicht importiert
> werden – die Daten sind bereits in der DB mit dem gleichen Primare Key.
> Import in eine leere DB sollte m.E problemlos funktionieren.
> Gruss
> Fritz
> 
> Von:  volkszaehler-users  on
> behalf of Michael Hartmann 
> Antworten an:  "volkszaehler.org - users"
> 
> Datum:  Dienstag, 17. November 2020 um 09:57
> An:  
> Betreff:  Re: [vz-users] Image mit dd erstellen / Datenbackup
> 
> Hallo,
>  
> ich habe gestern ein zweiten Versuch mit einem "frischen" DD-Image auf dem
> "Zweitsystem" gemacht. Das Resultat ist identisch. Beim Ergänzen der Daten aus
> dem DB-Backup bekomme ich den gleichen Fehler mit abweichenden Daten (s.
> Textfile im Anhang).
>  
> Nun interessiert mich nach wie vor, woran DBCOPY sich da stört. Denn ich habe
> die Befürchtung, dass sich die Daten auch in eine neue Installation mit leerer
> DB nicht zurückspielen lassen. Das hätte ich gerne geklärt, bevor ich mir die
> Mühe mache auf dem Zweitsystem eine identische Installation aufzubauen um von
> dieser dann ein Image anzufertigen.
>  
> Grüße
>  
> Micha
>  
> Gesendet: Montag, 16. November 2020 um 22:17 Uhr
> Von: "Daniel Lauckner" 
> An: "volkszaehler.org - users" 
> Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup
> Hallo,
> 
> 
> am Montag, 16. November 2020 um 16:45 hat John Doe geschrieben:
>> > Entweder Du
>> > spielst das Karten-Image zurück und hast für die Dauer
>> > Crash-Beginn+Rücksicherung keine Daten (zeitliche Größenordnung
>> > alles zusammen bis zum Wiederlaufen ca. eine Stunde) oder Du
>> > installierst ein neues VZ-Image und spielst darin die DB und die
>> vzlogger.conf zurück.
> 
> Oder man macht sich ein Image nachdem man mit der Konfiguration fertig
> ist und spielt da die DB-Sicherung wieder ein.
> Man hat 1x die 10 Minuten Ausfall, bekommt das System aber schneller
> wieder ans laufen weil die persönliche Konfiguration schon vorhanden ist.
> 
> 
> mfg Daniel
>  

-- 
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.

Re: [vz-users] Image mit dd erstellen / Datenbackup

[Friedrich Kessler]

Hallo,
In der Fehlermeldung steht ja genau drin weshalb die Daten nicht importiert
werden ­ die Daten sind bereits in der DB mit dem gleichen Primare Key.
Import in eine leere DB sollte m.E problemlos funktionieren.
Gruss
Fritz

Von:  volkszaehler-users 
on behalf of Michael Hartmann 
Antworten an:  "volkszaehler.org - users"

Datum:  Dienstag, 17. November 2020 um 09:57
An:  
Betreff:  Re: [vz-users] Image mit dd erstellen / Datenbackup

Hallo,
 
ich habe gestern ein zweiten Versuch mit einem "frischen" DD-Image auf dem
"Zweitsystem" gemacht. Das Resultat ist identisch. Beim Ergänzen der Daten
aus dem DB-Backup bekomme ich den gleichen Fehler mit abweichenden Daten (s.
Textfile im Anhang).
 
Nun interessiert mich nach wie vor, woran DBCOPY sich da stört. Denn ich
habe die Befürchtung, dass sich die Daten auch in eine neue Installation mit
leerer DB nicht zurückspielen lassen. Das hätte ich gerne geklärt, bevor ich
mir die Mühe mache auf dem Zweitsystem eine identische Installation
aufzubauen um von dieser dann ein Image anzufertigen.
 
Grüße
 
Micha
 
Gesendet: Montag, 16. November 2020 um 22:17 Uhr
Von: "Daniel Lauckner" 
An: "volkszaehler.org - users" 
Betreff: Re: [vz-users] Image mit dd erstellen / Datenbackup
Hallo,


am Montag, 16. November 2020 um 16:45 hat John Doe geschrieben:
> Entweder Du
> spielst das Karten-Image zurück und hast für die Dauer
> Crash-Beginn+Rücksicherung keine Daten (zeitliche Größenordnung
> alles zusammen bis zum Wiederlaufen ca. eine Stunde) oder Du
> installierst ein neues VZ-Image und spielst darin die DB und die vzlogger.conf
zurück.

Oder man macht sich ein Image nachdem man mit der Konfiguration fertig
ist und spielt da die DB-Sicherung wieder ein.
Man hat 1x die 10 Minuten Ausfall, bekommt das System aber schneller
wieder ans laufen weil die persönliche Konfiguration schon vorhanden ist.


mfg Daniel
 

Re: [vz-users] Daten Aggregation und 'Service Temporarily Unavailable' bzw. 'Gateway Timeout' mit Datenbank auf Synology Diskstation

[Friedrich Kessler]

Halo,
Nur mal so ein Tip,
Es gibt ja einige Variablen im Server, welche Timeouts bei Queries
beeinflussen – bin da leider auch nicht ganz fit.
Aber auf meinem Räson mit mehr als 10 Mio Datensätzen sieht es so aus:
mysql>  SHOW VARIABLES LIKE '%timeout';

++--+

| Variable_name  | Value|

++--+

| connect_timeout| 10   |

| delayed_insert_timeout | 300  |

| innodb_lock_wait_timeout   | 50   |

| innodb_rollback_on_timeout | OFF  |

| interactive_timeout| 28800|

| lock_wait_timeout  | 31536000 |

| net_read_timeout   | 30   |

| net_write_timeout  | 60   |

| slave_net_timeout  | 3600 |

| wait_timeout   | 28800|

++--+

10 rows in set (0.00 sec)


Vielleicht ist das ein Ansatz.

Von:  volkszaehler-users 
on behalf of Joerg Middendorf 
Antworten an:  "volkszaehler.org - users"

Datum:  Donnerstag, 2. April 2020 um 12:50
An:  "'volkszaehler.org - users'" 
Betreff:  Re: [vz-users] Daten Aggregation und 'Service Temporarily
Unavailable' bzw. 'Gateway Timeout' mit Datenbank auf Synology Diskstation

Der User war in der config.yaml falsch eingetragen. Danke für den Denkanstoß
– hätte ich auch selbst drauf kommen müssen.
Leider immer noch die Timeout Probleme.
 

Von: volkszaehler-users 
Im Auftrag von Andreas Goetz
Gesendet: Mittwoch, 1. April 2020 20:51
An: volkszaehler.org - users 
Betreff: Re: [vz-users] Daten Aggregation und 'Service Temporarily
Unavailable' bzw. 'Gateway Timeout' mit Datenbank auf Synology Diskstation
 

Dei Aggregation läuft m.w. mit dem Adminuser- einfach in die übliche
Konfigurationsdatei schauen. Hat sie sich sicher nicht willkürlich
ausgedacht ;)

 

Viele Grüße, Andreas



> 
> Am 01.04.2020 um 20:49 schrieb joergmiddendorf :
> 
> 
> 
> Danke für die schnelle Antwort. Werde ich probieren. Hab das allerdings für
> die alten Daten versucht und hab eine Fehlermeldung bekommen. Access denied,
> allerings für einen ganz falschen User.
> 
>  
> 
>  
> 
>  
> 
> Von meinem Samsung Galaxy Smartphone gesendet.
> 
>  
> 
>  
> 
>  Ursprüngliche Nachricht 
> 
> Von: Daniel Lauckner 
> 
> Datum: 01.04.20 20:43 (GMT+01:00)
> 
> An: "volkszaehler.org - users" 
> 
> Betreff: Re: [vz-users] Daten Aggregation und 'Service Temporarily
> Unavailable' bzw. 'Gateway Timeout' mit Datenbank auf Synology Diskstation
> 
>  
> Hallo,
> 
> 
> am Mittwoch, 1. April 2020 um 17:41 hat Joerg Middendorf geschrieben:
>> > 3.  Wie bekomme ich denn auf dieser externen Datenbank mit Daten
>> > Aggregation weiter?
> 
> Aggregation wird über die Middleware gemacht. Cronjob dazu
> vorzugsweise auf dem selben System, also dem Rpi.
> 
> 
> mfg Daniel

Re: [vz-users] Datenbank Umzug

[Friedrich Kessler]

Hallo Sven,

Bei dem SQL Statement muss alles weg vor „Create Table“ also „The following
Statement…“

Gruss
Friedrich

Von:  
Antworten an:  "volkszaehler.org - users"

Datum:  Montag, 30. April 2018 06:38
An:  "'volkszaehler.org - users'" 
Betreff:  Re: [vz-users] Datenbank Umzug

Hallo Frank,
 
das hat funktioniert, danke.
Ich komme jetzt beim Erstellen der DB nicht weiter. Siehe Screenshot.
 
Was habe ich falsch gemacht?
 
Danke
LG
Sven
 
Von: volkszaehler-users 
Im Auftrag von Frank Richter
Gesendet: Freitag, 27. April 2018 22:35
An: volkszaehler.org - users 
Betreff: Re: [vz-users] Datenbank Umzug
 

Hallo Sven,

 

versuchs mal mit composer install --ignore-platform-reqs (siehe auch:
https://github.com/volkszaehler/volkszaehler.org/tree/master/bin#performance
-middleware).

 

Gruß

Frank

 
Hallo nochmal,
 
da eh Windows und XAMPP läuft dachte ich nun nicht nur die Datenbank,
sondern die komplette Middleware auf den Rechner umzuziehen.
Da gibt es ja eine tolle Anleitung:
https://wiki.volkszaehler.org/howto/xampp-windows
Die Erfassung soll dann über den vzlogger im PI laufen.
 
Leider bekomme ich schon bei der Installation einen Fehler, siehe Anhang.
 
Meine Recherche im Netz ergab, dass es pcntl für Windows gar nicht gibt...
 
Hat jemand einen Tipp?
 
Danke
LG
Sven

Re: [vz-users] ESP8266 + DHT11 Sensor für Temperaturaufzeichnung

[Friedrich Kessler]

Hallo,

ich hab da schon einige Versuche gemacht – deep sleep (Aufwachen)
funktioniert nur mit der Verbindung zu D0 (bei meinen Nodemcu).
Ich benutze seit einiger Zeit ESP32 – hier ist kein zus. GPIO mehr nötig –
es sei denn du willst mittels Taster den ESp32 wecken – was auch super
funktioniert.

Übrigens ich benutze hauptsächlich DHT22 Sensoren – die Temperaturanzeige
ist sehr genau aber die Feuchtemessung „stirbt" regelmäßig nach kurzer Zeit.
(Nutze aber nicht easy-esp – sondern die Arduino – IDE).

Gruss Friedrich

Von:  Klaus Reichenecker 
Antworten an:  "volkszaehler.org - users"

Datum:  Freitag, 9. Februar 2018 21:40
An:  "volkszaehler.org - users" 
Betreff:  Re: [vz-users]  ESP8266 + DHT11 Sensor für Temperaturaufzeichnung

Hallo Michael,
 
ich habe zugegeben noch keinen ESP im Sleep Mode benutzt, aber schau mal
hier unter "deep sleep":
https://www.losant.com/blog/making-the-esp8266-low-powered-with-deep-sleep
 
Über den GPIO 16 weckt er sich selber auf
 
 
>  
> - Original Message -
>  
> From:  Michael  Koch 
>  
> To: volkszaehler-users@demo.volkszaehler.org
>  
> Sent: Friday, February 09, 2018 9:13  PM
>  
> Subject: Re: [vz-users] ESP8266 + DHT11  Sensor für Temperaturaufzeichnung
>  
> 
>  
> 
> Moin,
>  
> 
> kleiner exkurs z.T. Sleep Mode:
>  
> 
> Der GPIO16 kann für Anwendungen wie z.B. eine Briefkastenklappe verwendet
> werden, wenn ein Signal in einem besonderen Moment angetriggert werden  soll.
>  
> 
> Muss man aber nicht haben... In unserem Fall möchten wir einfach in einem
> regelmäßigen Abstand Werte an den VZ senden.
>  
> 
> Dies funktioniert mit der folgenden Konfig (GPIO16 wird m.E. nicht  benötigt):
>  
> 
>  
> 
> Die 4294 sec entsprechen der maximalen "Sleep Time" von ca. 71 Minuten,
> welche durch die internen Funktionen des ESP8266 begrentzt werden.
>  
> 
> Erst wenn der Wert "Sleep Delay" auf "0" gesetzt wird, geht das NodeMCU hin
> und "lauscht" am GPIO16 ob der Eingang auf 0V gezogen wird und lässt sich
> manuell (etwa für eine Briefkasten-Funktion) aufwecken.
>  
> 
> Grüße,
>  
> 
> Michael
> 
>  
> Am 09.02.2018 um 20:38 schrieb Klaus  Reichenecker:
>  
>> Leider nicht ganz so einfach - den GPIO16 braucht es schon, der  ESP weckt
>> sich über diesen und den Reset-Eingang quasi selber wieder auf
>> 
>> Wenn Du den GPIO16 nicht zur Verfügung hast, hast Du sicher den  ESP8266-01
>> mit nur wenig Anschlüssen, kauf Dir am Besten einen mit allen  Anschlüssen,
>> z.B. eine NodeMCU, kostet auch keine 5€
>> 
>> VIele Grüße  
>> 
>> Klaus 
>> 
>> 
>> 
>> - Original Message - From: "Daniel  Lauckner" 
>> 
>> To: "volkszaehler.org -  users" 
>> 
>> Sent: Friday, February 09, 2018 7:48 PM
>> Subject: Re: [vz-users]  ESP8266 + DHT11 Sensor für Temperaturaufzeichnung
>> 
>> 
>> Hallo,  
>> 
>> 
>> am Freitag, 9. Februar 2018 um 18:47 hat Stefan Bauer  geschrieben:
>>  
>>> Sleep-Modus hört sich interessant an, allerdings  weiß ich nicht wie
>>> der notwendige GPIO-16 belegt werden kann, wenn nur  GPIO-0 und GPIO-2
>>> verfügbar sind...
>> 
>> Eigentlich egal. Du  willst den ESP ja in Intervallen wecken um den
>> Sensor auszulesen, nicht  abhängig von einem exteren Signal..
>> 
>> 
>> mfg Daniel  
>> 
> 

Re: [vz-users] Datenübertragung zwischen zwie Volkszählern

[Friedrich Kessler]

Hallo,

Ich habe gerade gesehen - in der s0vz.cfg ist ein ein Ziel konfigurierbar.

Vielleicht änder ich ja mal meine kompl. Installation.

Vielen Dank für eure Hinweise.

Guten Rutsch


Am 29.12.17 18:39 schrieb "Daniel Lauckner" unter :

>Hallo,
>
>
>am Freitag, 29. Dezember 2017 um 09:52 hat Frank Richter geschrieben:
>> S0 via GPIO kam aber deutlich später, oder?
>
>Allerdings, bis dahin lief das über
>https://github.com/w3llschmidt/s0vz
>
>Und ja, da muss man auch ne IP/URL als Ziel configurieren.
>
>
>mfg Daniel
>

Re: [vz-users] Datenübertragung zwischen zwie Volkszählern

[Friedrich Kessler]

Hallo Frank,
Danke für die Infos.
An dieser Stelle muss ich mich outen ­ meine Installation ist vom November
2014  und auch der Release-Stand ist so alt.  Never touch a running System
:-)).
vzlogger.conf gibt es bei mir noch gar nicht. Ich lese ja immer mit ­ ich
persönlich habe noch keinen Grund für ein Update / Upgrade gefunden.
Ich habe an den Raspis USB-SSD¹s hängen und damit auch das SD-Karten-Problem
nicht.
Gruß
Friedrich



Von:  Frank Richter <frank.richte...@gmail.com>
Antworten an:  "volkszaehler.org - users"
<volkszaehler-users@demo.volkszaehler.org>
Datum:  Donnerstag, 28. Dezember 2017 11:41
An:  "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Betreff:  Re: [vz-users]  Datenübertragung zwischen zwie Volkszählern

Hallo Friedrich,

wie im Thread schon mehrfach erwähnt kann man in einem solchen Setup die
Daten gleich zur zentralen Instanz loggen, indem in der vzlogger.conf die IP
der zentralen Middleware angegeben wird. Dann erübrigen sich mehrfache
Datenbanken und Kopieraktionen. Das dürfte sich auch positiv auf die
Lebensdauer der Speicherkarten in den nur als Logger betriebenen RPis
auswirken, weil dann praktisch keine Schreibzugriffe mehr erfolgen.

Gruß
Frank

Am 28.12.2017 11:08 schrieb "Friedrich Kessler" <v...@riare.de>:
> Siehe unten
> Mit freundlichen Grüßen
> Friedrich
> 
> Am 27.12.17 21:16 schrieb "Daniel Lauckner" unter <v...@jahp.de>:
> 
>> >Hallo,
>> >
>> >
>> >am Mittwoch, 27. Dezember 2017 um 20:57 hat Friedrich Kessler geschrieben:
>>> >> Ich habe 3 Raspis mit Erweiterungen von Udo.
>> >
>> >Ok.
>> >
>>> >> Cron-Job exportiert die Daten aus der DB (letzten 3 Tage)
>> >
>> >Welche DB? Die auf Rpi 1, 2 und 3?
> 
> Auf allen läuft mysql
>> >
>>> >>  -> kopiert die
>>> >> Daten mittels scp auf den 4. Raspi und dort werden diese mittels cronjob
>>> >> importiert.
>> >
>> >Wieso?
> 
>> >-> gibt es eine einfachere Lösung? - wie gesagt in dem Shellscript läuft
>> >noch ein wenig mehr ab als beschrieben.
>> >
>> >
>> >mfg Daniel
>> >
> 
> 

Re: [vz-users] Datenübertragung zwischen zwie Volkszählern

[Friedrich Kessler]

Siehe unten
Mit freundlichen Grüßen
Friedrich

Am 27.12.17 21:16 schrieb "Daniel Lauckner" unter <v...@jahp.de>:

>Hallo,
>
>
>am Mittwoch, 27. Dezember 2017 um 20:57 hat Friedrich Kessler geschrieben:
>> Ich habe 3 Raspis mit Erweiterungen von Udo.
>
>Ok.
>
>> Cron-Job exportiert die Daten aus der DB (letzten 3 Tage)
>
>Welche DB? Die auf Rpi 1, 2 und 3?

Auf allen läuft mysql
>
>>  -> kopiert die
>> Daten mittels scp auf den 4. Raspi und dort werden diese mittels cronjob
>> importiert.
>
>Wieso? 

>-> gibt es eine einfachere Lösung? - wie gesagt in dem Shellscript läuft
>noch ein wenig mehr ab als beschrieben.
>
>
>mfg Daniel
>

Re: [vz-users] Datenübertragung zwischen zwie Volkszählern

[Friedrich Kessler]

Hallo,

erstmal schöne Feiertage und ein erfolgreiches 2018. Vielen Dank auch von
meiner Seite für die super Unterstützung und Weiterentwicklung des
Volkszählers.

Ich habe 3 Raspis mit Erweiterungen von Udo. Insgesamt 15 Zähler (jeder
Stromkreis) + 2 Temperaturmessungen. Diese sammeln die Daten welche ich in
15 Minuten Intervall an einer weiteren Raspi (mit installiertem vz) sende,
der nun alle Daten hält. Habe mittlerweile 5.731.289 Datensätze in meinem
„Sammle-Raspi“.
Wäre nicht im August mein Switch ausgefallen an dem die 3 Raspis „hängen“
hätte ich heute eine Uptime von über 800 Tagen auf den Systemen (fahre
noch sehr alte Versionen).


Cron-Job exportiert die Daten aus der DB (letzten 3 Tage) -> kopiert die
Daten mittels scp auf den 4. Raspi und dort werden diese mittels cronjob
importiert.

Export-SQL-Datei:

export.sql

# die Daten der letzten 3 Tage werden exportiert - kann beliebig geändert
werden
set @datum=subdate(current_date,3);
set @zp = unix_timestamp(@datum)*1000;
select channel_id,
 timestamp,
 value 
 from data 
 where timestamp > @zp
 INTO outfile '/tmp/data.vz3' fields terminated by ';';



Cronjob ruft shell-script auf:

export.sh

#!/bin/bash
‚ lösche alte Daten aus temp-Verzeichnis
sudo rm /tmp/*.vz3 
mysql -uuser -ppassword volkszaehler < export.sql
scp /tmp/data.vz3 pi@serv02:/tmp/data.vz3;



Daten liegen nun im temp-Verzeichnis und werden mittels scp auf den
Zielrechner (serv02) ins temp-Verzeichnis kopiert.

Auf dem Ziel-Raspi läuft ein Cronjob:

import.sh
#!/bin/bash
mysql -vv --local_infile=1 -uuser -ppassword volkszaehler < data_import.sql
sudo rm /tmp/*.vz3



data_import.sql
LOAD DATA LOCAL INFILE '/tmp/data.vz3'
INTO TABLE data
FIELDS TERMINATED BY ';'
ENCLOSED BY '"'  LINES TERMINATED BY '\n'  (channel_id,timestamp,value);

Beim Import finden noch einige Schritte statt (Datenverdichtung  Monat
/Tag, wann wurden die letzten Daten importiert, also einige Daten erzeugt
um Abfragen schneller ablaufen zu lassen)



Hier habe ich dann die Möglichkeit mittels VZ Frontend alle Kanäle in
Graphen auszuwerten bzw. habe ich ein PHP Script welches aus den Werten
der beiden Tabellen die Übersicht auf einer Web-Seite darstellt.

Viele Grüße und guten Rutsch

Friedrich





Am 26.12.17 12:33 schrieb "Rupert Schöttler" unter
:

>Hallo Daniel,
>
>
>Am 24.12.2017 um 17:06 schrieb Daniel Lauckner:
>> Mein erster Ansatz wäre jetzt der gewesen, im WP-Rpi einen
>>> Kanal: El.Energie(S0-Signal) anzulegen und dann direkt in die
>>> Datenbank diese Kanales die Daten aus der Datenbank des anderen
>>> Rpi zu übertragen, wo ja bereits ein solcher Kanal samt
>>>Datenbank besteht.
>>> Die Frage ist : Nur wie?
>> Auf jeden Fall nicht auf Datenbankebene!
>> Die Einträge in der DB bekommen nicht nur einen Kanal zugewiesen
>> sondern auch eine fortlaufende Nummer.
>
>Warum nicht? Klar, die "fortlaufende Nummer", den Primary Key "id" darf
>man nicht mit übertragen, den erzeugt sich die Ziel-DB beim insert aber
>auch selbst. Die channel_id muss halt die richtige sein, sonst kann die
>Ziel-DB die Daten nicht zuordnen.
>
>Ich habe nach meinen "Wiederkehrenden System-Crashes" (siehe Thread von
>Anfang Dezember) die Daten aus den Sicherungsfragmenten auf einem
>Rechner nach CSV exportiert und in die Middleware wieder eingespielt.
>
>Auf der Sicherungsseite:
>create table csv_data ( channel_id INTEGER not null, timestamp BIGINT
>not null, value DOUBLE not null ) engine=csv;
>insert into csv_data select channel_id,timestamp,value from ...
>
>Dies erzeugt im Verzeichnis /var/lib/mysql/volkszaehler eine Datei
>csv_data.CSV, die ich dann auf den Middleware-Pi kopiert und mit
>load data local infile 'csv_data.CSV' into table data FIELDS TERMINATED
>BY ',' OPTIONALLY ENCLOSED BY '"' LINES  TERMINATED BY '\n' (channel_id,
>timestamp, value);
>eingelesen habe.
>
>Dieses Verfahren ist sicherlich nicht dazu geeignet, dauerhaft zwei
>VZ-Datenbanken zu synchronisieren, wie Torsten das im OP angefragt
>hatte. Das braucht's ja auch gar nicht, und er hat es mittlerweile
>abgestellt. So ein Export/Import mag aber nützlich sein, die auf der
>"abgeklemmten" Datenbank gesammelten Daten auf die aktive zu übertragen,
>damit die Historie komplett ist.
>
>Viele Grüße
>Rupert
>

Re: [vz-users] Daten aus Datenbank löschen

[Friedrich Kessler]

Hallo,
Ich exportiere Daten aus der vz DB mit diesem Script (nur bestimmte
Channels):

  select channel_id, timestamp,value from data
  where from_unixtime(timestamp/1000) > ('2015-06-05 12:43:16')
  and  from_unixtime(timestamp/1000) < ('2015-08-06 09:40:37')
  and channel_id > 12 and channel_id < 20
  INTO outfile '/tmp/last_values' fields terminated by ‚;

Du kannst ja die Daten vor dem löschen selektieren um zu prüfen ob es die
richtigen sind:
  
  select channel_id, timestamp,value from data
  where from_unixtime(timestamp/1000) > ('2015-06-05 12:43:16')
  and  from_unixtime(timestamp/1000) < ('2015-08-06 09:40:37')
  and channel_id > 12 and channel_id < 20;

Löschen:
delete from data
  where from_unixtime(timestamp/1000) > ('2015-06-05 12:43:16')
  and  from_unixtime(timestamp/1000) < ('2015-08-06 09:40:37')
  and channel_id > 12 and channel_id < 20;

Gruss
Friedrich  

Von:  fambesse 
Antworten an:  "volkszaehler.org - users"

Datum:  Mittwoch, 23. August 2017 09:42
An:  
Betreff:  [vz-users] Daten aus Datenbank löschen

Hallo zusammen, 
leider ist mein SQL etwas eingerostet und ich hoffe hier kann mir jemand
helfen. 
Ich möchte gerne von einem Tag bzw. zwischen zwei Tagen oder zwei Timestamps
die Daten löschen.
Hier haben sich bei mir an einem Tag falsche Werte eingeschlichen.
 
Folgendes habe ich habe ich schon probiert:
 
SELECT * FROM 'data' WHERE `timestamp` BETWEEN '1502229600' AND
'1502316000';
 
Die Timestamps sollten der 09.08.2017 00:00:00 bis 10.08.2017 00:00:00 sein.
Besten Dank vorab.
 
 
--
Thomas Besse   
57250 Netphen   e-mail: tho...@fambesse.de

--
 

Re: [vz-users] Läuft meine Waschmaschine noch?

[Friedrich Kessler]

Hallo,
Habe eine Lösung gefunden.
Mittels shell-script (cronjob alle 3 min) schaue ich in der DB nach ob
innerhalb der letzten 3 Minuten vom Zähler der Waschmaschine Impulse
gesendet wurden -  über die Anzahl der Impulse erhalte ich die gemittelte
Leistung der letzten 3 Minuten ­ ist diese null ist die Maschine fertig. Den
Wert übergebe ich vorerst mal an node-red Dashboard (Gauge).
Vielen Dank für eure Unterstützung.
Gruß Friedrich

Re: [vz-users] Läuft meine Waschmaschine noch?

[Friedrich Kessler]

Hallo,
Danke für die rasche Rückmeldung. Der S0-Zähler gibt ja nur Impulse aus
(1000/KW). Also kommen irgendwann mal keine Impulse mehr.
Ich hab mal in den Daten gefunden, dass gegen Ende des Waschvorganges
innerhalb von einer Minute noch Impulse kommen ­ aber dann nach ca. 2
Minuten der letzte und dann kommt keiner mehr ­ diesen Zeitpunkt wollte ich
gerne auswerten

Danke
Gruß Friedrich

Von:  Andreas Götz <cpui...@gmail.com>
Antworten an:  "volkszaehler.org - users"
<volkszaehler-users@demo.volkszaehler.org>
Datum:  Donnerstag, 24. November 2016 20:41
An:  "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Betreff:  Re: [vz-users] Läuft meine Waschmaschine noch?

Ich verstehe Deine Frage nicht- Zähler gleich Leistung. Bei P=U*I und
U=const. kannst Du das auch einfach als Strom verwenden.

Oder wo liege ich falsch?

Viele Grüße, Andreas

Ps.: ein Screenshot vom Dashboard wäre Klasse!

Am 24.11.2016 um 18:44 schrieb Friedrich Kessler <v...@riare.de>:

> Hallo,
> erstmal vielen Dank für euer Engagement.
> Ich habe 15 Stromzähler (B+G E-Tech DRS155D) auf 3 Raspis mit Erweiterungen
> von Udo laufen.
> 
> Meine Waschmaschine steht im Keller und ich kann nur über das Vz Frontend noch
> sehen ob sie noch läuft. Da ich ein kleines Dashboard mit node-red gebastelt
> habe, hätte ich auch gerne hier den aktuellen Stromverbrauch  dargestellt oder
> ob sie noch läuft.
> 
> Wie kann ich über die Middleware oder mit anderen Mitteln dies auslesen ­ ich
> weiss der Zähler liefert nur Impulse ­ aber gibt es eine Möglichkeit?
> 
> Bin für jede Hilfe dankbar.
> 
> Schönen Abend
> Friedrich

Re: [vz-users] Löschen von Datenbankeinträgen ab einem bestimmten Zeitindex (Unix-time) mittels SQL

[Friedrich Kessler]

Mal versuchen mit „kleinerem“ Datum – es kann sein, dass zu viele Records
abgearbeitet / gelöscht werden müssen

Von:  "heine.tho...@online.de" <heine.tho...@online.de>
Antworten an:  "volkszaehler.org - users"
<volkszaehler-users@demo.volkszaehler.org>
Datum:  Sonntag, 10. Januar 2016 14:20
An:  "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Betreff:  Re: [vz-users] Löschen von Datenbankeinträgen ab einem bestimmten
Zeitindex (Unix-time) mittels SQL


 
Hallo,
 
 leider ergab der Befehl:
 
 delete from `data` where substr(from_unixtime((`timestamp` / 1000)),1,10) <
'2016-01-01';
 
 dann einen Fehler:
 
 #1205 - Lock wait timeout exceeded; try restarting transaction



 
 Was hab ich falsch gemacht?
 
 Danke
 
 Gruß Thomas
 
 
 Am 10.01.2016 um 14:08 schrieb Friedrich Kessler:
 
 
>  
> Hallo,
> 
> delete from data where substr(from_unixtime((`timestamp` / 1000)),1,10) <
> ‚'2016-01-01';
> 
> Vorher würde ich aber autocommit der DB abschalten (mysql> SET
> AUTOCOMMIT=0;) - falls es schief geht kannst du zurückrollen - danach
> wieder einschalten.
> 
> Gruss 
> Friedrich
> 
> Am 10.01.16 13:46 schrieb "heine.tho...@online.de"
> <mailto:heine.tho...@online.de>  unter
> <heine.tho...@online.de> <mailto:heine.tho...@online.de> :
> 
>  
>>  
>> Hallo,
>> 
>> Hab mal ne Frage bezüglich der Datenbereinigung.
>> Würde gerne die Daten von letztem Jahr komplett aus meinem System löschen.
>> 
>> Wie kann ich den SQL-Befehl
>> 
>> delete FROM `data` where timestamp<
>> (unix_timestamp(current_timestamp)-24*60*60)*1000 ;
>> 
>> so umbauen, dass er alle Daten vor dem 1.1.2016 löscht (z.B. vor
>> Unix-time 1451602799) ?
>> 
>> Oder gibts ne einfachere Möglichkeit?
>> 
>> Danke vorab für eure Hilfe.
>> 
>> Gruß
>> 
>> Thomas
>> 
>>  
>  
>  
 
 

Re: [vz-users] RPi hängt sich komplett auf

[Friedrich Kessler]

Hallo,

Ich habe 3 Raspis mit der Erweiterung von Udo im Einsatz. Im Frühjahr dieses
Jahres hatte ich immer wieder hier über Probleme mit der SD Karrte gelesen ­
ich dachte dies kann dir nicht passieren - meine Raspis hatten uptimes von
bereits über 230 Tagen und haben super funktioniert.
Dann hat sich einer aufgehängt und nach dem Reboot waren Daten von ca. 4
Wochen weg (nicht ganz, hatte eine Pseudosicherung über einen 4. Raspi der
alle Daten sammelt).
Anscheinend hat der Raspi in irgendeinen Cache geschrieben ­ die Daten hat
er an meinen "Sammelraspi" immer schön weitergeleitet ­ vor dem Crash waren
diese auch im Frontend sichtbar ­ danach waren die Daten aber aus der DB
verschwunden.  Diese Situation hatte ich auch an einen weiteren Raspi ­ ca.
4 Wochen später. 
Nun habe ich mal tief ins Portemonnaie gegriffenen und 2 der 3  Raspis mit
USB SSDs ausgestattet. Bin nun gespannt wie stabil dies läuft. Habe dies mit
http://raspberry.tips/raspberrypi-tutorials/raspberry-pi-sd-karte-durch-usb-
stick-ersetzen/ bzw. dem Hinweis im Volkszähler-Wiki
http://wiki.volkszaehler.org/howto/performance-optimierung_des_raspberry_pi
gemacht.
Grüße
Friedrich

Von:  Christian Schnellrieder 
Antworten an:  "volkszaehler.org - users"

Datum:  Dienstag, 1. September 2015 09:36
An:  "volkszaehler.org - users" 
Betreff:  Re: [vz-users] RPi hängt sich komplett auf

Hallo.

Wenn es stabil läuft würde ich die SD Karte beibehalten. Technisch gesehen
gibt es keinen Unterschied zwischen einer SD Karte und einen USB Stick. Ich
persönlich verwende aber lieber USB Sticks ... schon alleine um den
filigranen SD Karten Slot zu umgehen ;)

Grüße

Jan Pakusch  schrieb am Mo., 31. Aug. 2015 um
19:54 Uhr:
> Hallo Leute,
> 
> ich wollte mal ein Statusupdate bringen:
> Der Pi läuft nun seit einer Woche problemlos und loggt fröhlich vor sich hin.
> Ich danke Euch soweit für die Antworten!
> drückt weiter die Daumen dass es mit der neuen SD Karte stabil bleibt, ich
> habe das Projekt im Hinterkopf auf USB umzusteigen.
> 
> Viele Grüße, Jan
> 
> Am 25. August 2015 um 21:44 schrieb Matthias Behr :
>> Mit dem Scope am besten die Spannung an den beiden Testpunkten TP1 und TP2
>> messen. 
>> 
>>> Am 25.08.2015 um 21:37 schrieb Jan Pakusch :
>>> 
>>> Hallo, 
>>> ich habe die Spannung im Leerlauf auf "gut" 5V eingestellt dann den Pi
>>> angeschlossen. Danach mit Multimeter erneut kontrolliert.
>>> Mit dem Scope oder ner LED auf Spannungseinbrüche kontrolliert habe ich
>>> bisher nicht. Das werde ich noch testen wenn ich mal wieder in der Gegend
>>> bin. Danke für die Tipps.
>>> Gruß, Jan
>>> 
>>> Am 25. August 2015 um 21:27 schrieb Matthias Behr :
 Welche Spannung hast du am Netzteil eingestellt? (da scheint man von
 4.75-5.25V einstellen können. Dann mit +/-2% angegebener Toleranz kann die
 Spannung schnell zu niedrig werden.)
 
 Mach mal folgenden Test:
 verbinde eine weiße LED (sollte so um die 20mA haben) mit Vorwiderstand
 zwischen 5v und Gnd. Dann schreib mal vom rpi auf die SD Karte. Bei mir
 flackert da die LED ziemlich stark, was auf ein schwaches Netzteil hinweist
 (lt. Rating 2AŠ).
 (Alternativ kannst du natürlich auch ein mit einem Scope mal die Spannung
 am rpi überwachen.)
 
 
 
 Kannst du die Spannung
 
> Am 25.08.2015 um 20:23 schrieb Jan Pakusch :
> 
> Hallo,
> 
> danke für die Antworten!
> 
> also, ich habe mich direkt mal drangesetzt, Deine ToDo-Liste abzuarbeiten:
> - Update ist durchgeführt.
> - Was zeichnet ein gutes Netzteil aus? Worauf muss ich achten? Ich habe
> dieses Set gekauft und das dort abgebildete Netzteil in Benutzung:
> http://www.amazon.de/gp/product/B00LUDYQRO?psc=1=true_=oh_aui
> _search_detailpage
> - WLan Sleep Modus? ist das auch relevant für mich wenn ich kein WLan
> Modul installiert habe? habe ich mit dem Pi nie verwendet, ist nur mit
> Kabel angeschlossen und das ist auch gut so ;)
> - Die Sache mit dem USB Stick werde ich mal in Erwägung ziehen, habe mich
> eben schon eingelesen und werde wohl auch dahingehend umstellen.
> 
> Aktuell läuft der Pi übrigens wieder.
> 
> Gruß, Jan
> 
> Am 25. August 2015 um 10:17 schrieb Andreas Götz :
>> Wlan war auch bei mir problematisch. Trotz abgeschaltetem Sleep war der
>> Raspi im Keller ab und an nicht mehr erreichbar. Habe ich dann letztlich
>> per Devolo PowerLan angeschlossen, seitdem keine Probleme mehr.
>> 
>> Ein gutes Netzteil ist oberste Bürgerpflicht!
>> 
>> Viele Grüße, Andreas
>> 
>> Am 25.08.2015 um 09:05 schrieb Christian Schnellrieder
>> :
>> 
>>> Hallo.
>>> 
 >Hat jemand