[vz-users] Achtung bei dbcopy als backup

[Andreas Goetz]

Hallo Zusammen,

aus aktuellem Anlass ein Hinweis: dbcopy ersetzt kein Backup!

Warum? Während dbcopy die data Tabelle inkrementell kopiert, werden die 
wichtigen Tabellen mit den Kanaldefinitionen- entities und properties- ersetzt 
da es ja möglich wäre dass Kanäle gelöscht oder geändert werden.

Wenn- wie in meinem Fall- durch einen Stromausfall die entities Tabelle 
plötzlich leer ist und dann das "Backup” mittels dbcopy läuft wirds gefährlich: 
schwupps sind alle Kanäle weg, auch wenn die Rohdaten noch existieren!

Wer vorsichtig ist erzeugt also zwischendurch immer mal “richtige” Backups oder 
sicher zumindest entities und properties nochmal separat. 

Viele Grüße, Andreas

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Zusammen,

ich hole das Thema nochmal nach oben da ich das Thema Sicherheit von VZ
Installationen nicht ganz unerheblich finde.

Meine Konfiguration sieht jetzt so aus:

- Volkszähler/Raspi läuft auf eigener Domain (z.B. ddns.net) und ist
mittels Zertifikat von letsencrypt und Login abgesichert
- Ums einfacher zu machen ist zusätzlich noch optionaler Login mittels
Google Account möglich
- Fritzbox ist ebenfalls über letsencrypt Zertifikat abgesichert, läuft
aber auf anderer Domain
- http wird für beide Domains auf https umgeleitet
- aus dem lokalen Netz bleibt VZ weiterhin ohne Username/Passwort erreichbar
- das ganze als Dual Stack IPv4/IPv6

Wer Interesse hat einfach hier rein schauen: https://github.com/
volkszaehler/volkszaehler.org/pull/458 oder fragen.

Viele Grüße,
Andreas


2016-08-27 12:33 GMT+02:00 Andreas Goetz :

> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
>> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
>> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
>> jeder daran herum fummeln kann?
>>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org
> ohne Anmeldung (und Passwort-Recevory, Email etc. pp.) genutzt werden kann.
> Faktisch ist es aber heute wohl so, daß die meisten ihren eigenen VZ-Server
> laufen haben, da finde ich das eher ungeschickt (zumal die UUIDs auch etwas
> unhandlich sind).
>
> -- snip --
>
> Ich sehe- wenn wir es einfach halten wollen- 2 Anwendungsfälle:
>
> a) Absicherung einer privaten Installation
> b) Usermanagement für eine öffentliche Installation wie demo
>
> Letzteres klammere ich mal aus da es grundlegende Änderungen an VZ
> erfordern würde. Für a) gibt es verschiedene Möglichkeiten von furchtbar
> einfach bis etwas umfangreicher:
>
> 1) Basic Authentication, also Username + Password. Für ein Mindestmaß an
> Sicherheit ist SSL erforderlich- das gilt ebenso aber auch für alle
> weiteren Varianten. Das muss zusätzlich so konfiguriert werden dass
> vzlogger (aus dem internen Netz) ohne Basic Auth weiterhin seine Daten
> abliefern kann.
>
> 2) Token Authentication: initiales Login per U/P, ab da Token der expired.
> Dabei hätten wir sogar die Möglichkeit einzelne User zu definieren-
> imeinfachsten Falle per Konfigurationsdatei, sonst als
> Datenbankerweiterung. Wenn Datenbankerweiterung dann können wir auch Rechte
> vergeben (schreiben, löschen, lesen) und Kanäle zu Usern "gehören" zu
> lassen.
> Weiterhin wäre es ggf. sinnvoll authentifizierten Nutzern auch "private"
> Kanäle ohne Kenntnis der UUID anzubieten.
>
> Gibts Bedarf?
>
> Viele Grüße,
> Andreas
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Moin,

> On 19 Nov 2016, at 21:21, Justin Otherguy  wrote:
> 
> Hi Andreas,
> 
> tolle Sache, mal wieder herzlichen Dank für Dein Engagement! :)

Fällt mir leicht- ist ja Eigenbedarf ;)

> 
>> Am 19.11.2016 um 15:17 schrieb Andreas Goetz :
>> 
>> - Volkszähler/Raspi läuft auf eigener Domain (z.B. ddns.net) und ist mittels 
>> Zertifikat von letsencrypt und Login abgesichert
>> - Ums einfacher zu machen ist zusätzlich noch optionaler Login mittels 
>> Google Account möglich
>> - Fritzbox ist ebenfalls über letsencrypt Zertifikat abgesichert, läuft aber 
>> auf anderer Domain
>> - http wird für beide Domains auf https umgeleitet
>> - aus dem lokalen Netz bleibt VZ weiterhin ohne Username/Passwort erreichbar
>> - das ganze als Dual Stack IPv4/IPv6
> 
> klingt toll - nicht ganz verstanden habe ich:
> a) Du hast ja aus dem Internet nur eine IP an der Fritzbox anliegen

Zwangsläufig, ja.

>   die beiden Anwendungen ( 1) Fritzbox mit ihrer eigenen Domain und 2) 
> volkszaehler, jeweils http und https) lauschen also auf unterschiedlichen 
> Ports, korrekt?

Tatsächlich nein. Habe lange überlegt wie sich das auch der FB mittels Apache 
und mod_proxy realisieren ließe. Ergebnis: gar nicht da ich weder Apache noch 
mod_proxy auf die Box bekomme.

Deshalb habe ich den Spieß dann umgedreht und Ports 80 und 443 auf den Raspi 
umgeleitet wo Apache mit insgesamt 4 Virtual Hosts läuft. Die Config für 2 ist 
hier beispielhaft angegeben:




ServerName vz.io
Redirect permanent / https://vz.io/



ProxyPass"/" "http://192.168.0.21/";
ProxyPassReverse "/" "http://192.168.0.21/";

SSLCertificateFile /etc/letsencrypt/live/vz.io/fullchain.pem
SSLCertificateKeyFile /etc/letsencrypt/live/vz.io/privkey.pem
Include /etc/letsencrypt/options-ssl-apache.conf
ServerName vz.io




Eine analoge Config existiert- mit abweichendem Servername- für die 
Weiterleitung der zweiten Domain auf die Firtzbox Admin Oberfläche. Für die 
zweite Domain aktualisiert der FB DynDns Client die IP, für die erste Domain 
erledigt das ddclient auf dem Raspi.

> 
> b) die Authentifizierung läuft gegen eine lokale Benutzerdatenbank, wenn 
> Google-Auth nicht genutzt wird, korrekt?
>  die Auth läuft dann in der Anwendung, korrekt? (also: nicht gegen den 
> Web-Server)

Ja. Siw kann der Webserver nur Basic Auth und ich wollte die Möglichkeit offen 
halten Oauth2 zu verwenden, eine Benutzeradministration einzubauen und auch die 
Sichtbarkeit von Kanälen nach eingeloggtem Nutzer zu steuern.

> 
> c) wenn ich von einer IP komme, die nicht freigeschaltet ist (default: 
> RFC1918, also LAN), brauche ich Benutzername+Passwort (definiert in 
> etc/volkszaehler.conf.php -> $config['authorization']['user']\ =\ ‚pass‘) für 
> den ersten Zugriff; wenn das klappt, erhalte ich ein Token für die folgenden 
> Zugriffe, korrekt?

Korrekt. Lebenszeit des Tokens konfigurierbar. Solange HTTPS verwendet wird 
sind Username, Passwort und Token dabei auch sicher.

> 
> Tolle Lösung - aus dem LAN direkt und aus dem Internet zusätzlich per Login 
> gesichert.
> 
> 
> Gruß, J.
> 

Die Frage wäre ob wir das in den Kern übernehmen wollen- gerne erstmal ohne 
Google Auth- oder ob es weiter in meinem Bastelzweig bleiben soll?

Viele Grüße, Andreas

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

PS.: Ich habe den PR mal mittels rebase aufgeräumt damit klarer wird wo 
eigentlich die Änderungen liegen.

Viele Grüße, Andreas

> On 19 Nov 2016, at 21:21, Justin Otherguy  wrote:
> 
> Hi Andreas,
> 
> tolle Sache, mal wieder herzlichen Dank für Dein Engagement! :)
> 
>> Am 19.11.2016 um 15:17 schrieb Andreas Goetz :
>> 
>> - Volkszähler/Raspi läuft auf eigener Domain (z.B. ddns.net) und ist mittels 
>> Zertifikat von letsencrypt und Login abgesichert
>> - Ums einfacher zu machen ist zusätzlich noch optionaler Login mittels 
>> Google Account möglich
>> - Fritzbox ist ebenfalls über letsencrypt Zertifikat abgesichert, läuft aber 
>> auf anderer Domain
>> - http wird für beide Domains auf https umgeleitet
>> - aus dem lokalen Netz bleibt VZ weiterhin ohne Username/Passwort erreichbar
>> - das ganze als Dual Stack IPv4/IPv6
> 
> klingt toll - nicht ganz verstanden habe ich:
> a) Du hast ja aus dem Internet nur eine IP an der Fritzbox anliegen
>   die beiden Anwendungen ( 1) Fritzbox mit ihrer eigenen Domain und 2) 
> volkszaehler, jeweils http und https) lauschen also auf unterschiedlichen 
> Ports, korrekt?
> 
> b) die Authentifizierung läuft gegen eine lokale Benutzerdatenbank, wenn 
> Google-Auth nicht genutzt wird, korrekt?
>  die Auth läuft dann in der Anwendung, korrekt? (also: nicht gegen den 
> Web-Server)
> 
> c) wenn ich von einer IP komme, die nicht freigeschaltet ist (default: 
> RFC1918, also LAN), brauche ich Benutzername+Passwort (definiert in 
> etc/volkszaehler.conf.php -> $config['authorization']['user']\ =\ ‚pass‘) für 
> den ersten Zugriff; wenn das klappt, erhalte ich ein Token für die folgenden 
> Zugriffe, korrekt?
> 
> Tolle Lösung - aus dem LAN direkt und aus dem Internet zusätzlich per Login 
> gesichert.
> 
> 
> Gruß, J.
> 

Re: [vz-users] eBUS Schnittstelle?

[Andreas Goetz]

Hallo Zusammen,

dank Tipp von Udo war ich erfolgreich: EBUS Adapter aus dem FHEM Wiki
zusammen gelötet (habe gleich 2 produziert, einer ist also noch übrig),
angeschlossen und mal gleich alle interessanten Kanäle mittels ebusd in den
VZ gedübelt. Und siehe da: die Vorlauftemperaturfühler sind falsch rum
angeschlossen- FBH und Heizkörper sind verdreht.

Ein hcoh auf FHEM und Volkszähler und buuh an den Heizungsbauer!

Viele Grüße,
Andreas


2016-11-28 18:18 GMT+01:00 Udo1 :

> Moin,
>
> Platinenbelichter.de macht Urlaub im Dezember.
> Schau mal ob du hier noch Leiterplatten bekommst:
> https://forum.fhem.de/index.php/topic,49744.msg414611.html#msg414611
> Einfach den Christian1982 per PM anschreiben.
>
> Gruß
> Udo
>
>
>
>
> Am 28.11.2016 um 15:53 schrieb Daniel Lauckner:
>
>> Hallo Andreas,
>>
>>
>> am Montag, 28. November 2016 um 15:30 hast du geschrieben:
>>
>>> Dann könnt es sich vielleicht lohnen ein paar Platinen herstellen zu
>>> lassen (@Udo: hast Du da evtl. einen guten Tipp für uns für
>>> Kleinserien?).
>>>
>> Die günstigste Lösung für Kleinserien/Einzelstücke ist glaub
>> Platinenbelichter.de
>>
>>
>>
>> mfg Daniel
>>
>>
>>
>

Re: [vz-users] Easymeter Austausch - Neustart bei 0

[Andreas Goetz]

Hallo Stefan,

der Fall ist nicht wirklich vorgesehen. Theoretisch wäre es ja sogar
denkbar dass Dein neuer Zähler anders funktioniert als der Alte, also z.B.
SML statt vorher Ferraris.

Einziger Workaround wären die im Experimentierstadium befindlichen
"virtuellen" Kanäle- damit könntest Du einfach beide Werte aufaddieren da
einer ja immer 0 sein wird.

Viele Grüße,
Andreas


2016-12-01 9:44 GMT+01:00 Stefan Hoffmann :

> Hi, mein Anbieter hat meinen EasyMeter aus "eichungsrechtlichen" Gründen
> ausgetauscht. An sich kein Problem, USB-Zähler aufgesetzt und mein PI hat
> weitergeloggt... nur leider neu bei 0 gestartet, was mir alle Ansichten im
> Webinterface, welche den Wechselzeitraum enthalten, völlig zerlegt...
> -5 W auf der Skala ;-) Mal ganz davon abgesehen was das
> kompressionsskript daraus machen würde...
>
> Ich hab mal das naheliegende gemacht und alle Werte in der data-Tabelle
> für den Kanal und aus dem alten Zeitraum um das Maximum reduziert, damit
> die alten Zählerwerte zum Wechselzeitpunkt bei 0 rauskommen. aber mit
> negativen Werten kommt die UI wohl nicht klar, jedenfalls hab ich keine
> sinnvolle Anzeige bekommen (Nulllinie).
>
> Gibt es hier eine gute Lösung ohne einen neuen Kanal anzulegen? Ich hab
> schon nach einem Schalter in der vzlogger-config gesucht um ein Offset zu
> setzen (damit der die Werte direkt um den alten Zählerstand erhöht), hab
> aber nix gefunden.
> Grüße, Stefan
>

Re: [vz-users] Pushserver und Node-red

[Andreas Goetz]

Hallo Bernd,

2016-12-04 22:36 GMT+01:00 Bernd Gewehr :

>
> Hallo,
>
> nach etwas Gefummel hat sich gezeigt, dass ein geordneter Neustart des
> flows möglich war, nachdem ich den webservice in node-red einmal so
> konfiguriert hatte, dass die Verbindung abgebrochen wurde. Nach erneuter
> Verbindung wieder alles gut, es kamen wieder messages an.
>
> Es scheint so zu sein, dass nach einem Neustart des Volkszähler PI die
> websocket Verbindung vom anderen Pi nicht immer wieder erfolgreich
> aufgebaut werden kann und eines manuellen reconnect bedarf um wieder zu
> funktionieren.
>

Ich bin mir nicht sicher was Du wirklich meinst- nodered ist nicht in der
Lage die WS Verbindung bei Abbruch wieder herzustellen? Wenn dem so ist
dann wäre das ein Issue bei NodeRed wert, Id hier zur Referenz wäre gut.


> Wenn man's weiß...
>
> Mit den besten Grüßen
>
> Bernd
>

Vielen Dank,
Andreas


> Am 27.11.2016 um 22:45 schrieb Andreas Götz :
>
> Welches Protokoll nimmst Du in nodered? Apache setup? Vz config?
>
> Am 27.11.2016 um 22:26 schrieb Bernd Gewehr :
>
> Hallo,
>
> ich habe einen Node red flow verwendet, um die Daten des VZ Pushservers an
> einen mqtt Broker zu senden.
>
> Plain sockets?
>
>
> Hat längere Zeit gut funktioniert.
>
> Nun seit einigen Tagen folgender Zustand:
>
> Push funktioniert im Frontend tadellos.
>
> Das nutzt WAMP.
>
>
> Push-Abfrage per ws::/socket wird als erfolgreich verbunden
> angezeigt, es kommen aber keine Daten.
>
> Mir ist keine Änderung bewußt, die dieses Verhalten ausgelöst haben könnte.
>
>
> Kein git pull?
>
>
> Wie kann ich den Fehler eingrenzen?
>
>
> Im Zweifel schick mir Zugangsdaten für alles...
>
> Mit den besten Grüßen
>
> Bernd
>
> Viele Grüße, Andreas
>
>

Re: [vz-users] Pushserver und Node-red

[Andreas Goetz]

Servus,

2016-12-05 22:29 GMT+01:00 Bernd Gewehr :

> Also meine Beobachtung ist folgende:
>
> Wenn ich den VZ Pi neu starte, dann gibt es in 1 von 5 Fällen eine als
> erfolgreich connected angezeigte Verbindung des websocket nodes, über den
> aber keine Daten kommen.
>
> Erst wenn ich ihn kaputt mache und dann wieder repariere, also manuell
> erzwungen disconnecte und reconnecte (es gibt keine disconnect frontend
> Funktion), dann kommen ohne sonstige weitere Veränderungen wieder Daten auf
> dem Node.
>
> Wenn das ein Fehler in node-red ist, kann ich ja mal versuchen, zu
> melden...
>

Danke für die Erklärung. Passiert das auch wenn Du nur den Push Server
durchstartest? Dann wäre das ein Szenario das sich lokal recht gut testen
ließe?

> Mit den besten Grüßen
>
> Bernd
>
Viele Grüße,
Andreas


>
> Am 05.12.2016 um 11:39 schrieb Andreas Goetz :
>
> Hallo Bernd,
>
> 2016-12-04 22:36 GMT+01:00 Bernd Gewehr :
>
>>
>> Hallo,
>>
>> nach etwas Gefummel hat sich gezeigt, dass ein geordneter Neustart des
>> flows möglich war, nachdem ich den webservice in node-red einmal so
>> konfiguriert hatte, dass die Verbindung abgebrochen wurde. Nach erneuter
>> Verbindung wieder alles gut, es kamen wieder messages an.
>>
>> Es scheint so zu sein, dass nach einem Neustart des Volkszähler PI die
>> websocket Verbindung vom anderen Pi nicht immer wieder erfolgreich
>> aufgebaut werden kann und eines manuellen reconnect bedarf um wieder zu
>> funktionieren.
>>
>
> Ich bin mir nicht sicher was Du wirklich meinst- nodered ist nicht in der
> Lage die WS Verbindung bei Abbruch wieder herzustellen? Wenn dem so ist
> dann wäre das ein Issue bei NodeRed wert, Id hier zur Referenz wäre gut.
>
>
>> Wenn man's weiß...
>>
>> Mit den besten Grüßen
>>
>> Bernd
>>
>
> Vielen Dank,
> Andreas
>
>
>> Am 27.11.2016 um 22:45 schrieb Andreas Götz :
>>
>> Welches Protokoll nimmst Du in nodered? Apache setup? Vz config?
>>
>> Am 27.11.2016 um 22:26 schrieb Bernd Gewehr :
>>
>> Hallo,
>>
>> ich habe einen Node red flow verwendet, um die Daten des VZ Pushservers
>> an einen mqtt Broker zu senden.
>>
>> Plain sockets?
>>
>>
>> Hat längere Zeit gut funktioniert.
>>
>> Nun seit einigen Tagen folgender Zustand:
>>
>> Push funktioniert im Frontend tadellos.
>>
>> Das nutzt WAMP.
>>
>>
>> Push-Abfrage per ws::/socket wird als erfolgreich verbunden
>> angezeigt, es kommen aber keine Daten.
>>
>> Mir ist keine Änderung bewußt, die dieses Verhalten ausgelöst haben
>> könnte.
>>
>>
>> Kein git pull?
>>
>>
>> Wie kann ich den Fehler eingrenzen?
>>
>>
>> Im Zweifel schick mir Zugangsdaten für alles...
>>
>> Mit den besten Grüßen
>>
>> Bernd
>>
>> Viele Grüße, Andreas
>>
>>
>

Re: [vz-users] Hilfe bei Setup von dbcopy

[Andreas Goetz]

Servus,

2016-12-06 13:57 GMT+01:00 Theo :

> Hallo Daniel,
>
> Ja die wikiseite kenn ich, nach dieser hab ich ja bisher versucht zu
> arbeiten. Aber diese schweigt sich leider über den part Dbcopy.json aus.
> Nur das man eine kopie derselben verwenden soll.
>

Die sollte eigentlich selbsterklärend sein.


>
> Mein Plan war es jetzt ein backup als sqlite datenbank auf dem gleichen
> raspi zu erstellen.


Kannst Du machen.


> Sqlite3 hab ich nach der wikiseite installiert.


D.h. die PHP Sqlite Extension ist installiert?


> Und dann die entstandene datenbank datei zusätzlich auf dem speicher der
> fritzbox zu sichern. Ich hab sonst kein zusätzliches system auf dem ne
> Datenbank laufen könnte.


> Mir ist halt nicht ganz klar wo die Datenbank, wenn ich eine erstelle,
> abgespeichert wird.
>

Ich verstehe Deine Frage nciht. Eine SQlite Datenbank ist eine Datei, nicht
mehr und nicht weniger. Wenn Du die Date kpiert hast ist die "Datenbank"
da. Was soll da irgendwo laufen Du hast ja keinen zweiten VZ
isntalliert sondern nur ein Backup gemacht?


> Tobias
>

Viele Grüße,
Andreas


>
> > Am 06.12.2016 um 11:50 schrieb Daniel Lauckner :
> >
> > Hallo Theo,
> >
> >
> > schon die Wikiseite entdeckt?
> > http://wiki.volkszaehler.org/software/tools/dbcopy
> >
> >
> > mfg Daniel
> >
>

Re: [vz-users] Hilfe bei Setup von dbcopy

[Andreas Goetz]

nommen, alles andere hab ich gleich
> gelassen. Dann hab ich folgendes ausgeführt:
>
> /var/www/volkszaehler.org/vendor/bin/dbcopy.php create -c /etc/dbcopy.json
>
> und folgende fehlermeldung bekommen:
>
>
>
>   [Doctrine\DBAL\Exception\ConnectionException]
>
>   An exception occured in driver: SQLSTATE[HY000] [14] unable to open
> databas
>   e file
>
>
>
>
>
>   [Doctrine\DBAL\Driver\PDOException]
>   SQLSTATE[HY000] [14] unable to open database file
>
>
>
>   [PDOException]
>   SQLSTATE[HY000] [14] unable to open database file
>
>
> create [-c|--config CONFIG]
>
>
> dann hab ich den befehl nochmal mit sudo vorangestellt getestet, weil ich
> dachte er könnte die database nicht öffnen, weil die recht fehlen. dann kam
> aber folgende Fehlermeldung:
>
>
>   [Doctrine\DBAL\Exception\SyntaxErrorException]
>   An exception occurred while executing 'SET NAMES utf8':
>   SQLSTATE[HY000]: General error: 1 near "SET": syntax error
>
>
>
>   [Doctrine\DBAL\Driver\PDOException]
>   SQLSTATE[HY000]: General error: 1 near "SET": syntax error
>
>
>
>   [PDOException]
>   SQLSTATE[HY000]: General error: 1 near "SET": syntax error
>
>
>
> Also was hab ich falsch gemacht?
>
>
> Am 06.12.2016 um 15:42 schrieb Andreas Goetz :
>
> Servus,
>
> 2016-12-06 13:57 GMT+01:00 Theo :
>
>> Hallo Daniel,
>>
>> Ja die wikiseite kenn ich, nach dieser hab ich ja bisher versucht zu
>> arbeiten. Aber diese schweigt sich leider über den part Dbcopy.json aus.
>> Nur das man eine kopie derselben verwenden soll.
>>
>
> Die sollte eigentlich selbsterklärend sein.
>
>
>>
>> Mein Plan war es jetzt ein backup als sqlite datenbank auf dem gleichen
>> raspi zu erstellen.
>
>
> Kannst Du machen.
>
>
>> Sqlite3 hab ich nach der wikiseite installiert.
>
>
> D.h. die PHP Sqlite Extension ist installiert?
>
>
>> Und dann die entstandene datenbank datei zusätzlich auf dem speicher der
>> fritzbox zu sichern. Ich hab sonst kein zusätzliches system auf dem ne
>> Datenbank laufen könnte.
>
>
>> Mir ist halt nicht ganz klar wo die Datenbank, wenn ich eine erstelle,
>> abgespeichert wird.
>>
>
> Ich verstehe Deine Frage nciht. Eine SQlite Datenbank ist eine Datei,
> nicht mehr und nicht weniger. Wenn Du die Date kpiert hast ist die
> "Datenbank" da. Was soll da irgendwo laufen Du hast ja keinen zweiten
> VZ isntalliert sondern nur ein Backup gemacht?
>
>
>> Tobias
>>
>
> Viele Grüße,
> Andreas
>
>
>>
>> > Am 06.12.2016 um 11:50 schrieb Daniel Lauckner :
>> >
>> > Hallo Theo,
>> >
>> >
>> > schon die Wikiseite entdeckt?
>> > http://wiki.volkszaehler.org/software/tools/dbcopy
>> >
>> >
>> > mfg Daniel
>> >
>>
>
>
>

Re: [vz-users] Hilfe bei Setup von dbcopy

[Andreas Goetz]

Servus,

> On 6 Dec 2016, at 21:31, Theo  wrote:
> 
> Hi,
> 
> also ich hab die dbcopy.json um die drei zeilen erleichtert und habe dbcopy 
> upgedatet. Hab ich doch mit sudo git pull richtig gemacht, oder?

git pull sollte reichen. Davon ab- wie gesagt gibt es schon ein dbcopy im vz 
Ordner. Dann reicht composer update.

> composer sagte mir das nix zum installieren oder updaten da ist.

Wenn du’s im dbcopy Ordner ausführst, ja. Im vz Ordner hätte das geklappt.

> 
> Aber ein erneutes erstellen der Zieldatenbank führte zu folgendem:
> 
> pi@raspberrypi:/var/www/volkszaehler.org/vendor/andig/dbcopy $ 
> /var/www/volkszaehler.org/vendor/bin/dbcopy.php create -c /etc/dbcopy.json
> Creating target schema
> Creating tables
> Updating schema assets for target platform compatibility: sqlite
> table: aggregate
> table: data
> table: entities
> table: entities_in_aggregator
> table: properties
> CREATE TABLE aggregate (id INTEGER NOT NULL, channel_id INTEGER NOT NULL, 
> type BOOLEAN NOT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT 
> NULL, count INTEGER NOT NULL, PRIMARY KEY(id))
> CREATE UNIQUE INDEX ts_uniq ON aggregate (channel_id, type, timestamp)
> CREATE TABLE data (id INTEGER NOT NULL, channel_id INTEGER DEFAULT NULL, 
> timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, PRIMARY KEY(id), 
> CONSTRAINT FK_ADF3F36372F5A1AA FOREIGN KEY (channel_id) REFERENCES entities 
> (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
> CREATE UNIQUE INDEX data_unique ON data (channel_id, timestamp)
> CREATE INDEX IDX_ADF3F36372F5A1AA ON data (channel_id)
> CREATE TABLE entities (id INTEGER NOT NULL, uuid VARCHAR(36) NOT NULL, type 
> VARCHAR(255) NOT NULL, class VARCHAR(255) NOT NULL, PRIMARY KEY(id))
> CREATE UNIQUE INDEX UNIQ_50EC64E5D17F50A6 ON entities (uuid)
> CREATE TABLE entities_in_aggregator (parent_id INTEGER NOT NULL, child_id 
> INTEGER NOT NULL, PRIMARY KEY(parent_id, child_id), CONSTRAINT 
> FK_2BD88468727ACA70 FOREIGN KEY (parent_id) REFERENCES entities (id) NOT 
> DEFERRABLE INITIALLY IMMEDIATE, CONSTRAINT FK_2BD88468DD62C21B FOREIGN KEY 
> (child_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
> CREATE INDEX IDX_2BD88468727ACA70 ON entities_in_aggregator (parent_id)
> CREATE INDEX IDX_2BD88468DD62C21B ON entities_in_aggregator (child_id)
> CREATE TABLE properties (id INTEGER NOT NULL, entity_id INTEGER DEFAULT NULL, 
> pkey VARCHAR(255) NOT NULL, value CLOB NOT NULL, PRIMARY KEY(id), CONSTRAINT 
> FK_87C331C781257D5D FOREIGN KEY (entity_id) REFERENCES entities (id) NOT 
> DEFERRABLE INITIALLY IMMEDIATE)
> CREATE UNIQUE INDEX property_unique ON properties (entity_id, pkey)
> CREATE INDEX IDX_87C331C781257D5D ON properties (entity_id)
>   
>   
>   [Doctrine\DBAL\Exception\ReadOnlyException] 
>   
>   An exception occurred while executing 'CREATE TABLE aggregate (id INTEGER 
> NO  
>   T NULL, channel_id INTEGER NOT NULL, type BOOLEAN NOT NULL, timestamp 
> BIGINT  
>NOT NULL, value DOUBLE PRECISION NOT NULL, count INTEGER NOT NULL, PRIMARY 
>   
>   KEY(id))':  
>   
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database  
>   
>   
>   
> 
>   
>   [Doctrine\DBAL\Driver\PDOException] 
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database  
>   
> 
>   
>   [PDOException]  
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database  
>   
> 
> scheinbar ist die zieldatenbank readonly. Aber wo und wie kann ich das fixen?

Wo liegt denn die Datei? Was greift parallel darauf zu? Welche Rechte haben 
Datei und Du? Aus Versehen beim ersten mal als root erstellt?

Suche erstmal nach den logischen Ursachen für eine nicht schreibbare Datei ;)

Viele Grüße, Andreas

> 
> Gruß Tobias
> Am 06.12.2016 um 19:26 schrieb Andreas Goetz:
> 
>> Deine Config funktioniert genau so. Auf der SQlite Seite kannst Du Dir die 
>> Punkte sparen:
>> 
>> "host": "localhost",
>> "user": "vz",
>> "password": "xxx"
>> 
>> 
>&

Re: [vz-users] Hilfe bei Setup von dbcopy

[Andreas Goetz]

 value DOUBLE PRECISION NOT NULL, count INTEGER NOT NULL,
> PRIMARY
>   KEY(id))':
>
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database
>
>
>
>
>
>   [Doctrine\DBAL\Driver\PDOException]
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database
>
>
>
>   [PDOException]
>   SQLSTATE[HY000]: General error: 8 attempt to write a readonly database
>
>
> scheinbar ist die zieldatenbank readonly. Aber wo und wie kann ich das
> fixen?
>
> Gruß Tobias
> Am 06.12.2016 um 19:26 schrieb Andreas Goetz:
>
> Deine Config funktioniert genau so. Auf der SQlite Seite kannst Du Dir die
> Punkte sparen:
>
> "host": "localhost",
> "user": "vz",
> "password": "xxx"
>
>
> Leider gabs einen Fehler in dbcopy, den hab ich gerade gefixt.
>
> Viele Grüße,
> Andreas
>
>
> 2016-12-06 18:26 GMT+01:00 Theo :
>
>> Hallo,
>>
>> genau das ist es ja was ich wissen will, habe doch jetzt mehrfach
>> geschrieben das ich nicht weiß was ich bei path angeben muss.
>>
>> Aber hier ist nochmal die komplette dbcopy.json
>>
>> {
>> "source": {
>> // source database connection
>> "driver": "pdo_mysql",
>> "host": "localhost",
>> "user": "vz",
>> "password": "xxx",
>> "dbname": "volkszaehler"
>> },
>> "target": {
>> // target database connection
>> "driver": "pdo_sqlite",
>> "path": "sqlite.db3",   // path is only used if
>> driver =$
>> "host": "localhost",
>> "user": "vz",
>> "password": "xxx"
>> // "dbname": "backup"
>> },
>> "tables": [
>> // table configuration (optional)
>> // --
>> // table name
>> //  tables will be processed in the order
>> they are m$
>> //  - foreign keys on target will be dropped
>> //  - if a table is not listed here, it will
>> not be $
>> // transfer mode
>> //  skip:   table will not be copied
>> //  copy:   entire table will be
>> truncated o$
>> //  pk: selective copy by
>> primar$
>> //  will be
>> copied f$
>> {
>> "name": "entities",
>> "mode": "copy"
>> }, {
>> "name": "properties",
>> "mode": "copy"
>> }, {
>> "name": "entities_in_aggregator",
>> "mode": "copy"
>> }, {
>> "name": "data",
>>  "mode": "pk"
>> }, {
>> "name": "aggregate",
>> "mode": "skip"
>> }
>> ]
>> }
>>
>> ein andere Problem das ich habe, ich wollte für die Zukunft composer
>> global aufrufbar machen, damit mir das gezuchtel erspart bleibt. dazu hab
>> ich wie auf https://getcomposer.org/doc/00-intro.md#globally beschrieben
>> die copmposer.phar in den Ordner /usr/local/bin/ verschoben. Aber wenn ich
>> dann z.b. bei /var/www/voklszaehler.org/vendor/andig/dbcopy  composer
>> aufrufen möchte mit z.b. composer update, bekomme ich die Meldung -bash:
>> composer: command not found
>>
>>
>> Gruß Tobias
>>
>>
>>
>>
>>
>>
>> Am 06.12.2016 um 18:08 schrieb Andreas Götz:
>>
>> Statt Rätselraten wäre die Config hilfreich. Hast Du target auf sqlite
>> geändert? Den Pfad zur Datenbankdatei (path) konfiguriert?
>>
>> Viele Grüße,

Re: [vz-users] keine Werte im Frontend

[Andreas Goetz]

Hallo Johannes,

das war nix- antworte bitte einfach auf die letzte Mail zum Thema- nicht
immer eine neue anfangen! Sonst hat bald niemand mehr Lust der Unterhaltung
zu folgen...

Viele Grüße,
Andreas


2016-12-07 21:23 GMT+01:00 johannes :

> Ja natürlich habe ich deine Vorschläge angewendet und Einträge raus
> genommen, Danke für den Tipp aber es klappt trozdem nicht.
>
> Welche Funktion ruft normalerweise den CURL befehl auf der die Werte
> übergibt? ich schätze es liegt daran dass ich einen OSM Meter habe aber ich
> kann keinen anderen Meter Testen.
>
> Entschuldigung ich hab noch nie aktiv in einer Mailingliste mitgeschrieben
> und erst jetzt gecheckt dass Ihr immer den Betreff ändert hoffe ich
> zumindest dass es so klappt.
>
> lg Johannes
>
> Am 2016-12-07 um 20:21 schrieb volkszaehler-users-request@dem
> o.volkszaehler.org:
>
>> Send volkszaehler-users mailing list submissions to
>> volkszaehler-users@demo.volkszaehler.org
>>
>> To subscribe or unsubscribe via the World Wide Web, visit
>> https://demo.volkszaehler.org/mailman/listinfo/volkszaehler-users
>> or, via email, send a message with subject or body 'help' to
>> volkszaehler-users-requ...@demo.volkszaehler.org
>>
>> You can reach the person managing the list at
>> volkszaehler-users-ow...@demo.volkszaehler.org
>>
>> When replying, please edit your Subject line so it is more specific
>> than "Re: Contents of volkszaehler-users digest..."
>>
>>
>> Today's Topics:
>>
>> 1. Re: Hilfe bei Setup von dbcopy (v...@jahp.de)
>> 2. Re: Hilfe bei Setup von dbcopy (Tobias Lehr)
>> 3. Re: Montage IR-Lesekopf / Zählerkasten verplombt (v...@jahp.de)
>> 4. Re: Hilfe bei Setup von dbcopy (Andreas Götz)
>> 5. Re: Hilfe bei Setup von dbcopy (v...@jahp.de)
>> 6. Re: Montage IR-Lesekopf / Zählerkasten verplombt (Frank Richter)
>> 7. Re: keine Werte im Frontend (Frank Richter)
>>
>>
>> --
>>
>> Message: 1
>> Date: Wed,  7 Dec 2016 15:57:14 +0100 (CET)
>> From: v...@jahp.de
>> To: "volkszaehler-users ML" 
>> Subject: Re: [vz-users] Hilfe bei Setup von dbcopy
>> Message-ID: <20161207145714.949ea1284...@lex.servertools24.de>
>> Content-Type: text/plain; charset="ISO-8859-1"
>>
>> Am 07.12.2016 um  Uhr haben Sie geschrieben:
>>
>>> @Tobias: Stopp. Was bricht wo warum ab? Das Setup funktioniert, kein
>>>
>> Grund
>>
>>> manuell irgendwas zu frickeln, insbesondere keine zentralen Dateien
>>> rumzukopieren.
>>>
>>> Lass uns nochmal vorne bei Problem anfangen.
>>>
>> Ab "Werk" ist die *.php unter .../misc/tools/ jedenfalls nicht zu
>> finden. Hab extra noch schnell volkszaehler.org vom git gepullt um das
>> zu prüfen.
>>
>> Wenn man composer unter .../vendor/*dingsbums* ausführt wird die
>> dbcopy.php dann auch nach .../misc/tools/ kopiert? Konnte das vor der
>> Arbeit leider nicht mehr testen.
>>
>>
>> mfg Daniel
>>
>>
>>
>> --
>>
>> Message: 2
>> Date: Wed, 07 Dec 2016 16:04:19 +0100
>> From: Tobias Lehr 
>> To: "volkszaehler.org - users"
>> 
>> Subject: Re: [vz-users] Hilfe bei Setup von dbcopy
>> Message-ID: <24988ec7-a4b9-4ea5-bba3-9fa288680...@me.com>
>> Content-Type: text/plain; charset=utf-8
>>
>> Also ich dachte ich teste die installation noch mal unter misc/tools. da
>> waren dann die php und die json datei. Wen. Ich unter misc/tools compser
>> laufen lassen möchte sagt dieser das das die composer.json fehlt. Ob die
>> php vor der installation in vendor/andig/dbcopy schon unter misc/tools war
>> kann ich natürlich nicht sagen. Ich hab dann aber nicht probiert ob die php
>> unter misc/tools funktionieren würde. Irgendwas manuell kopiert hab ich
>> nicht.
>>
>> Gruß Tobias
>>
>> Am 07.12.2016 um 15:57 schrieb v...@jahp.de:
>>>
>>> Am 07.12.2016 um  Uhr haben Sie geschrieben:
>>>
 @Tobias: Stopp. Was bricht wo warum ab? Das Setup funktioniert, kein

>>> Grund
>>>
 manuell irgendwas zu frickeln, insbesondere keine zentralen Dateien
 rumzukopieren.

 Lass uns nochmal vorne bei Problem anfangen.

>>> Ab "Werk" ist die *.php unter .../misc/tools/ jedenfalls nicht zu
>>> finden. Hab extra noch schnell volkszaehler.org vom git gepullt um das
>>> zu prüfen.
>>>
>>> Wenn man composer unter .../vendor/*dingsbums* ausführt wird die
>>> dbcopy.php dann auch nach .../misc/tools/ kopiert? Konnte das vor der
>>> Arbeit leider nicht mehr testen.
>>>
>>>
>>> mfg Daniel
>>>
>>>
>> --
>>
>> Message: 3
>> Date: Wed,  7 Dec 2016 16:08:03 +0100 (CET)
>> From: v...@jahp.de
>> To: volkszaehler-users@demo.volkszaehler.org
>> Subject: Re: [vz-users] Montage IR-Lesekopf / Zählerkasten verplombt
>> Message-ID: <20161207150803.4c08f1284...@lex.servertools24.de>
>> Content-Type: text/plain; charset="ISO-8859-1"
>>
>> Am 07.12.2016 um  Uhr haben Sie geschrieben:
>>
>>> Also 17mm diagonal - das passt locker durch M25!
>>>
>> Hm, ich hab hier jetzt nur M25 von OBO, da wars mit dem

Re: [vz-users] Energiesparkonto-Import Beschreibung

[Andreas Goetz]

Hallo Zusammen,

ich versuche mal als Entwickler und Promoter unemotional wenn auch
verspätet in die Diskussion einzusteigen. Für mich ist völlig nebulös
geblieben warum ich als Entwickler oder Anwender irgendein Interesse an
esk.de haben sollte. Für eine Erstansprache fände ich die Information mal
hilfreich.

2016-12-08 10:14 GMT+01:00 Maximilian Hengstenberg <
maximilian.hengstenb...@co2online.de>:

> ...
> In unserem Forum (https://forum.energiesparkonto.de/viewtopic.
> php?f=36&t=1057&sid=3e4a6ecd739e2d20da05910fda5ca86e)  wurde jetzt des
> öfteren der Wunsch nach einer Möglichkeit Zählerständen in unser
> Energiesparkonto zu importieren geäußert.
>
> Wir haben daraufhin jetzt eine API-Beschreibung veröffentlicht:
> https://api.energiesparkonto.de/
> ...
>
> Wäre ja toll wenn wir hier jetzt bald mal eine Import hinbekämen!!
>
>
Hier verstehe ich nicht wer was von wem will- dass das warum unklar ist
habe ich ja oben schon beschrieben.

VZ hat ebenfalls eine offene API, also einfach benutzen wer möchte. Fragen?
Dann einfach fragen!
Wenn ihr bei esk Entwickler sucht helfe ich gerne, als pro bono Hobbythema
ist mir das allerdings zu nebulös da ich keinen Use Case sehe,


> Herzliche Grüße
> Ihr Maximilian Hengstenberg
>

Viele Grüße,
Andreas


>
>
> Maximilian Hengstenberg
> Support Energiesparkonto
>
>
> co2online gemeinnützige GmbH
> GF: Dr. Johannes D. Hengstenberg, Tanja Loitz
> Hochkirchstr. 9
> 10829 Berlin
>
> Amtsgericht Berlin Charlottenburg: HRB 91249 │ UStIDNr.: DE233964948
>
> Tel.:  0800 5892640 │ Fax:  030 76 76 85 - 11
>
>
> *maximilian.hengstenb...@co2online.de
> **www.co2online.de
>  │ www.klima-sucht-schutz.de
>  │ www.energiesparclub.de
>  │ www.heizspiegel.de
> *
>
>
>

Re: [vz-users] Monatsansicht + Jahresansicht = WTF ?

[Andreas Goetz]

Hallo Saftwerk,

Du darfst Dich gerne an der Entwicklung beteiligen- aktiv mit Patches oder
passiv mit finanzieller Unterstützung.

Viele Grüße,
Andreas


2016-12-11 14:30 GMT+01:00 Stefan Bauer :

> Hallo Saftwerk.
>
> Vielleicht wäre ja "mein Frontend" etwas für Dich
> http://wiki.volkszaehler.org/software/frontends/day_vaules
>
> Stefan
>
>
> Von meinem iPad gesendet
>
> Am 11.12.2016 um 14:18 schrieb china2...@abwesend.de:
>
> Hmmm...
> wozu sind denn diese Monats und Jahresgrafiken gut?
> Was könnte man aus der Grafik ablesen?
> 
>
> Könnte man nicht irgendwie  die tage~, wochen~ oder monatsweise
> aggregierten Daten als Balken oder Tabelle anzeigen?
> Braucht man da ein anderes Frontend oder hat so etwas schon jemand
> realisiert?
>
> 
>
> Ausblick:
> Mit Vergleichsfunktionen könnte man schön sehen ob, sich das
> Verbrauchsverhalten verbessert oder verschlechtert hat.
>
> Viele Grüße
> Saftwerk
>
>

Re: [vz-users] Middlware und vzlogger.conf

[Andreas Goetz]

Servus,

On Tue, Dec 13, 2016 at 10:24 AM, Udo1  wrote:

> Am 13.12.2016 um 08:11 schrieb Andreas Götz:
>
>> Mit dunkel meinst Du den Zähler?! Dann wäre vmtl. das Beste Dich an
>> Deinen Netzbetreiber zu wenden und höflich zu fragen ob er Dir die
>> Schnittstelle zugänglich machen kann.
>>
>>
> Das hat doch schon funktioniert. Siehe Mailingliste vom 12.10.2013, 20:54
> Re: [vz-users] Probleme mit VZlogger / Frontend
>
> [Oct 12 20:46:02][chn3] CURL: Connection #0 to host (nil) left intact
>> [Oct 12 20:46:02][chn3] CURL Request succeeded with code: 200
>> [Oct 12 20:46:03][mtr1] Got 8 new readings from meter:
>> [Oct 12 20:46:03][mtr1] Reading: id=129-129:199.130.3*255/ObisI
>> tentifier:129-129:199.130.3*255 value=0.00 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: 
>> id=1-0:0.0.9*255/ObisItentifier:1-0:0.0.9*255
>> value=0.00 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: 
>> id=1-0:2.8.0*255/ObisItentifier:1-0:2.8.0*255
>> value=13554074.30 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: 
>> id=1-0:2.8.1*255/ObisItentifier:1-0:2.8.1*255
>> value=13554074.30 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: 
>> id=1-0:2.8.2*255/ObisItentifier:1-0:2.8.2*255
>> value=0.00 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: 
>> id=1-0:16.7.0*255/ObisItentifier:1-0:16.7.0*255
>> value=0.00 ts=1381603563.147
>> [Oct 12 20:46:03][mtr1] Reading: id=129-129:199.130.5*255/ObisI
>> tentifier:129-129:199.130.5*255 value=0.00 ts=31148128.000
>> [Oct 12 20:46:03][mtr1] Reading: id=0-0:0.0.0*0/ObisItentifier:0-0:0.0.0*0
>> value=0.00 ts=0.000
>> [Oct 12 20:46:03][chn3] Adding reading to queue (value=13554074.30
>> ts=1381603563.147)
>> [Oct 12 20:46:03][chn3] ==> number of tuples: 1
>> [Oct 12 20:46:03][chn3] compare: 1381603561793 1381603563147
>> 1381603563147.142822
>> [Oct 12 20:46:03][chn3] JSON request body: [ [ 1381603563147.142822,
>> 13554074.30 ] ]
>> [Oct 12 20:46:03][chn3] CURL: Re-using existing connection! (#0) with
>> host (nil)
>> [Oct 12 20:46:03][chn3] CURL: Connected to (nil) (127.0.0.1) port 80 (#0)
>> [Oct 12 20:46:03][chn3] CURL: Sent 45 bytes..
>> [Oct 12 20:46:03][chn3] CURL: Sent '[ [ 1381603563147.142822,
>> 13554074.30 ] ]' bytes
>> [Oct 12 20:46:03][chn3] Buffer dump (size=0 keep=0): {}
>> [Oct 12 20:46:03][chn3] CURL: upload completely sent off: 45 out of 45
>> bytes
>> [Oct 12 20:46:03][chn3] CURL: additional stuff not fine transfer.c:1037:
>> 0 0
>> [Oct 12 20:46:03][chn1] CURL: HTTP 1.1 or later with persistent
>> connection, pipelining supported
>> [Oct 12 20:46:03][chn1] CURL: Received 28 bytes
>> [Oct 12 20:46:03][chn1] CURL: Received '11
>>
>
@Heiko: wenn Du willst gib mit per PM Zugang per SSH und HTTP, dann kann
ich mal direkt drauf schauen ob/wo die Daten hin sind die Laut lLogfile an
die MW geschickt werden.


>
> Gruß
> Udo
>
>
Viele Grüße,
Andreas

Re: [vz-users] Middlware und vzlogger.conf

[Andreas Goetz]

Ich verstehe immer noch nicht was wir jetzt geändert haben. Hatte vorhin
auf den Raspi geschaut (und 2. Meter disabled- mea culpa)- sah alles ok aus
für mich. stty konnte ich auf die Schnelle nicht versuche weil ich nicht
wusste wir die Baudrate einzustellen war...

Aber das sieht doch jetzt hoffnungsvoll aus- Daumen hoch!

Viele Grüße,
Andreas


2016-12-14 21:17 GMT+01:00 Heiko W. :

> Hallo
>
>
> ich noch mal O.o
>
>
> sieht irgendwie schon viel besser aus ..
>
>
> Mit freundlichen Grüßen
> Heiko W.
>
> Diese E-Mail enthält möglicherweise vertrauliche und/oder rechtlich
> geschützte Informationen.
> Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich
> erhalten haben,
> informieren Sie bitte sofort den Absender und vernichten Sie diese E-Mail.
> Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser E-Mail ist
> nicht gestattet.
>
>
> --
> *Von:* volkszaehler-users  demo.volkszaehler.org> im Auftrag von Frank Richter <
> frank.richte...@gmail.com>
> *Gesendet:* Mittwoch, 14. Dezember 2016 21:12
>
> *An:* volkszaehler.org - users
> *Betreff:* Re: [vz-users] Middlware und vzlogger.conf
>
> Hallo Heiko,
>
> sieht soweit gut aus, also mal alles raus aus der alten config was nicht
> notwendig ist.
>
> Frank
>
> 2016-12-14 21:09 GMT+01:00 Heiko W. :
>
>> Hallo
>>
>>
>>
>> *der TEST mit der PV*
>>
>> pi@raspberrypi:~ $ vzlogger -c /etc/vzlogger.test
>> [Dec 14 21:07:50][main] vzlogger v0.6.0 based on
>> heads/master-0-g1484f9aad1 from Mon, 22 Aug 2016 22:32:51 +0200 started.
>> [Dec 14 21:07:50][mtr0] Creating new meter with protocol sml.
>> [Dec 14 21:07:50][mtr0] Meter configured, enabled.
>> [Dec 14 21:07:50]   New meter initialized (protocol=sml)
>> [Dec 14 21:07:50]   Have 1 meters.
>> [Dec 14 21:07:50][main] log level is 15
>> [Dec 14 21:07:50][main] daemon=0, local=0
>> [Dec 14 21:07:50]   Process not  daemonized...
>> [Dec 14 21:07:50]   Opened logfile /tmp/vzlogger.log
>> [Dec 14 21:07:50][push] No pushDataServer defined.
>> [Dec 14 21:07:50][] ===> Start meters
>> [Dec 14 21:07:50][mtr0] Meter connection established
>> [Dec 14 21:07:50][mtr0] Meter thread started
>> [Dec 14 21:07:50][mtr0] Meter is opened. Starting channels.
>> [Dec 14 21:07:50][] Startup done.
>> [Dec 14 21:07:50][mtr0] Number of readers: 32
>> [Dec 14 21:07:50][mtr0] Config.daemon: 0
>> [Dec 14 21:07:50][mtr0] Config.local: 0
>> [Dec 14 21:07:51][mtr0] Got 4 new readings from meter:
>> [Dec 14 21:07:51][mtr0] Reading: 
>> id=1-0:2.8.0*255/ObisIdentifier:1-0:2.8.0*255
>> value=58076018.60 ts=1481746071366
>> [Dec 14 21:07:51][mtr0] Reading: 
>> id=1-0:2.8.1*255/ObisIdentifier:1-0:2.8.1*255
>> value=58076018.60 ts=1481746071366
>> [Dec 14 21:07:51][mtr0] Reading: 
>> id=1-0:2.8.2*255/ObisIdentifier:1-0:2.8.2*255
>> value=0.00 ts=1481746071366
>> [Dec 14 21:07:51][mtr0] Reading: 
>> id=1-0:16.7.0*255/ObisIdentifier:1-0:16.7.0*255
>> value=0.00 ts=1481746071366
>> [Dec 14 21:07:51][mtr0] Stopped reading.
>> [Dec 14 21:07:51][] Server stopped.
>> [Dec 14 21:07:51][] Trying to delete curlSessionProvider...
>> [Dec 14 21:07:51][] deleted curlSessionProvider
>> pi@raspberrypi:~ $
>>
>> *der TEST mit HAUS*
>> pi@raspberrypi:~ $ vzlogger -c /etc/vzlogger.test
>> [Dec 14 21:08:39][main] vzlogger v0.6.0 based on
>> heads/master-0-g1484f9aad1 from Mon, 22 Aug 2016 22:32:51 +0200 started.
>> [Dec 14 21:08:39][mtr0] Creating new meter with protocol sml.
>> [Dec 14 21:08:39][mtr0] Meter configured, enabled.
>> [Dec 14 21:08:39]   New meter initialized (protocol=sml)
>> [Dec 14 21:08:39]   Have 1 meters.
>> [Dec 14 21:08:39][main] log level is 15
>> [Dec 14 21:08:39][main] daemon=0, local=0
>> [Dec 14 21:08:39]   Process not  daemonized...
>> [Dec 14 21:08:39]   Opened logfile /tmp/vzlogger.log
>> [Dec 14 21:08:39][push] No pushDataServer defined.
>> [Dec 14 21:08:39][] ===> Start meters
>> [Dec 14 21:08:39][mtr0] Meter connection established
>> [Dec 14 21:08:39][mtr0] Meter thread started
>> [Dec 14 21:08:39][mtr0] Meter is opened. Starting channels.
>> [Dec 14 21:08:39][] Startup done.
>> [Dec 14 21:08:39][mtr0] Number of readers: 32
>> [Dec 14 21:08:39][mtr0] Config.daemon: 0
>> [Dec 14 21:08:39][mtr0] Config.local: 0
>> [Dec 14 21:08:40][mtr0] Got 7 new readings from meter:
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:1.8.0*255/ObisIdentifier:1-0:1.8.0*255
>> value=14165353.80 ts=1481746120362
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:2.8.0*255/ObisIdentifier:1-0:2.8.0*255
>> value=49908876.30 ts=1481746120362
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:1.8.1*255/ObisIdentifier:1-0:1.8.1*255
>> value=6334836.50 ts=1481746120362
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:2.8.1*255/ObisIdentifier:1-0:2.8.1*255
>> value=49908876.30 ts=1481746120362
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:1.8.2*255/ObisIdentifier:1-0:1.8.2*255
>> value=7830517.30 ts=1481746120362
>> [Dec 14 21:08:40][mtr0] Reading: 
>> id=1-0:2.8.2*2

Re: [vz-users] Middlware und vzlogger.conf

[Andreas Goetz]

Wäre gut wenn Du sie auch wieder rein nehmen könntest bis das Problem auftritt- 
dann könnten wir es an der Wurzel abstellen, das wäre Klasse.

Vielen Dank, Andreas

> On 14 Dec 2016, at 21:30, Heiko W.  wrote:
> 
> Hallo Andreas, 
> 
> ich denke eins von denen ist/war das Problem
> Ansonsten mal alles rauswerfen, was nicht gebraucht wird, also:
> interval
> secretkey
> scaler
> host
> pullseq
> baudrate
> parity
> 
> ich habe ja einiges aus der Config entfernt.. 
> vielleicht die Baudrate??
> oder so was 
> 
> Mit freundlichen Grüßen
> Heiko W.
> 
> Diese E-Mail enthält möglicherweise vertrauliche und/oder rechtlich 
> geschützte Informationen.
> Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich 
> erhalten haben,
> informieren Sie bitte sofort den Absender und vernichten Sie diese E-Mail.
> Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser E-Mail ist 
> nicht gestattet.
> 
> 
> Von: volkszaehler-users  im 
> Auftrag von Andreas Goetz 
> Gesendet: Mittwoch, 14. Dezember 2016 21:26
> An: volkszaehler.org - users
> Betreff: Re: [vz-users] Middlware und vzlogger.conf
>  
> Ich verstehe immer noch nicht was wir jetzt geändert haben. Hatte vorhin auf 
> den Raspi geschaut (und 2. Meter disabled- mea culpa)- sah alles ok aus für 
> mich. stty konnte ich auf die Schnelle nicht versuche weil ich nicht wusste 
> wir die Baudrate einzustellen war...
> 
> Aber das sieht doch jetzt hoffnungsvoll aus- Daumen hoch!
> 
> Viele Grüße,
> Andreas
> 
> 
> 2016-12-14 21:17 GMT+01:00 Heiko W.  <mailto:luckyhe...@hotmail.com>>:
> Hallo 
> 
> ich noch mal O.o 
> 
> 
> sieht irgendwie schon viel besser aus .. 
> 
> Mit freundlichen Grüßen
> Heiko W.
> 
> Diese E-Mail enthält möglicherweise vertrauliche und/oder rechtlich 
> geschützte Informationen.
> Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich 
> erhalten haben,
> informieren Sie bitte sofort den Absender und vernichten Sie diese E-Mail.
> Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser E-Mail ist 
> nicht gestattet.
> 
> 
> Von: volkszaehler-users  <mailto:volkszaehler-users-boun...@demo.volkszaehler.org>> im Auftrag von 
> Frank Richter mailto:frank.richte...@gmail.com>>
> Gesendet: Mittwoch, 14. Dezember 2016 21:12
> 
> An: volkszaehler.org <http://volkszaehler.org/> - users
> Betreff: Re: [vz-users] Middlware und vzlogger.conf
>  
> Hallo Heiko,
> 
> sieht soweit gut aus, also mal alles raus aus der alten config was nicht 
> notwendig ist.
> 
> Frank
> 
> 2016-12-14 21:09 GMT+01:00 Heiko W.  <mailto:luckyhe...@hotmail.com>>:
> Hallo 
> 
> 
> der TEST mit der PV
> pi@raspberrypi:~ $ vzlogger -c /etc/vzlogger.test
> [Dec 14 21:07:50][main] vzlogger v0.6.0 based on heads/master-0-g1484f9aad1 
> from Mon, 22 Aug 2016 22:32:51 +0200 started.
> [Dec 14 21:07:50][mtr0] Creating new meter with protocol sml.
> [Dec 14 21:07:50][mtr0] Meter configured, enabled.
> [Dec 14 21:07:50]   New meter initialized (protocol=sml)
> [Dec 14 21:07:50]   Have 1 meters.
> [Dec 14 21:07:50][main] log level is 15
> [Dec 14 21:07:50][main] daemon=0, local=0
> [Dec 14 21:07:50]   Process not  daemonized...
> [Dec 14 21:07:50]   Opened logfile /tmp/vzlogger.log
> [Dec 14 21:07:50][push] No pushDataServer defined.
> [Dec 14 21:07:50][] ===> Start meters
> [Dec 14 21:07:50][mtr0] Meter connection established
> [Dec 14 21:07:50][mtr0] Meter thread started
> [Dec 14 21:07:50][mtr0] Meter is opened. Starting channels.
> [Dec 14 21:07:50][] Startup done.
> [Dec 14 21:07:50][mtr0] Number of readers: 32
> [Dec 14 21:07:50][mtr0] Config.daemon: 0
> [Dec 14 21:07:50][mtr0] Config.local: 0
> [Dec 14 21:07:51][mtr0] Got 4 new readings from meter:
> [Dec 14 21:07:51][mtr0] Reading: 
> id=1-0:2.8.0*255/ObisIdentifier:1-0:2.8.0*255 value=58076018.60 
> ts=1481746071366
> [Dec 14 21:07:51][mtr0] Reading: 
> id=1-0:2.8.1*255/ObisIdentifier:1-0:2.8.1*255 value=58076018.60 
> ts=1481746071366
> [Dec 14 21:07:51][mtr0] Reading: 
> id=1-0:2.8.2*255/ObisIdentifier:1-0:2.8.2*255 value=0.00 ts=1481746071366
> [Dec 14 21:07:51][mtr0] Reading: 
> id=1-0:16.7.0*255/ObisIdentifier:1-0:16.7.0*255 value=0.00 ts=1481746071366
> [Dec 14 21:07:51][mtr0] Stopped reading.
> [Dec 14 21:07:51][] Server stopped.
> [Dec 14 21:07:51][] Trying to delete curlSessionProvider...
> [Dec 14 21:07:51][] deleted curlSessionProvider
> pi@raspberrypi:~ $
> 
> der TEST mit HAUS
> pi@raspberrypi:~ $ vzlogger -c /etc/vzlogger.test
> [Dec 14 21:08:39][main] vzlogger v0.6.0 based on heads/master-0-g1484f9aad1 
> from Mon, 22 Au

Re: [vz-users] Middlware und vzlogger.conf

[Andreas Goetz]

Moin,

2016-12-16 14:48 GMT+01:00 johannes :

>  Hallo,
>
> wenn schon am Online-Editor geändert wird wäre eventuell auch sinnvoll ein
> Warnhinweis dass bei aktiviertem HTTPd Server nichts in die lokale
> Datenbank gespeichert wird.
>

Woher kommt die Erkenntnis?


>
> Denn dass war bei mir das Problem wiso im Frontend nichts angezeigt wurde,
> hab eine Warnung diesbezüglich nirgends gefunden ausser eben jetzt kurz in
> dem Thread von Heiko.
>

Ganz sicher dass das der Fall ist? M.E. ist der HTTPD zusätzclih- können
wir aber auch im Code rausfrickeln.


> Lg Johannes
>

Viele Grüße,
Andreas


>
> Hallo Frank Richter,
>>
>>
>> am Donnerstag, 15. Dezember 2016 um 01:52 hast du geschrieben:
>>
>>> Der Crash von vzlogger wird nach meiner Beobachtung verursacht,
>>> wenn für ein meter sowohl "device" als auch "host" definiert sind.
>>> Es scheint schon auszureichen, dass "host" überhaupt auftaucht, denn
>>> selbst wenn nur ein leerer String gesetzt wird, kommt es offenbar
>>> zum Absturz. Leider liefert der Online-Editor zur Zeit genau solche
>>> Configs (keine Ahnung ob es da kürzlich Änderungen gab).
>>>
>> Im config-Editor nicht, der macht das schon länger.
>> Und es ergibt ja auch Sinn. Der Editor kann aber nur
>> Felder ausblenden die wirklich garnie benötigt werden.
>> (Z.B kein GPIO bei SML-Meter)
>>
>> Ich hatte bisher noch keinen Kontakt mit dem Parameter "host". Wie sieht
>>> ein use case dafür aus?
>>>
>> Der Lesekopf kann auch per LAN angebunden sein. Ich denke da z.B. an
>> Lantronics X- oder Udos Y-Port.
>> Stichwort: ser2net.
>>
>> Vermutlich dürfte der Editor nur entweder "device" oder "host" in
>>> einem meter zulassen, aber nicht beides. Keine Ahnung, ob man ihm das
>>> beibringen kann.
>>>
>> Wird wohl eher schwer werden.
>>
>>
>> mfg Daniel
>>
>>
>>
>> --
>>
>> Message: 2
>> Date: Thu, 15 Dec 2016 04:57:38 +
>> From: Heiko W. 
>> To: volkszaehler.org - users
>> 
>> Subject: Re: [vz-users] Middlware und vzlogger.conf
>> Message-ID:
>> > 02.prod.outlook.com>
>>
>> Content-Type: text/plain; charset="iso-8859-1"
>>
>> Hallo
>>
>>
>> hab die Log Datei auf den anderen Pfad umgestellt.
>>
>>
>> @ Frank danke fürs Testen,
>>
>> wenn ich das dann richtig verstehe muss ich nicht mehr testen?
>>
>>
>> P.S.: Logger usw läuft und im Anhang mal ein ausschnitt vom Frontend
>>
>> muss nun nur noch rausfinden was die 100-200 Watt Zacken sind. die 1,5kw
>> iss meine WP
>>
>>
>> Mit freundlichen Grüßen
>> Heiko W.
>>
>> Diese E-Mail enthält möglicherweise vertrauliche und/oder rechtlich
>> geschützte Informationen.
>> Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich
>> erhalten haben,
>> informieren Sie bitte sofort den Absender und vernichten Sie diese E-Mail.
>> Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser E-Mail ist
>> nicht gestattet.
>>
>>
>> 
>> Von: volkszaehler-users 
>> im Auftrag von Udo1 
>> Gesendet: Mittwoch, 14. Dezember 2016 22:09
>> An: volkszaehler-users@demo.volkszaehler.org
>> Betreff: Re: [vz-users] Middlware und vzlogger.conf
>>
>> Am 14.12.2016 um 21:42 schrieb Frank Richter:
>>
>>> Wenn es zuverlässig läuft, stellst du noch verbosity auf 0, damit kein
>>> riesiges Logfile entsteht.
>>>
>>> Und den Path für die vzlogger.log auf /tmp/vzlogger.log
>>
>> Steht auch extra in der Beschreibung des Image.
>> http://wiki.volkszaehler.org/howto/raspberry_pi_image
>> howto:raspberry_pi_image [wiki.volkszaehler.org]> /wiki.volkszaehler.org/howto/raspberry_pi_image>
>> wiki.volkszaehler.org
>> Sie können die Zuteilung der IP Adresse an den raspberry an Ihrem DHCP
>> Server ablesen. Sie können auch einen Netzwerk-Scanner benutzen um die IP
>> des Raspberry Pi ...
>>
>>
>>
>> Auch wenn man nur Mausschubser ist, sollte man doch wenigstens die
>> Anleitungen lesen.
>>
>> Gruß
>> Udo
>> -- next part --
>> An HTML attachment was scrubbed...
>> URL: > ttachments/20161215/08b54bdb/attachment.html>
>> -- next part --
>> A non-text attachment was scrubbed...
>> Name: 1.JPG
>> Type: image/jpeg
>> Size: 138164 bytes
>> Desc: 1.JPG
>> URL: > ttachments/20161215/08b54bdb/attachment.jpe>
>>
>> --
>>
>> Subject: Digest Footer
>>
>> ___
>> volkszaehler-users mailing list
>> volkszaehler-users@demo.volkszaehler.org
>> https://demo.volkszaehler.org/mailman/listinfo/volkszaehler-users
>>
>>
>> --
>>
>> End of volkszaehler-users Digest, Vol 65, Issue 79
>> **
>>
>
>

Re: [vz-users] vzlogger Kompilierungsfehler

[Andreas Goetz]

Sieht aus wie ein Fehler in der curl library, nicht beim vzlogger? Evtl.
davon eine ältere Version installieren?

Viele Grüße,
Andreas


2016-12-21 15:38 GMT+01:00 :

>
> Hallo miteinander,
>
> wollte grade einen alten Raspberry mit dem vzlogger betanken. Allerdings
> lässt der vzlogger sich grade nicht kompilieren und bricht ab.
> Ich richte mich nach eurer Installation unter:
> http://wiki.volkszaehler.org/software/controller/vzlogger/in
> stallation_cpp-version
> Betriebssystem: Debian-Jessie
> Die debian packages sind alle installiert.
>
> Fehlermeldung:
>
>
> [ 12%] Building CXX object src/CMakeFiles/vz.dir/threads.cpp.o
> cd /home/pi/vzlogger/src && /usr/bin/c++   -DHAVE_CONFIG_HPP
> -I/usr/local/include -I/home/pi/vzlogger -I/home/pi/vzlogger/include  -W
> -Wall -Wextra -Werror -Wnon-virtual-dtor -Wno-system-headers -Winit-self
> -Wmissing-include-dirs -Wno-pragmas -Wredundant-decls -Wno-unused-parameter
> -std=c++11 -fpermissive -Wno-error=redundant-decls -Wno-ignored-qualifiers
>  -g3 -o CMakeFiles/vz.dir/threads.cpp.o -c /home/pi/vzlogger/src/threads.
> cpp
> In file included from /usr/include/curl/curl.h:35:0,
>  from /home/pi/vzlogger/include/api/Volkszaehler.hpp:37,
>  from /home/pi/vzlogger/src/threads.cpp:33:
> /usr/include/curl/curlrules.h:219:0: error: unterminated #else
>  #if defined(__BORLANDC__) && (__BORLANDC__ == 0x0551)
>  ^
> /usr/include/curl/curlrules.h:1:0: error: unterminated #ifndef
>  #ifndef __CURL_CURLRULES_H
>  ^
> src/CMakeFiles/vz.dir/build.make:113: recipe for target
> 'src/CMakeFiles/vz.dir/threads.cpp.o' failed
> make[2]: *** [src/CMakeFiles/vz.dir/threads.cpp.o] Error 1
> make[2]: Leaving directory '/home/pi/vzlogger'
> CMakeFiles/Makefile2:1062: recipe for target 'src/CMakeFiles/vz.dir/all'
> failed
> make[1]: *** [src/CMakeFiles/vz.dir/all] Error 2
> make[1]: Leaving directory '/home/pi/vzlogger'
> Makefile:163: recipe for target 'all' failed
> make: *** [all] Error 2
> -
>
> Hat jemand eine Idee?
>
> Danke und Gruß,
> Christian.
>
>
>

Re: [vz-users] tmpfs /var/log --> Middleware Network Error

[Andreas Goetz]

Moin Claus,

hast Du mal wiki/howto/debug angeschaut, insbesondere diesen Teil:

  * Frontend
* ist die richtige UUID ausgewählt (gleiche UUID wie in der
vzlogger.conf)
* ist der Kanal richtig konfiguriert (Typ und Auflösung)
* werden überhaupt Daten angezeigt


** welche Requests werden an die middleware gestellt und wie sieht die
JSON Antwort aus? (firebug, 'network' tab)* gibt es Fehlermeldungen im
Webserver Log? (tail -f /var/log/apache2/error.log)*
Sonst bleibts leider Kaffeesatzleserei.

Viele Grüße,
Andreas


2016-12-23 10:01 GMT+01:00 :

>
>
> Hallo zusammen,
>
>
>
> middleware läuft auf dem Raspberry Pi.
>
>
>
> /var/log habe ich mit folgender Zeile in fstab nach tmpfs gemountet:
>
> # tmpfs /var/log tmpfs nodev,noatime,nosuid,mode=1755,size=15M 0 0
>
>
>
> Jetzt bekomme ich im Frontend ein Popup mit „Middleware Error (Network
> Error)“
>
>
>
> Woran könnte das denn liegen?
>
>
>
> Gruß,
>
> Claus
>

Re: [vz-users] Monatsansicht + Jahresansicht = WTF ?

[Andreas Goetz]

Servus,

> On 28 Dec 2016, at 00:36, Pascal  wrote:
> 
> Das sieht doch schon einmal nicht schlecht aus!?

Hat ja auch niemand behauptet :O

> Ich persönlich finde, würde eine Implementation sehr begrüssen. Ab einer 
> Zeitspanne von 1 Woche sollten es meiner Meinung nach Balken sein, welche die 
> Energie in kWh und die Durchschnittstemp(evtl. mit min max) anzeigen. Ab 1 
> Woche macht für mich ein Liniendiagramm keinen Sinn mehr.

Warum? Ich kann mir im Liniendiagramm z.B. mal den durchschnittlichen Verlauf 
der Aussentemperatur anschauen?

Spannend ist aber tatsächlich wie gemischte Charts aussehen sollen. Im Moment 
bleiben Einheiten die keinen “Verbrauch” unterstützen einfach wie sie sind, 
also als Linien, ohne dass nach Stunde, Tag etc. gruppiert wird.

> Ich habe mich einmal selbst daran versucht, bin aber kläglich gescheitert. 
> Ich habe keinen Überblick über die ganzen Skripte etc…
> Aber wenn ich dir mit testen oder ähnlichem helfen kann bin ich gerne  dazu 
> bereit.

Viele Grüße, Andreas

> 
> Gruss Pascal
>> Am 27.12.2016 um 16:02 schrieb Andreas Goetz > <mailto:cpui...@gmail.com>>:
>> 
>> Hallo Zusammen,
>> 
>>> On 11 Dec 2016, at 16:27, Daniel Lauckner >> <mailto:v...@jahp.de>> wrote:
>>> 
>>> Hallo Saftwerk,
>>> 
>>> 
>>> am Sonntag, 11. Dezember 2016 um 15:30 hast du geschrieben:
>>>> http://wiki.volkszaehler.org/start?do=search&id=spende 
>>>> <http://wiki.volkszaehler.org/start?do=search&id=spende>
>>>> (der größte Unsinn ist es, seine Wünsche geheim zu halten)
>>> 
>>> Was Andreas meint ist ein kleiner Insider: Wenn wir genug Geld
>>> zusammen bekämen das er nicht mehr zur Arbeit braucht würde er gerne
>>> Vollzeit am VZ arbeiten und könnte (fast) alle Wünsche erfüllen.
>> 
>> Das wäre Klasse, da sehe ich aber schwarz :)
>> 
>>> 
>>> Das bezieht sich vor allem darauf das er auch schon eine Erweiterung
>>> fürs Standard-Frontend gebastelt hat das deinen Wünschen gerecht
>>> würde. Hat aber noch Darstellungsfehler und solang er nicht die Zeit
>>> findet die zu beheben kommts halt nicht in den offiziellen Zweig.
>> 
>> So isses. Irgendwie hab ich aber eine Sackgasse erreicht. Es wird nicht 
>> richtig fertig und geht auch nicht mehr richtig vorwärts. Wer sich das Ding 
>> mal anschauen will schickt mir Anfrage per PM, dann könnt ihr mal schauen 
>> was es bisher gibt:
>> 
>> 
>> 
>>> 
>>> 
>>> Mit freundlichen Grüßen Daniel
>> 
>> Viele Grüße, Andreas
>> 
> 

Re: [vz-users] Volkszähler Betriebszustands (Betriebsstunden) Erfassung.

[Andreas Goetz]

Wie hast Du denn den Kanal konfiguriert und hast Du eine aktuelle
Installation des Frontends?

Viele Grüße,
Andreas


2016-12-29 10:49 GMT+01:00 Michael Knapp :

> Hallo zusammen,
>
> Ich versuche gerade über den S0/1 (Udo's Raspberry Erweiterung) den
> Betriebszustand eines Gasbrenners einzulesen und dann zu Visualisieren.
>
> Ziel wäre es das bei Brenner aus 0 angezeigt wird und bei Brenner an den
> wert 1 um sehen zu können wann der Brenner läuft und wann er aus ist.
>
> Nach ein paar versuchen zusammen mit Udo habe ich es leider trotzdem nicht
> hinbekommen.
>
> Beim ein und ausschalten des Brenners wird jeweils nur ein kurzer Impuls
> angezeigt. Der Wert 1 (Brenner An) sollte aber immer bei 1 bleiben.
>
> Die Config zu S0/1 sieht so aus:
>
> {
>
> "enabled": true,
>
> "allowskip": false,
>
> "interval": 60,
>
> "aggtime": -1,
>
> "aggfixedinterval": false,
>
> "channels": [
>
> {
>
> "uuid": "16340d60-84d3-11e6-b24c-75867e2891aa",
>
> "identifier": "Impulse",
>
> "api": "volkszaehler",
>
> "middleware": "http://127.0.0.1/middleware.php";,
>
> "aggmode": "none",
>
> "duplicates": 0
>
> }
>
> ],
>
> "protocol": "s0",
>
> "gpio": 18,
>
> "configureGPIO": true,
>
> "send_zero": true,
>
> "debounce_delay": 200
>
> },
>
>
> Hat noch jemand eine Idee wie ich das hinbekommen könnte?
>
>
> VG Michael
>
>
>
>

Re: [vz-users] Probleme mit Zeilenumbruch in einem Import-Script

[Andreas Goetz]

Na wie derm auch sei- ich fand den Exkurs in die Shellprogrammierung sehr
hillfreich- bei mir ists leider meist trial and error- zumindest kenne ich
mittlerweile einige Stellen an denen ich rumprobieren kann :)

Vielen Dank an Lars und Euch alles einen Guten Rusch und ein Gesundes und
Erfolgreiches 2017!

Viele Grüße,
Andreas


2016-12-30 10:31 GMT+01:00 Josef Moellers :

> On 29.12.2016 23:15, Lars Täuber wrote:
> > Hallo Dennis,
> >
> > ich bin beim Formulieren von Antworten etwas ungeschickt. Bitte fasse
> die Mail nicht als Belehrung auf.
> > Ich schreibe mal, ein paar Grundbemerkungen auf und dann eine Lösung,
> wie ich es machen würde.
> >
> > * Konvention in Shellskripten: Endung auf .sh; lassen sich so besser von
> AWK-Skripten (*.awk) usw. unterscheiden
> So etwas hat neulich schon jemand anders behauptet (oder war's in einem
> Forum?) und hier möchte ich mich mal einmischen und ein "Veto!"
> aussprechen:
>
> Es ist egal, ob "import" ein übersetztes Hochsprachen-Programm, ein
> Skript in welcher Sprache auch immer (Shell, AWK, PERL, Python,
> younameitwegotit) oder gar nur eine Shell-Funktion ist: hauptsache es
> tut seine Pflicht. Es ist eine "Black Box". Klar, wenn ich das Programm
> modifizieren will und " import" aufrufe, könnte ich ein
> Problem bekommen, aber das Problem ist meist schnell lösbar.
>
> Umgekehrt wird aber ein Schuh' 'draus: Wenn ich "import" als "import.sh"
> (oder "import.awk" oder "import.pl") benenne und es an zahllosen Stellen
> aufrufe, was mache ich, wenn ich feststelle, daß es als Skript zu
> langsam ist und es in eine Compilersprache neu implementiere? Dann muß
> ich *alle* Stellen suchen, wo "import.sh" aufgerufen wird und es dort
> durch "import" ersetzen. Klar, ich kann an den Stellen, an denen es
> nicht weh tut, die alte Version benutzen, dann habe ich aber *zwei*
> Versionen des selben programms und muß *beide* pflegen!
>
> Die Urväter von Un*x haben sich etwas dabei gedacht, *nicht* auf
> Dateiendungen zu setzen sondern auf den Inhalt, und auf den kommt's
> bekanntlich an. Der Inhalt identifiziert sich selber durch die ersten
> paar Bytes: "\177ELF" oder "#!". Windows zieht sich da aus der Affäre,
> indem es automagisch Dateiendungen probiert, bis eine paßt, aber was,
> wenn sich irgendwie plötzlich ein BAT-File vor ein COM-File setzt (oder
> umgekehrt, ich nutze Windows nicht, kenne mich da in der Reihenfolge
> nicht aus)?
>
> Zu guter Letzt führt es zu Verwirrung, wenn es in einem Verzeichnis
> (z.B. den diversen "bin"-Verzeichnissen) sowohl ein "import.sh" als auch
> ein "import.awk" , ein "import.pl" und ein "import.bash" gibt.
>
> Guten Rutsch!
>
> Josef, 35 Jahre Informtiker-Erfahrung in die Waagschale werfend.
>

Re: [vz-users] Volkszähler Betriebszustands (Betriebsstunden) Erfassung.

[Andreas Goetz]

Moin,

Michael:
> ich habe den Kanal als Betriebsstundenzähler Sensor und auch als
Betriebsstundenzähler Impuls konfiguriert gehabt, haben sich beide gleich
verhalten.

Udo:
> Bei meinen Erweiterungen sind bei den S0-Eingängen sog.
Debouncing-Schaltungen vorgeschaltet. Die können sehr wohl statische Pegel
übertragen.

Torsten:
> wir hatten hier im Auguste bereits mal´ festgestellt, dass die
Satust-Darstellung des Zustandes eines GPIO-Einganges am Raspberry Pi über
das Frondend damals nicht ohne Zuhilfenahme eines Hilfsscriptes möglich war

2016-12-30 17:21 GMT+01:00 Torsten :

> ...
>
>
> Am 29.12.2016 um 12:07 schrieb Andreas Goetz:
>
> ...
>
> 2016-12-29 10:49 GMT+01:00 Michael Knapp :
>
>> Hallo zusammen,
>>
>> ...
>>
>> {
>>
>> "enabled": true,
>>
>> "allowskip": false,
>>
>> "interval": 60,
>>
>> "aggtime": -1,
>>
>> "aggfixedinterval": false,
>>
>> "channels": [
>>
>> {
>>
>> "uuid": "16340d60-84d3-11e6-b24c-75867e2891aa",
>>
>> "identifier": "Impulse",
>>
>> "api": "volkszaehler",
>>
>> "middleware": "http://127.0.0.1/middleware.php";,
>>
>> "aggmode": "none",
>>
>> "duplicates": 0
>>
>> }
>>
>> ],
>>
>> "protocol": "s0",
>>
>> "gpio": 18,
>>
>> "configureGPIO": true,
>>
>> "send_zero": true,
>>
>> "debounce_delay": 200
>>
>> },
>>
>>
>>
> Ich denke genau hier liegt der Hase im Pfeffer. Der Kanal ist als s0
konfiguriert- vzlogger schickt also bei jedem Impuls eine 1. Dazu behört
Betriebsstundenzähler "Impulse". Das tut genau nicht was Du brauchst,
nämlich entweder 1 oder 0 zu senden je nach Status des Brenners. Solange
https://github.com/volkszaehler/vzlogger/issues/252 nicht umgesetzt ist
lässt sich die Erfassung nicht mit vzlogger realisieren, wohl aber- wie
Torsten schrieb- mit separatem Skript.

Long story short: wir haben im Moment eine relativ große Liste von offenen
Themen beim vzlogger, leider aber nicht genug Kapazität für Programmierung.
Wer also ausreichend C++ Knowhow mitbringt ist herzlich eingeladen sich mal
die offenen Issues anzuschauen und uns beim Schließen zu helfen!

Euch allen ein Frohes und Gesundes Neues Jahr!

Viele Grüße,
Andreas

Re: [vz-users] Logrotate

[Andreas Goetz]

Hallo Dennis,

2017-01-03 10:12 GMT+01:00 D. Greulich :

> Hallo,
>
> ich beschäftige mich gerade mit der Log-Datei des VZLogger und möchte
> diese in die Logrotate aufnehmen.
> Reicht es wenn ich dort eine neue Cofig mit folgendem Inhalt anlege?
>
> /var/log/vzlogger.log {
>> daily
>> rotate 7
>> missingok
>> create
>> compress
>> delaycompress
>> notifempty
>> }
>
>
> Oder muss den Inhalt noch verändern?
>

Sieht erstmal plausibel aus. Wenn Dich einfach nur die Größe stört kannst
Du auch sowas wie maxsize 500k o.ä. setzen. Wie Udo geschrieben hat ist es-
solange das Log läuft- v.a. auch sinnvoll es auf die ramdisk auszulagern um
die SD Karte zu schonen...

Viele Grüße,
Andreas


>
>
>
> Mit freundlichen Grüßen
> Dennis Greulich
>
> ---
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo,

Frohes Neues Jahr Zusammen!

Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich nach 
dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ Komponenten 
wieder 100%ig funktionsfähig zu machen. 

Dazu gehören auch die High Performance Middleware (siehe 
https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools) und 
der zuletzt nicht mehr korrekt funktionierende push-server (gleicher Link).

Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen dass 
die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden zu 
beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten (@Udo: 
einmalig kann ich das gerne einrichten, ist im Link aber auch recht gut 
dokumentiert).

Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und User 
Authorization neu aufgesetzt 
(https://github.com/volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht 
wäre das Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte 
ich noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die 
individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig erweist.

Viele Grüße, Andreas


> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
> 
> Hallo Zusammen,
> 
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber 
> trotzdem mal den Spass gemacht, Firewall und User Authorization prototypisch 
> zu implementieren.
> 
> Wer damit spielen möchte findet hier den Code: 
> https://github.com/volkszaehler/volkszaehler.org/pull/458 
> <https://github.com/volkszaehler/volkszaehler.org/pull/458>
> 
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte 
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS 
> Anwendung finden.
> 
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären 
> was es zu konfigurieren gibt. Freue mich über Feedback im PR. 
> 
> Viele Grüße, 
> Andreas
> 
> 
>> On 15.08.2016, at 11:36, Andreas Goetz > <mailto:cpui...@gmail.com>> wrote:
>> 
>> Ich mache Jacobs Mail mal als neues Thema auf:
>> 
>> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
>> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
>> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
>> jeder daran herum fummeln kann?
>> 
>> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen, 
>> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die 
>> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann 
>> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber 
>> natürlich schon.
>> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org 
>> <http://demo.volkszaehler.org/> ohne Anmeldung (und Passwort-Recevory, Email 
>> etc. pp.) genutzt werden kann. Faktisch ist es aber heute wohl so, daß die 
>> meisten ihren eigenen VZ-Server laufen haben, da finde ich das eher 
>> ungeschickt (zumal die UUIDs auch etwas unhandlich sind).
>> 
>> -- snip --
>> 
>> Ich sehe- wenn wir es einfach halten wollen- 2 Anwendungsfälle:
>> 
>> a) Absicherung einer privaten Installation
>> b) Usermanagement für eine öffentliche Installation wie demo
>> 
>> Letzteres klammere ich mal aus da es grundlegende Änderungen an VZ erfordern 
>> würde. Für a) gibt es verschiedene Möglichkeiten von furchtbar einfach bis 
>> etwas umfangreicher:
>> 
>> 1) Basic Authentication, also Username + Password. Für ein Mindestmaß an 
>> Sicherheit ist SSL erforderlich- das gilt ebenso aber auch für alle weiteren 
>> Varianten. Das muss zusätzlich so konfiguriert werden dass vzlogger (aus dem 
>> internen Netz) ohne Basic Auth weiterhin seine Daten abliefern kann.
>> 
>> 2) Token Authentication: initiales Login per U/P, ab da Token der expired. 
>> Dabei hätten wir sogar die Möglichkeit einzelne User zu definieren- 
>> imeinfachsten Falle per Konfigurationsdatei, sonst als Datenbankerweiterung. 
>> Wenn Datenbankerweiterung dann können wir auch Rechte vergeben (schreiben, 
>> löschen, lesen) und Kanäle zu Usern "gehören" zu lassen. 
>> Weiterhin wäre es ggf. sinnvoll authentifizierten Nutzern auch "private" 
>> Kanäle ohne Kenntnis der UUID anzubieten. 
>> 
>> Gibts Bedarf?
>> 
>> Viele Grüße,
>> Andreas
>> 
> 

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Moin,

2017-01-04 8:28 GMT+01:00 Sirko :

> Hi,
>
> > High Performance Middleware
>
> du meinst den ppm?
>
> Früher gab's mal den httpd https://github.com/volkszaehler/httpd
>
> Worin unterscheiden die beiden sich?
>

Im Prinzip war httpd ein nachgebautes PPM. Jetzt verwenden wir PPM direkt
und partizipieren damit an der Weiterentwicklung. Sonst gibts nur die
üblichen Fixes als Unterschiede.

In beiden Fällen besteht die Lösung in einer "persistenten" Middleware die
nicht- wie bei Apache- bei jedem Request geladen wird sondern einfach die
ganze Zeit läuft.

>
> Grüße
>
> Sirko
>
>
> Viele Grüße,
Andreas

PS.: den httpd lösche ich bei passender Gelegenheit...

>
> Am 03.01.2017 um 20:33 schrieb Andreas Goetz:
>
> Hallo,
>
> Frohes Neues Jahr Zusammen!
>
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
> Komponenten wieder 100%ig funktionsfähig zu machen.
>
> Dazu gehören auch die High Performance Middleware (siehe
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
> Link).
>
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden
> zu beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten
> (@Udo: einmalig kann ich das gerne einrichten, ist im Link aber auch recht
> gut dokumentiert).
>
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und
> User Authorization neu aufgesetzt (https://github.com/
> volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht wäre das
> Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte ich
> noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die
> individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig
> erweist.
>
> Viele Grüße, Andreas
>
>
> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
>
> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
>> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
>> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
>> jeder daran herum fummeln kann?
>>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org
> ohne Anmeldung (und Passwort-Recevory, Email etc. pp.) genutzt werden kann.
> Faktisch ist es aber heute wohl so, daß die meisten ihren eigenen VZ-Server
> laufen haben, da finde ich das eher ungeschickt (zumal die UUIDs auch etwas
> unhandlich sind).
>
> -- snip --
>
> Ich sehe- wenn wir es einfach halten wollen- 2 Anwendungsfälle:
>
> a) Absicherung einer privaten Installation
> b) Usermanagement für eine öffentliche Installation wie demo
>
> Letzteres klammere ich mal aus da es grundlegende Änderungen an VZ
> erfordern würde. Für a) gibt es verschiedene Möglichkeiten von furchtbar
> einfach bis etwas umfangreicher:
>
> 1) Basic Authentication, also Username + Password. Für ein Mindestmaß an
> Sicherheit ist SSL erforderlich- das gilt ebenso aber auch für alle
> weiteren Varianten. Das muss zusätzlich so konfiguriert werden dass
> vzlogger (aus dem internen Netz) ohne Basic Auth weiterhin seine Daten
> abliefern kann.
>
> 2) Token Authentication: initiales Login per U/P, ab da Token der expired.
> Dabei hätten wir sogar die Möglichkeit einzelne User zu definieren-
> imeinfachsten Falle per Konfigurationsdatei, sonst als
> Datenbankerweiterung. Wenn Datenbankerweiterung dann können wir auch Rechte
> vergeben (schreiben, löschen, lesen) und Kanäle zu Usern "gehören" zu
> lassen.
> Weiterhin wäre es ggf. sinnvoll authentifizierten Nutzern auch "private"
> Kanäle ohne Kenntnis der UUID anzubieten.
>
> Gibts Bedarf?
>
> Viele Grüße,
> Andreas
>
>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Moin Christian,

ein paar Startschwierigkeiten sindsicher normal wenns erstmalig vom Labor
in die freie Wildbahn geht ;)

2017-01-04 9:15 GMT+01:00 Christian Schnellrieder <
schnellrieder...@gmail.com>:

> Guten Morgen Andi.
>
> Also ich hab versucht die ppm lt. https://github.com/
> volkszaehler/volkszaehler.org/tree/master/misc/tools#ppm zu installieren.
> Das Frontend öffnet auch ohne Probleme aber er findet keine
> Kanäle.Versuche ich eine UUID hinzuzufügen passiert gar nichts.
>

Mhhm. Installiert und gestartet?


>
> Hast du eine Idee wo ich da ansetzen kann?
>

Hast Du in der .htaccess auch die Umleitung auf die dann separat laufende
Middleware gesetzt:

# enable this rule if using ppm middleware

# RewriteEngine On
# RewriteRule ^middleware(.php)?/(.*) http://localhost:8080/$2 [P]


Vmtl. ja denn falls nein sollte einfach Deine "alte" MW aktiv sein.

Und wie immer die Frage: werlche Requests schickt der Browser und mit
welchen Ergebnissen kommen die zurück (Firefox: F12 für die Debugconsole).

Ansonsten schaue ich gerne rein- ssh und url per PM.

Viele Grüße,
Andreas


>
> Grüße
>
>
> Sirko  schrieb am Mi., 4. Jan. 2017 um 08:28 Uhr:
>
> Hi,
>
>
> > High Performance Middleware
>
> du meinst den ppm?
>
> Früher gab's mal den httpd https://github.com/volkszaehler/httpd
>
> Worin unterscheiden die beiden sich?
>
>
> Grüße
>
> Sirko
>
>
>
> Am 03.01.2017 um 20:33 schrieb Andreas Goetz:
>
> Hallo,
>
> Frohes Neues Jahr Zusammen!
>
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
> Komponenten wieder 100%ig funktionsfähig zu machen.
>
> Dazu gehören auch die High Performance Middleware (siehe
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
> Link).
>
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden
> zu beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten
> (@Udo: einmalig kann ich das gerne einrichten, ist im Link aber auch recht
> gut dokumentiert).
>
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und
> User Authorization neu aufgesetzt (https://github.com/
> volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht wäre das
> Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte ich
> noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die
> individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig
> erweist.
>
> Viele Grüße, Andreas
>
>
> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
>
> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
> jeder daran herum fummeln kann?
>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org
> ohne Anmeldung (und Passwort-Recevory, Email etc. pp.) genutzt werden kann.
> Faktisch ist es aber heute wohl so, daß die meisten ihren eigenen VZ-Server
> laufen haben, da finde ich das eher ungeschickt (zumal die UUIDs auch etwas
> unhandlich sind).
>
> -- snip --
>
> Ich sehe- wenn wir es einfach halten wollen- 2 Anwendungsfälle:
>
> a) Absicherung einer privaten Installation
> b) Usermanagement für eine öffentliche Installation wie demo
>
> Letzteres klammere ich mal aus da e

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo,

> Nachtrag:
> Ok da da fehlt noch was in der Apache Config:
[Wed Jan 04 09:28:00.272081 2017] [proxy:error] [pid 12797] (111)Connection
refused: AH00957: HTTP: attempt to connect to 127.0.0.1:8080 (*) failed
[Wed Jan 04 09:28:00.272123 2017] [proxy_http:error] [pid 12797] [client
192.168.1.100:54228] AH01114: HTTP: failed to make connection to backend:
localhost

Dann sollte das Frontend eine Fehlermeldung anzeigen da der HTTP Request
als zurück kommt- evtl. aber erst nach längerem Timeout. Falls nein bitte
Issue aufmachen.

2017-01-04 9:49 GMT+01:00 Christian Schnellrieder <
schnellrieder...@gmail.com>:

> Hallo.
>
> Ja alles auf Stand (git, composer, etc). Auch die .htaccess Datei habe ich
> geändert und dazu noch Apache neu gestartet.
>
> Einzige Sonderheit bei mir im System ist:
> 1. Das Frontend läuft auf dem Port 81... sollte aber egal sein meiner
> Meinung.
>

Völlig egal.


> 2. vendor/bin/ppm start -c etc/ppm.json wollte bei mir nicht tun. Da
> Meckert er wegen dem CGI Pfad. Den hab ich dann einfach mit angegeben.
>
> Naja wenns nicht läuft kann die MW auch nicht verwendet werden ;) Aber:
wenn Dein FE auf 81 läuft dann läuft Deine MW sicher auch auf 81? Dann muss
ggf. die Rewrite Rule angepasst werden. Andererseits zeigt der Proxy Error
im Apache log dass er die Regel wohl schon zieht.

Dein php liegt nicht in /usr/bin/php wie in der ppm.json angegeben? Für den
Raspi sollte die Einstellung egtl. passen.


>
> >Und wie immer die Frage: werlche Requests schickt der Browser und mit
> welchen Ergebnissen kommen die zurück (Firefox: F12 für die Debugconsole).
> >Ansonsten schaue ich gerne rein- ssh und url per PM.
>
> Schau ich mir an sobald ich mehr Zeit hab. Ich meld mich.
>

Versuch mal einfach mal die MW ohne Frontend aufzurufen: http://
/entity.json



>
> Grüße
>

Viele Grüße,
Andreas


>
>
>
> Andreas Goetz  schrieb am Mi., 4. Jan. 2017 um
> 09:36 Uhr:
>
>> Moin Christian,
>>
>> ein paar Startschwierigkeiten sindsicher normal wenns erstmalig vom Labor
>> in die freie Wildbahn geht ;)
>>
>> 2017-01-04 9:15 GMT+01:00 Christian Schnellrieder <
>> schnellrieder...@gmail.com>:
>>
>> Guten Morgen Andi.
>>
>> Also ich hab versucht die ppm lt. https://github.com/
>> volkszaehler/volkszaehler.org/tree/master/misc/tools#ppm zu installieren.
>> Das Frontend öffnet auch ohne Probleme aber er findet keine
>> Kanäle.Versuche ich eine UUID hinzuzufügen passiert gar nichts.
>>
>>
>> Mhhm. Installiert und gestartet?
>>
>>
>>
>> Hast du eine Idee wo ich da ansetzen kann?
>>
>>
>> Hast Du in der .htaccess auch die Umleitung auf die dann separat laufende
>> Middleware gesetzt:
>>
>> # enable this rule if using ppm middleware
>> 
>> # RewriteEngine On
>> # RewriteRule ^middleware(.php)?/(.*) http://localhost:8080/$2 [P]
>> 
>>
>> Vmtl. ja denn falls nein sollte einfach Deine "alte" MW aktiv sein.
>>
>> Und wie immer die Frage: werlche Requests schickt der Browser und mit
>> welchen Ergebnissen kommen die zurück (Firefox: F12 für die Debugconsole).
>>
>> Ansonsten schaue ich gerne rein- ssh und url per PM.
>>
>> Viele Grüße,
>> Andreas
>>
>>
>>
>> Grüße
>>
>>
>> Sirko  schrieb am Mi., 4. Jan. 2017 um
>> 08:28 Uhr:
>>
>> Hi,
>>
>>
>> > High Performance Middleware
>>
>> du meinst den ppm?
>>
>> Früher gab's mal den httpd https://github.com/volkszaehler/httpd
>>
>> Worin unterscheiden die beiden sich?
>>
>>
>> Grüße
>>
>> Sirko
>>
>>
>>
>> Am 03.01.2017 um 20:33 schrieb Andreas Goetz:
>>
>> Hallo,
>>
>> Frohes Neues Jahr Zusammen!
>>
>> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben
>> ich nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
>> Komponenten wieder 100%ig funktionsfähig zu machen.
>>
>> Dazu gehören auch die High Performance Middleware (siehe
>> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
>> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
>> Link).
>>
>> Apropos High Performance Middleware: ich muss nochmal Werbung dafür
>> machen dass die MW damit in der Lage ist Requests in wenigen (<10!)
>> Millisekunden zu beantworten. Wäre Klasse wenn wir das in das Image
>> einbauen könnten (@Udo: einmalig kann ich das gerne einrichten, ist im Link
>> aber auch recht gut dokumentiert).
>>
>> Auf der Basis habe ich dann auch gleiche die Testskrip

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Versuch bitte mal ein

composer update

bevor Du irgendwas anderes dazu installierst. Bei Dir scheinen noch alte
Abhängigkeiten in der composer.lock zu stehen.

Viele Grüße,
Andreas


On Wed, Jan 4, 2017 at 9:55 AM, Sirko  wrote:

> Hi,
>
>
> verstehe.
>
> ich hab allerdings bereits Fehler bei der Installation:
>
> pi@raspberrypi /var/www/volkszaehler.org $ sudo ./composer.phar require 
> php-pm/php-pm:dev-master php-pm/httpkernel-adapter:dev-master
> Do not run Composer as root/super user! See https://getcomposer.org/root for 
> details
> ./composer.json has been updated
> Loading composer repositories with package information
> Updating dependencies (including require-dev)
> Your requirements could not be resolved to an installable set of packages.
>
>   Problem 1
> - The requested package react/socket-client (locked at v0.4.5, required 
> as 0.5.*) is satisfiable by react/socket-client[v0.4.5] but these conflict 
> with your requirements or minimum-stability.
>   Problem 2
> - The requested package react/http (locked at v0.4.1, required as 
> dev-master#cd15204bd15d106d7832c680e4fb0ca0ce2f5e30) is satisfiable by 
> react/http[v0.4.1] but these conflict with your requirements or 
> minimum-stability.
>
>
> Installation failed, reverting ./composer.json to its original content.
>
>
>
> Was mache ich falsch?
> Grüße
> Sirko
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Moin Andre,

gute Hinweise, werde ich dokumentieren.

2017-01-04 9:55 GMT+01:00 Andre Bernemann :

> Hi Andreas,
>
> bei mir (Raspbian GNU/Linux 8 (jessie)) läuft es, ich musste aber noch
> zwei Anpassungen vornehmen. Vielleicht helfen sie noch jemandem weiter:
>
> - disable_functions musste in der entsprechenden php.ini (bei mir
> /etc/php5/cgi/php.ini) auskommentiert werden, da ppm mindestens eine dieser
> Funktionen verwendet
>

Welche standen da bei Dir drin? Bei mir geht nämlich?


> - bei mir hat ppm die Option -c nicht für das Configfile ppm.json, ich
> musste entweder ein working dir übergeben oder die ppm.json in das
> entsprechende Verzeichnis legen. Mit `ppm start etc/` hat es funktioniert
>

Dann ist Deine ppm Version zu alt. Composer update sollte da eine neuere
rein bringen die den Switch akzeptiert.


> - mir fehlten die Module libapache2-mod-proxy-html, libxml2-dev und
> php5-cgi
>
>
mod_proxy ist in
https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools#ppm
dokumentiert:

sudo a2enmod mod_proxy mod_proxy_http

oder meinst Du die mussten erst installiert werden?

Viele Grüße,
Andreas


> Gruß
> André
>
>
>
> Am 4. Januar 2017 um 09:15 schrieb Christian Schnellrieder <
> schnellrieder...@gmail.com>:
>
> Guten Morgen Andi.
>
> Also ich hab versucht die ppm lt. https://github.com/
> volkszaehler/volkszaehler.org/tree/master/misc/tools#ppm zu installieren.
> Das Frontend öffnet auch ohne Probleme aber er findet keine
> Kanäle.Versuche ich eine UUID hinzuzufügen passiert gar nichts.
>
> Hast du eine Idee wo ich da ansetzen kann?
>
>
> Grüße
>
>
> Sirko  schrieb am Mi., 4. Jan. 2017 um 08:28 Uhr:
>
> Hi,
>
>
> > High Performance Middleware
>
> du meinst den ppm?
>
> Früher gab's mal den httpd https://github.com/volkszaehler/httpd
>
> Worin unterscheiden die beiden sich?
>
>
> Grüße
>
> Sirko
>
>
>
> Am 03.01.2017 um 20:33 schrieb Andreas Goetz:
>
> Hallo,
>
> Frohes Neues Jahr Zusammen!
>
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
> Komponenten wieder 100%ig funktionsfähig zu machen.
>
> Dazu gehören auch die High Performance Middleware (siehe
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
> Link).
>
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden
> zu beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten
> (@Udo: einmalig kann ich das gerne einrichten, ist im Link aber auch recht
> gut dokumentiert).
>
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und
> User Authorization neu aufgesetzt (https://github.com/
> volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht wäre das
> Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte ich
> noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die
> individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig
> erweist.
>
> Viele Grüße, Andreas
>
>
> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
>
> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
> jeder daran herum fummeln kann?
>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, da

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Gut, dann wissen wir jetzt über welche Funktion Andre gestolpert ist. Also
in der php.ini die disable_functions auskommentieren!

Viele Grüße,
Andreas


On Wed, Jan 4, 2017 at 10:39 AM, Sirko  wrote:

> Danke, jetzt bin ich einen Fehler weiter ;-)
>
> die 8 Worker produzieren jetzt Fehler der Art:
>
> --- Worker 5503 stderr ---
> PHP Fatal error:  Uncaught exception 
> 'Symfony\Component\Debug\Exception\ContextErrorException'
> with message 'Warning: pcntl_signal() has been disabled for security
> reasons' in /var/www/volkszaehler.org/vendor/mkraemer/react-pcntl/
> src/MKraemer/ReactPCNTL/PCNTL.php:30
> Stack trace:
> #0 /var/www/volkszaehler.org/vendor/php-pm/php-pm/ProcessSlave.php(277):
> MKraemer\ReactPCNTL\PCNTL->on(15, Array)
> #1 /tmp/dbgKON5Ke(22): PHPPM\ProcessSlave->run()
> #2 {main}
>   thrown in /var/www/volkszaehler.org/vendor/mkraemer/react-pcntl/
> src/MKraemer/ReactPCNTL/PCNTL.php on line 30
> Worker permanent closed during PHP-PM bootstrap. Not so cool. Not your
> fault, please create a ticket at github.com/php-pm/php-pm withthe output
> of `ppm start -vv`.
>
> mit -vv stand nicht mher da...
>
>
> Grüße
>
> Sirko
>
> Am 04.01.2017 um 10:00 schrieb Andreas Goetz:
>
> Versuch bitte mal ein
>
> composer update
>
> bevor Du irgendwas anderes dazu installierst. Bei Dir scheinen noch alte
> Abhängigkeiten in der composer.lock zu stehen.
>
> Viele Grüße,
> Andreas
>
>
> On Wed, Jan 4, 2017 at 9:55 AM, Sirko  wrote:
>
>> Hi,
>>
>>
>> verstehe.
>>
>> ich hab allerdings bereits Fehler bei der Installation:
>>
>> pi@raspberrypi /var/www/volkszaehler.org $ sudo ./composer.phar require 
>> php-pm/php-pm:dev-master php-pm/httpkernel-adapter:dev-master
>> Do not run Composer as root/super user! See https://getcomposer.org/root for 
>> details
>> ./composer.json has been updated
>> Loading composer repositories with package information
>> Updating dependencies (including require-dev)
>> Your requirements could not be resolved to an installable set of packages.
>>
>>   Problem 1
>> - The requested package react/socket-client (locked at v0.4.5, required 
>> as 0.5.*) is satisfiable by react/socket-client[v0.4.5] but these conflict 
>> with your requirements or minimum-stability.
>>   Problem 2
>> - The requested package react/http (locked at v0.4.1, required as 
>> dev-master#cd15204bd15d106d7832c680e4fb0ca0ce2f5e30) is satisfiable by 
>> react/http[v0.4.1] but these conflict with your requirements or 
>> minimum-stability.
>>
>>
>> Installation failed, reverting ./composer.json to its original content.
>>
>>
>>
>> Was mache ich falsch? Grüße Sirko
>>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

}
>
> Grüße
>
> Sirko
>
> Am 04.01.2017 um 11:32 schrieb Sirko:
>
> Hi,
>
>
> danke, ich hab's zum Laufen gekriegt. Zunächst nur von Kommandozeile ohne
> Webserver-Änderung (bei mir läuft auch lighttpd).
>
> Ich hab aber mal die Benchmark-URL aufgerufen (
> http://wiki.volkszaehler.org/development/benchmark), einmal über die
> middleware und einmal über ppm auf Port 8088:
>
> http://192.168.178.23/middleware.php/data/a301d8d0-
> 903b-1234-94bb-d943d061b6a8.json?from=1287541654974&to=
> 1288488900567&tuples=1000&debug=1
>
> http://192.168.178.23:8088/data/a301d8d0-903b-1234-94bb-
> d943d061b6a8.json?from=1287541654974&to=1288488900567&tuples=1000&debug=1
>
>
> Beobachtung:
>
> 1. die Ausgaben sind unterschiedlich, bei wiederholten Aufrufen über ppm
> wird die Zeit immer langsamer und es werden SQLs mit ausgegeben. Und zwar
> mit jedem Aufruf immer mehr. Möglicherweise die, die in der Zwischenzeit an
> die middleware gingen?
>
> 2. Wenn ich debug=5 setze und dann wieder zurück, dann ist der debug level
> wert in der Antwort nicht immer der, der in der URL steht (bei Aufrufen
> über ppm). Man hat das Gefühlt, als ob er den alten level wert noch
> irgendwo gecacht hat.
>
>
> Ausgabe middleware:
>
> {
>   "version": "0.3",
>   "debug": {
>   "level": "1",
>   "database": "pdo_mysql",
>   "time": 0.01193,
>   "uptime": 8217586560,
>   "load": [
>   0.15,
>   0.13,
>   0.14
>   ],
>   "commit-hash": "350a18ca50793e2b8a121a5ec4656f9486b36592",
>   "php-version": "5.6.24-0+deb8u1",
>   "messages": []
>   },
>   "data": {
>   "tuples": [
> ...
>
>
>
> Ausgabe ppm:
>
> {
>   "version": "0.3",
>   "debug": {
>   "level": "1",
>   "database": "pdo_mysql",
>   "time": 621.52648,
>   "uptime": 8217662030,
>   "load": [
>   0.11,
>   0.13,
>   0.13
>   ],
>   "commit-hash": "350a18ca50793e2b8a121a5ec4656f9486b36592",
>   "php-version": "5.6.24-0+deb8u1",
>   "messages": [],
>   "sql": {
>   "totalTime": 2.032665014267,
>   "worstTime": 0.36454510688782,
>   "queries": [
>   {
>   "sql": "SELECT MAX(timestamp) FROM data 
> WHERE channel_id=1 AND timestamp < (SELECT MAX(timestamp) FROM data WHERE 
> channel_id=1 AND timestamp<1287541654974)",
>   "execTime": 0.0016129016876221
>   },
> und noch hunderte Zeilen sql statements vor den tuples
>
> Aber, nach einem Neustart des ppm ist nur ein SQL drin (zur Erinnerung,
> die selbe URL über die middleware hatnie SQLs drin in der Ausgabe):
>
> {
>   "version": "0.3",
>   "debug": {
>   "level": "1",
>   "database": "pdo_mysql",
>   "time": 0.68394,
>   "uptime": 8217756610,
>   "load": [
>   0.04,
>   0.11,
>   0.13
>   ],
>   "commit-hash": "350a18ca50793e2b8a121a5ec4656f9486b36592",
>   "php-version": "5.6.24-0+deb8u1",
>   "messages": [],
>   "sql": {
>   "totalTime": 0.0038230419158936,
>   "worstTime": 0.0038230419158936,
>   "queries": [
>   {
>   "sql": "SELECT e0_.id AS id_0, e0_.uuid 
> AS uuid_1, e0_.type AS type_2, p1_.id AS id_3, p1_.pkey AS pkey_4, p1_.value 
> AS value_5, e0_.class AS class_6, p1_.entity_id AS entity_id_7 FROM entities 
> e0_ LEFT JOIN properties p1_ ON e0_.id = p1_.entity_id WHERE (e0_.uuid = 
> 'a301d8d0-903b-1234-94bb-d943d061b6a8') AND e0_.class IN ('channel', 
> 'aggregator') ORDER BY p1_.pkey ASC",
>   "execTime": 0.0038230419158936
>   }
>   ]
>   }
>   },
>   "data": {
>   "tuples": [
>
>
> mfg
> Sirko
>
> Am 04.01.2017 um 10:41 schrieb Andreas Goetz:
>
> Gut, dann wissen wir jetzt über welche Funktion Andre gestolpert ist. Also
> in der php.ini die disable_functions auskommentieren!
>
> Viele Grüße,
> Andreas
>
>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Und Einen noch...

2017-01-04 12:22 GMT+01:00 Sirko :

> Ergänzung 2:
>
>
> - Beim einem Benchmark-Aufruf über die middleware.php hatte ich jetzt auch
> einmal ein SQL gesehen, welches mit dem nächsten Aufruf wieder weg war.
>

Das liegt einfach an den 8 Workerprozessen- jeder Request erwischt
potentiell einen Anderen...

- Die Zeiten für den ppm sind mittlerweile bei 2500 (ms???)
>
> "time": 2552.81678,
>
> aber der gesamte Request dauert nur etwa 600 ms (laut Firebug). Die Zeiten
> über middleware.php sind konstant bei 0,005 bis 0,01
>
> "time": 0.00561,
>
> Grüße
> Sirko
>
>
>
>

Re: [vz-users] Frontend: "Error: Der Download für die angegebene Ressource ist gescheitert" / Gesamt-Wert wird falsch berechnet

[Andreas Goetz]

Moin,

2017-01-04 21:51 GMT+01:00 Thomas Seither :

> Hallo zusammen,
>
> ich habe meinen Volkszähler soweit erfolgreich eingerichtet, allerdings
> „ärgert“ mich das Frontend etwas:
> 1. Beim Aufruf des Frontend im Internet Explorer erhalte ich immer zuerst
> die Fehlermeldung „Network Error / Error: Der Download für die angegebene
> Ressource ist gescheitert“. Nach der Quittierung der Fehlermeldung wird die
> Grafik ganz normal aufgebaut. Was genau will mir diese Fehlermeldung sagen
> und kann man die Fehlermeldung abstellen?
>

Wie immer wären ein paar Details hilfreich. Welche IE Version? Screenshot
der Fehlermeldung? Wie Daniel schrieb bitte mit F12 Entwicklerkonsole
aufmachen und auch davon Screenshot wenn der Fehler auftritt.


> 2. Die „Gesamt“-Position wird nicht richtig berechnet, da der Wert immer
> noch dem Initialwert entspricht, obwohl auch schon ein Verbrauch angezeigt
> wird. Wie kann ich diesen Fehler beheben?
>

Der erste Tag wird prinzipbedingt immer verworfen- das geht leider nicht
anders (tm)...


> Besten Dank im Voraus für Eure Unterstützung.
>
> Viele Grüße,
>
> Thomas
>

Viele Grüße,
Andreas

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Moin,

2017-01-04 9:55 GMT+01:00 Andre Bernemann :

> Hi Andreas,
>
> bei mir (Raspbian GNU/Linux 8 (jessie)) läuft es, ich musste aber noch
> zwei Anpassungen vornehmen. Vielleicht helfen sie noch jemandem weiter:
>
> - disable_functions musste in der entsprechenden php.ini (bei mir
> /etc/php5/cgi/php.ini) auskommentiert werden, da ppm mindestens eine dieser
> Funktionen verwendet
> - bei mir hat ppm die Option -c nicht für das Configfile ppm.json, ich
> musste entweder ein working dir übergeben oder die ppm.json in das
> entsprechende Verzeichnis legen. Mit `ppm start etc/` hat es funktioniert
> - mir fehlten die Module libapache2-mod-proxy-html, libxml2-dev und
> php5-cgi
>

Die Dokumentationspunkte von André und beobachteten Fehler von Sirko
sollten hier alle behoben sein:
https://github.com/volkszaehler/volkszaehler.org/pull/552


>
> Gruß
> André
>

Viele Grüße,
Andreas


>
>
>
> Am 4. Januar 2017 um 09:15 schrieb Christian Schnellrieder <
> schnellrieder...@gmail.com>:
>
> Guten Morgen Andi.
>
> Also ich hab versucht die ppm lt. https://github.com/
> volkszaehler/volkszaehler.org/tree/master/misc/tools#ppm zu installieren.
> Das Frontend öffnet auch ohne Probleme aber er findet keine
> Kanäle.Versuche ich eine UUID hinzuzufügen passiert gar nichts.
>
> Hast du eine Idee wo ich da ansetzen kann?
>
>
> Grüße
>
>
> Sirko  schrieb am Mi., 4. Jan. 2017 um 08:28 Uhr:
>
> Hi,
>
>
> > High Performance Middleware
>
> du meinst den ppm?
>
> Früher gab's mal den httpd https://github.com/volkszaehler/httpd
>
> Worin unterscheiden die beiden sich?
>
>
> Grüße
>
> Sirko
>
>
>
> Am 03.01.2017 um 20:33 schrieb Andreas Goetz:
>
> Hallo,
>
> Frohes Neues Jahr Zusammen!
>
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
> Komponenten wieder 100%ig funktionsfähig zu machen.
>
> Dazu gehören auch die High Performance Middleware (siehe
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
> Link).
>
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden
> zu beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten
> (@Udo: einmalig kann ich das gerne einrichten, ist im Link aber auch recht
> gut dokumentiert).
>
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und
> User Authorization neu aufgesetzt (https://github.com/
> volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht wäre das
> Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte ich
> noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die
> individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig
> erweist.
>
> Viele Grüße, Andreas
>
>
> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
>
> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
> jeder daran herum fummeln kann?
>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org
> ohne Anmeldung (und Passwort-Recevory, Email etc. pp.) genutzt werden kann.
> Faktisch ist es aber heute wohl so, daß die meisten ihren eigenen VZ-Server
> laufen haben, da finde ich das eher ungeschickt (zumal die UUIDs auch etwas

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

> On 5 Jan 2017, at 14:32, Sirko  wrote:
> 
> Hi Andreas,
> 
> ist damit die debug-Ausgabe weggefallen? Das wäre nicht so schön...
> http://192.168.178.23:8088/data/a301d8d0-903b-1234-94bb-d943d061b6a8.json?from=1287541654974&to=1288488900567&tuples=1000&debug=5
>  
> <http://192.168.178.23:8088/data/a301d8d0-903b-1234-94bb-d943d061b6a8.json?from=1287541654974&to=1288488900567&tuples=1000&debug=5>
> 
> debug=5 scheint keine Wirkung mehr zu haben…

Oh mann…. Yop, ist behoben! Der war wieder zäh….

> 
> Grüße
> Sirko

Viele Grüße, Andreas

> 
> 
> Am 05.01.2017 um 09:44 schrieb Andreas Goetz:
>> Moin,
>> 
>> 2017-01-04 9:55 GMT+01:00 Andre Bernemann > <mailto:andre.bernem...@gmail.com>>:
>> Hi Andreas,
>> 
>> bei mir (Raspbian GNU/Linux 8 (jessie)) läuft es, ich musste aber noch zwei 
>> Anpassungen vornehmen. Vielleicht helfen sie noch jemandem weiter:
>> 
>> - disable_functions musste in der entsprechenden php.ini (bei mir 
>> /etc/php5/cgi/php.ini) auskommentiert werden, da ppm mindestens eine dieser 
>> Funktionen verwendet
>> - bei mir hat ppm die Option -c nicht für das Configfile ppm.json, ich 
>> musste entweder ein working dir übergeben oder die ppm.json in das 
>> entsprechende Verzeichnis legen. Mit `ppm start etc/` hat es funktioniert
>> - mir fehlten die Module libapache2-mod-proxy-html, libxml2-dev und php5-cgi
>> 
>> Die Dokumentationspunkte von André und beobachteten Fehler von Sirko sollten 
>> hier alle behoben sein: 
>> https://github.com/volkszaehler/volkszaehler.org/pull/552 
>> <https://github.com/volkszaehler/volkszaehler.org/pull/552>
>>  
>> 
>> Gruß
>> André
>> 
>> Viele Grüße,
>> Andreas 
> 

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Du musst beim ppm Status ebenfalls noch das config file angeben, sonst
weiss er nicht wo das Lockfile ist. Und- wenn Lockfile durch service
angelegt- brauchts ein sudo damit er es lesen kann!

2017-01-06 9:53 GMT+01:00 Sirko :

> Hi Andreas,
>
>
> sehr schön, jetzt funktionierts :-)
>
> Ich hab jetzt den Service angelegt, fehlt in deiner readme eventuell
>
> sudo systemctl enable /etc/systemd/system/vzhttpd.service
> und eventuell  sudo service vzhttpd start/stop? Der Vollständigkeit
> halber...
>
> Ein sudo service vzhttpd status bringt keine Fehler, der Service läuft
> auch, ich kann Requests ausführen, aber ein ppm status bringt einen Fehler:
>
> pi@raspberrypi /var/www/volkszaehler.org $ sudo vendor/bin/ppm status
> /var/www/volkszaehler.org
> PHP Warning:  stream_socket_client(): unable to connect to unix:///var/www/
> volkszaehler.org/.ppm/run/controller.sock (Connection refused) in
> /var/www/volkszaehler.org/vendor/php-pm/php-pm/Client.php on line 43
>
>
>   [InvalidArgumentException]
>   First parameter must be a valid stream resource
>
>
> status [--socket-path [SOCKET-PATH]] [--bridge [BRIDGE]] [--host [HOST]]
> [--port [PORT]] [--workers [WORKERS]] [--app-env [APP-ENV]] [--debug
> [DEBUG]] [--logging [LOGGING]] [--static [STATIC]] [--max-requests
> [MAX-REQUESTS]] [--concurrent-requests [CONCURRENT-REQUESTS]] [--bootstrap
> [BOOTSTRAP]] [--cgi-path [CGI-PATH]] [-c|--config [CONFIG]] [--]
> []
>
> Is da noch was kaputt?
>
>
> Grüße
>
> Sirko
>
> Am 05.01.2017 um 22:38 schrieb Andreas Goetz:
>
>
> On 5 Jan 2017, at 14:32, Sirko  wrote:
>
> Hi Andreas,
> ist damit die debug-Ausgabe weggefallen? Das wäre nicht so schön...
> http://192.168.178.23:8088/data/a301d8d0-903b-1234-94bb-
> d943d061b6a8.json?from=1287541654974&to=1288488900567&tuples=1000&debug=5
>
> debug=5 scheint keine Wirkung mehr zu haben…
>
>
> Oh mann…. Yop, ist behoben! Der war wieder zäh….
>
>
> Grüße
> Sirko
>
>
> Viele Grüße, Andreas
>
>
>
> Am 05.01.2017 um 09:44 schrieb Andreas Goetz:
>
> Moin,
>
> 2017-01-04 9:55 GMT+01:00 Andre Bernemann :
>
>> Hi Andreas,
>>
>> bei mir (Raspbian GNU/Linux 8 (jessie)) läuft es, ich musste aber noch
>> zwei Anpassungen vornehmen. Vielleicht helfen sie noch jemandem weiter:
>>
>> - disable_functions musste in der entsprechenden php.ini (bei mir
>> /etc/php5/cgi/php.ini) auskommentiert werden, da ppm mindestens eine dieser
>> Funktionen verwendet
>> - bei mir hat ppm die Option -c nicht für das Configfile ppm.json, ich
>> musste entweder ein working dir übergeben oder die ppm.json in das
>> entsprechende Verzeichnis legen. Mit `ppm start etc/` hat es funktioniert
>> - mir fehlten die Module libapache2-mod-proxy-html, libxml2-dev und
>> php5-cgi
>>
>
> Die Dokumentationspunkte von André und beobachteten Fehler von Sirko
> sollten hier alle behoben sein: https://github.com/
> volkszaehler/volkszaehler.org/pull/552
>
>
>>
>> Gruß
>> André
>>
>
> Viele Grüße,
> Andreas
>
>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

On Fri, Jan 6, 2017 at 12:56 PM, Sirko  wrote:

> ups, doch keine korrekte Antwort, sondern:
>
> "Unknown context: 'middleware.php'",
>

Dann stimmt die rewrite/proxy rule nicht. Aus

  http:///middleware.php/entity.json

muss

  http://127.0.0.1/entity.json

werden!

...

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

PS.: siehe
http://stackoverflow.com/questions/14536554/lighttpd-configuration-to-proxy-rewrite-from-one-domain-to-another

2017-01-06 12:58 GMT+01:00 Andreas Goetz :

>
>
> On Fri, Jan 6, 2017 at 12:56 PM, Sirko  wrote:
>
>> ups, doch keine korrekte Antwort, sondern:
>>
>> "Unknown context: 'middleware.php'",
>>
>
> Dann stimmt die rewrite/proxy rule nicht. Aus
>
>   http:///middleware.php/entity.json
>
> muss
>
>   http://127.0.0.1/entity.json
>
> werden!
>
> ...
>

Re: [vz-users] sicherung der datanbank direkt von der sdkarte

[Andreas Goetz]

Moin Stefan,

> On 7 Jan 2017, at 22:04, Stefan Makowsky  wrote:
> 
> Hallo
> 
> Leider bootet mein raspery pi nicht mehr kernelpanik
> 
> wie bekomme ich jetzt die datenbank gesichert das ich mit einen neuen iso 
> anfangen kann

Du willst es vmtl. nicht gern hören, aber die Idee eines Backups besteht darin 
dass man es vor dem Notfall erstellt :O

> 
> unter /var/lib/mysql/volkszaehler ?? das sind keine aktuellen daten drinnen

Falls Du InnoDB als Datenbankengine nutzt und nur 1 InnoDB File wären das die 
ib* Dateien einen Ordner höher. Ob damit wirklich was zu retten ist- keine 
Ahnung… M.E. sollten dann im VZ Ordner wenigstens noch die *.frm Dateien mit 
den Tabellendefinitionen liegen...

> 
> Wo finde ich die mysql datenbank
> 

Sorry,
Andreas

Re: [vz-users] VZ-Absicherung - andere Idee

[Andreas Goetz]

Moin,

> On 7 Jan 2017, at 11:46, china2...@abwesend.de wrote:
> 
> Hallo Klaus,
> 
> security by obscurity 
>  ist leider keine 
> Lösung, das haben schon viele lernen müssen.

Da kann ich China nur aus vollem Herzen beipflichten. Der Ansatz hält 
allenfalls Idiotenangriffe ab. Jedes bessere Exploit Framework wird einfach 
auch die HTTP Methoden durchprobieren...

> Die Schnittstelle zum Server ist ja sauber dokumentiert, also auch alle 
> Befehle, die du keinesfalls öffentlich haben willst. Durch Wegnehmen eines 
> Buttons im Frontend funktioniert ein "Löschen" durch Dritte weiterhin genauso 
> gut.

Lösen lässt sich das trotzdem mit 
https://github.com/volkszaehler/volkszaehler.org/pull/551

Per Default wird da nur auch IP gefiltert (intern darf, extern braucht User). 

Genau könnten wir aber zusätzlich auf HTTP Methode filtern:
  - intern darf
  - extern GET (=lesen) darf
  - extern PUT/PATCH/POST/DELETE braucht User

Das lässt sich bereits jetzt per Config bewerkstelligen. Das Einzige was fehlt 
ist dass wir den ?operation=xyz Parameter verbieten oder transparent in die 
Konfiguration mit einbeziehen da der anderenfalls via GET Request alles 
überschreiben kann.

Wenns das braucht um dieses Feature vielleicht endlich zu mergen dann setze ich 
mich da gerne ran.

> 
> Viele Grüße

Viele Grüße, 
Andreas

> 
> Am 06.01.2017 um 13:14 schrieb Klaus Reichenecker:
>> Ich habe meine VZ-Installation auch öffentlich erreichbar, direkt über eine 
>> URL. 
>> 
>> Es stört mich nicht, wenn jetzt irgendjemand auf der Welt weiss, wie warm es 
>> in meinem Bad ist. 
>> 
>> Die einzige Sorge die ich habe ist, dass jemand aus Spass Kanäle löscht oder 
>> ändert. 
>> 
>> Deshalb: wäre es nicht am einfachsten, eine 2. Version des Frontend zu 
>> haben, bei der es einfach den Info-/ bearbeiten-Button nicht gibt? 
>> 
>> Dieses Version wäre dann  die über eine einfache URL zu erreichende, die 
>> andere mit Edit-Möglichkeiten ist dann versteckt ? 
>> 
>> 
>> Viele Grüße 
>> Klaus 
> 

Re: [vz-users] VZ-Absicherung - andere Idee

[Andreas Goetz]

… und ich nochmal.

> On 8 Jan 2017, at 11:10, Andreas Goetz  wrote:
> 
> Moin,
> 
>> On 7 Jan 2017, at 11:46, china2...@abwesend.de 
>> <mailto:china2...@abwesend.de> wrote:
>> 
>> Hallo Klaus,
>> 
>> security by obscurity 
>> <https://www.google.de/?gws_rd=ssl#q=security+by+obscurity> ist leider keine 
>> Lösung, das haben schon viele lernen müssen.
> 
> Da kann ich China nur aus vollem Herzen beipflichten. Der Ansatz hält 
> allenfalls Idiotenangriffe ab. Jedes bessere Exploit Framework wird einfach 
> auch die HTTP Methoden durchprobieren...
> 
>> Die Schnittstelle zum Server ist ja sauber dokumentiert, also auch alle 
>> Befehle, die du keinesfalls öffentlich haben willst. Durch Wegnehmen eines 
>> Buttons im Frontend funktioniert ein "Löschen" durch Dritte weiterhin 
>> genauso gut.
> 
> Lösen lässt sich das trotzdem mit 
> https://github.com/volkszaehler/volkszaehler.org/pull/551 
> <https://github.com/volkszaehler/volkszaehler.org/pull/551>
> 
> Per Default wird da nur auch IP gefiltert (intern darf, extern braucht User). 
> 
> Genau könnten wir aber zusätzlich auf HTTP Methode filtern:
>   - intern darf
>   - extern GET (=lesen) darf
>   - extern PUT/PATCH/POST/DELETE braucht User
> 
> Das lässt sich bereits jetzt per Config bewerkstelligen. Das Einzige was 
> fehlt ist dass wir den ?operation=xyz Parameter verbieten oder transparent in 
> die Konfiguration mit einbeziehen da der anderenfalls via GET Request alles 
> überschreiben kann.
> 
> Wenns das braucht um dieses Feature vielleicht endlich zu mergen dann setze 
> ich mich da gerne ran.

Ist jetzt auch eingebaut, siehe 
https://github.com/volkszaehler/volkszaehler.org/pull/551/commits/082f0e09b05a53de539da4257de294b2045b5ae9#diff-5678dd63d630800c5b71c1f1d1d2f674L142

> 
>> 
>> Viele Grüße
> 
> Viele Grüße, 
> Andreas
> 
>> 
>> Am 06.01.2017 um 13:14 schrieb Klaus Reichenecker:
>>> Ich habe meine VZ-Installation auch öffentlich erreichbar, direkt über eine 
>>> URL. 
>>> 
>>> Es stört mich nicht, wenn jetzt irgendjemand auf der Welt weiss, wie warm 
>>> es in meinem Bad ist. 
>>> 
>>> Die einzige Sorge die ich habe ist, dass jemand aus Spass Kanäle löscht 
>>> oder ändert. 
>>> 
>>> Deshalb: wäre es nicht am einfachsten, eine 2. Version des Frontend zu 
>>> haben, bei der es einfach den Info-/ bearbeiten-Button nicht gibt? 
>>> 
>>> Dieses Version wäre dann  die über eine einfache URL zu erreichende, die 
>>> andere mit Edit-Möglichkeiten ist dann versteckt ? 
>>> 
>>> 
>>> Viele Grüße 
>>> Klaus 
>> 
> 

Re: [vz-users] Kanal Status der Checkboxen im frontend Persistenz

[Andreas Goetz]

Kann es sein dass der "Aktiv" Status des Wurzelknotens bei einem Reload den
der Unterknoten bestimmt? Bei Bedarf mal im Github foschen- dazu gab es ein
Issue zu dem das Wunschverhalten auch dokumentiert wurde!

Viele Grüße,
Andreas


2017-01-09 17:40 GMT+01:00 Tobias Lehr :

> Hallo Zusammen,
>
> ich habe diese Phänomen aber auch. Habe vier Kanäle als Gruppe im Frostend
> abonniert. Dann habe ich einen Kanal über das bearbeiten Menü deaktiviert,
> Also Haken bei aktiv entfernt. Im Frostend wird der Kanal dann ausgeblendet
> und die Checkbox in der Tabelle ist deaktiviert, es werden zum Kanal keine
> Werte mehr angezeigt. Also so wie es soll. Lade ich die Seite neu, ist der
> reaktivierte Kanal wieder aktiv. Lösche ich den Cache bleibt er bei einem
> erneuten Laden aktiv. Lösche ich das Cookie, und abonniere ich die Kanäle
> wieder als Gruppe, dann ist der deaktiverte Kanal deaktiviert, bis zu einem
> weiteren Reload.
>
> Wenn ich allerdings die vier Kanäle einzeln abonniere und dann einen Kanal
> deaktiviere, dann bleibt er deaktiviert, auch bei einem reload.
>
> Das Phänomen hängt also mit dem Gruppieren von Kanälen zusammen. Sowohl
> als Gruppe als auch als Gebäude.
>
> Einfacher ist es für mich allerdings wenn ich einen Kanal (Gebäude)
> abonnieren muss, als viele einzelne. Und dass das Cookie mal weg ist, oder
> man mal ein anderes Gerät nimmt um das Frontend aufzurufen kommt ja
> durchaus öfter mal vor, zumindest bei mir.
>
> Gruß Tobias
>
> Am 09.01.2017 um 17:12 schrieb Claus Beckenbauer <
> m...@claus-beckenbauer.de>:
>
> Hallo Daniel,
>
> Browserhistorie komlett gelöscht.
> Kanäle als Gruppe aboniert.
> Abo als Cookie gespeichert.
>
> Gruß,
> Claus
>
> Am 9. Januar 2017 um 15:40:45 +01:00, hat Daniel Lauckner 
> geschrieben:
>
> Hallo Claus,
>
>
> am Montag, 9. Januar 2017 um 09:32 hast du geschrieben:
>
> Ich beobachte bei mir, dass Checkboxen ein Refresh im Browser überleben
> und manche eben nicht.
>
>
> Hab ich bei mir mit Opera geraden geprüft und alle Checkboxen wurden
> wieder gesetzt. Gruppen, Energiestände, auch die Temperaturkanäle.
>
> Allerdings ist unklar ob du die Kanäle einzeln abonniert hast,
> als Gruppe, vielleicht auch als Gebäude wie bei mir. Und auch ob das
> Abo als Cookie gespeichert wurde.
> Möglicherweise rufst du einzelne Kanäle ja auch per URL auf?
>
>
> mfg Daniel
>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Zusammen,

2017-01-03 20:33 GMT+01:00 Andreas Goetz :

> Hallo,
>
> Frohes Neues Jahr Zusammen!
>
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ
> Komponenten wieder 100%ig funktionsfähig zu machen.
>
> Dazu gehören auch die High Performance Middleware (siehe
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools)
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher
> Link).
>
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden
> zu beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten
> (@Udo: einmalig kann ich das gerne einrichten, ist im Link aber auch recht
> gut dokumentiert).
>
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und
> User Authorization neu aufgesetzt (https://github.com/
> volkszaehler/volkszaehler.org/pull/551). Aus meiner Sicht wäre das
> Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf könnte ich
> noch eine Option einbauen es ggf. auch komplett abzuschalten falls sich die
> individuelle Konfiguration der Firewall Regeln dafür als zu aufwändig
> erweist.
>

Mittlerweile sind auchd ie Anforderungen von Klaus (=lesender public
Zugriff auf VZ) in den PR 551 mit eingebaut. Wäre es nicht lagsam Zeit die
Funktion zu mergen oder gibt es wirklich keinen Bedarf?

Wenn wirs mergen wollen gäbe es zwei abschließede Punkte:
- Default user (user/pass) aus der Konfiguration entfernen?
- Gäbe es noch notwedige Anpassungen an den Firewall Regeln vor Release?


> Viele Grüße, Andreas
>
>
> On 27 Aug 2016, at 12:33, Andreas Goetz  wrote:
>
> Hallo Zusammen,
>
> das prinzipielle Feedback war zwar “brauche ich nicht”, ich habe mir aber
> trotzdem mal den Spass gemacht, Firewall und User Authorization
> prototypisch zu implementieren.
>
> Wer damit spielen möchte findet hier den Code: https://github.com/
> volkszaehler/volkszaehler.org/pull/458
>
> Das Ganze basiert auf JSON Web Tokens für Bearer Authentication und sollte
> tunlichst- da Username/ Passwort übertragen werden- _nur_ über HTTPS
> Anwendung finden.
>
> Die Änderungen an der vz.conf Datei sollten eigentlich hinreichen erklären
> was es zu konfigurieren gibt. Freue mich über Feedback im PR.
>
> Viele Grüße,
> Andreas
>
>
> On 15.08.2016, at 11:36, Andreas Goetz  wrote:
>
> Ich mache Jacobs Mail mal als neues Thema auf:
>
> Bei der Durchsicht der URL-Befehle habe ich gesehen, dass anscheinend
>> auch schreibend auf die Datenbank zugreifen kann. Ist das nicht
>> gefährlich, so einen Webserver ins öffentliche Netz zu stellen, wenn
>> jeder daran herum fummeln kann?
>>
>
> Äh, ja, das ist das Prinzip von vz. Allerdings muß man ja die UUID kennen,
> um Kanäle und deren Daten manipulieren zu können, deswegen sollte man die
> UUID auch geheim halten (und Kanäle nicht einfach public machen, sonst kann
> man sie einfach so auflisten). Neue Kanäle anlegen und nutzen geht aber
> natürlich schon.
> M.W. hatte Justin das so konzipiert, damit z.B. demo.volkszaehler.org
> ohne Anmeldung (und Passwort-Recevory, Email etc. pp.) genutzt werden kann.
> Faktisch ist es aber heute wohl so, daß die meisten ihren eigenen VZ-Server
> laufen haben, da finde ich das eher ungeschickt (zumal die UUIDs auch etwas
> unhandlich sind).
>
> -- snip --
>
> Ich sehe- wenn wir es einfach halten wollen- 2 Anwendungsfälle:
>
> a) Absicherung einer privaten Installation
> b) Usermanagement für eine öffentliche Installation wie demo
>
> Letzteres klammere ich mal aus da es grundlegende Änderungen an VZ
> erfordern würde. Für a) gibt es verschiedene Möglichkeiten von furchtbar
> einfach bis etwas umfangreicher:
>
> 1) Basic Authentication, also Username + Password. Für ein Mindestmaß an
> Sicherheit ist SSL erforderlich- das gilt ebenso aber auch für alle
> weiteren Varianten. Das muss zusätzlich so konfiguriert werden dass
> vzlogger (aus dem internen Netz) ohne Basic Auth weiterhin seine Daten
> abliefern kann.
>
> 2) Token Authentication: initiales Login per U/P, ab da Token der expired.
> Dabei hätten wir sogar die Möglichkeit einzelne User zu definieren-
> imeinfachsten Falle per Konfigurationsdatei, sonst als
> Datenbankerweiterung. Wenn Datenbankerweiterung dann können wir auch Rechte
> vergeben (schreiben, löschen, lesen) und Kanäle zu Usern "gehören" zu
> lassen.
> Weiterhin wäre es ggf. sinnvoll authentifizierten Nutzern auch "private"
> Kanäle ohne Kenntnis der UUID anzubieten.
>
> Gibts Bedarf?
>
> Viele Grüße,
> Andreas
>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Sirko,

2017-01-06 13:43 GMT+01:00 Sirko :

> Hi,
>
> ich hab das versucht:
>
> $HTTP["url"] =~ "(^/middleware.php/)" {
>   proxy.server  = ( "" => ("" => ( "host" => "127.0.0.1", "port" => 88 )))
> }
>
> $SERVER["socket"] == ":88" {
>   url.rewrite-once = ( "^/middleware.php/(.*)$" => "/$1" )
>   proxy.server  = ( "" => ( "" => ( "host" => "127.0.0.1", "port" => 8088
> )))
> }
>
>
> Was auch zu funktionieren zu scheint, aber die response enthält jetzt
> "unexpected non-whitespace"am Anfang, z.B. eine Zahl:
>
> 1012
> {"version":"0.3","data":{"tuples":[[1480546798618,2.375,1],usw.
>
> also die 1012 darf da nicht hin.
>
> Interessanterweise passiert das nicht, wenn ich &debug=5 anhänge, da ist
> alles schön:
>
Konntest Du das lösen? Die Abhängigkeit zum &debug ist vedächtig,
allerdings konnte ich keine Ecke im Code finden wo die Ausgabe generiert
werden könnte- zumal das Proxy Setup bei mir mit Apache läuft.

Falls Du noch Hilfe brauchst schick mir gerne ssh/url per PM, evtl habe ih
heute abend ein wenig Zeit.

Viele Grüße,
Andreas

 "debug": {
> "database": "pdo_mysql",
> "time": 0.00207,
> "uptime": 8397676930,
> "load": [
> 0.21,
> 0.18,
> 0.15
>     ],
> "commit-hash": "b6062bf962c1052e60aaf7e4bec159a75d2db50c",
> "php-version": "5.6.29-0+deb8u1",
> "messages": []
> },
> "data": {
> "tuples": [
> [
> 1480546798618,
> 2.375,
>
> Grüße
>
> Sirko
>
> Am 06.01.2017 um 12:59 schrieb Andreas Goetz:
>
> PS.: siehe http://stackoverflow.com/questions/14536554/lighttpd-
> configuration-to-proxy-rewrite-from-one-domain-to-another
>
> 2017-01-06 12:58 GMT+01:00 Andreas Goetz :
>
>>
>>
>> On Fri, Jan 6, 2017 at 12:56 PM, Sirko  wrote:
>>
>>> ups, doch keine korrekte Antwort, sondern:
>>>
>>> "Unknown context: 'middleware.php'",
>>>
>>
>> Dann stimmt die rewrite/proxy rule nicht. Aus
>>
>>   http:///middleware.php/entity.json
>>
>> muss
>>
>>   http://127.0.0.1/entity.json
>>
>> werden!
>>
>> ...
>>
>
>
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Sirko,

> On 12 Jan 2017, at 11:21, Sirko  wrote:
> 
> Hi,
> 
> 
> das war ja einfach ;-)
> 
> noch kurz die typischen "time"-Werte
> 
> Middleware:  curl -s 
> 'http://192.168.178.23/middleware.php/data/14360350-d080-11e2-json?debug=1'
>  |less
> "time": 0.0129 bis "time": 0.00671,
> 
> PPM:  curl -s 
> 'http://192.168.178.23:8088/data/14360350-d080-11e2-json?debug=1' |less
> um die "time": 0.0012,
> 
> bei ca. "rows": 8642

die “Messwerte” sind vmtl. die Execution Times aus dem json? Dann sind sie … 
Quark. Warum?

a) es fehlt in der normalen Variante die Zeit bis das PHP Skript überhaupt mal 
geladen wurde
b) es fehlt die Zeit- und das ist die Hauptlast- bis mal eine 
Datenbankverbindung besteht da der Debug Timestamp erst später gesetzt wird 
(ist mir gerade aufgefallen- mach gerne eine Issue wenn wir das ändern wollen)

Long Story short: in Realität ist der Unterschied für “einfache” Requests die 
vielleicht gar nicht zur Datenbank müssen so ca. 5ms vs. 200ms auf einem 
Raspi3, also mal eben Faktor 40 :)

> 
> Grüße
> Sirko

Viele Grüße, Andreas

> 
> 
> Am 11.01.2017 um 12:38 schrieb Andreas Götz:
>> Doch klar- options.js!
>> 
>> Viele Grüße,
>> Andreas
> 

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Zusammen,

hier ist ja wieder richtig Leben in der Bude- sehr schön :) 

> On 11 Jan 2017, at 18:27, Frank Richter  wrote:
> 
> Hallo Andreas,
> 
> aus meiner Sicht ist die Absicherung per Login absolut wichtig und sollte 
> rein, denn private Kanäle sind auf Dauer/bei diversen verwendeten Geräten 
> einfach unbequem, und jedesmal eine VPN-Verbindung aufzumachen, um kurz nach 
> dem VZ zu schauen, finde auch eher unpraktisch.

Coole Idee! Eigentlich…. braucht es die privaten Kanäle dann (fast) nicht mehr. 
Es sei denn es wäre notwendig “leuten” Zugriff zu geben die aber nicht alles 
sehen sollen. Da wir keine vollwertige Userverwaltung haben wäre das immer noch 
ein Fallback.

Im Sinne von Nutzerorientierung würde ich die privaten Channels aber lieber 
rauswerfen- ein relativ komplexes Feature (eher eine Krücke) das immer wieder 
zu Nachfragen führt wo der Kanal denn hin ist.

Andererseits verwende ich sie bei meinen ca. 50 Channels gerne dafür die 
seltenen oder in Gruppen enthaltenen überhaupt auszublenden. Aber auch dafür 
ließe sich sicher eine bessere Lösung bauen.

Meinungen?

> Jetzt ging es im ganzen Thread fast ausschließlich um die High Performance 
> Middleware und nicht um das Login-Feature.

Die Diskussionen zur High Performance Middleware sollten wir aber vielleicht in 
einen zweiten Thread auslagern- da habe ich etwas ungeduldig Beides vermischt.

> Kannst du vielleicht nochmal kurz darauf eingehen, wie sich ein Merge des 
> Features auf neue (per install.sh oder mit einem neuen Image erstellte) und 
> bestehende (durch git pull akualisierte) Installationen auswirken würde?

Erstmal ist die Grundkonfig wie heute, lediglich im Internet verfügbare VZ 
würden keine Änderungen mehr erlauben bis die Firewall Regeln geändert werden.

Nicht getestet habe ich was passiert wenn die config template nicht in die 
config übertragen wird. Aber andererseits: wer keine Angst vor git und composer 
hat sollte auch ein config File ändern können?!

Was noch entfallen könnte:
- DB User ohne Schreibrechte bräuchte es dann nicht mehr
- ggf private Kanäle

> Laufen die dann noch out of the box oder sind zwingend zusätzliche Schritte 
> notwendig? Wenn ich das richtig sehe, muss für bestehende Installationen auf 
> jeden Fall die volkszaehler.conf.php angepasst werden.

S.o.- ja, das wäre notwendig. Workaround im Code möglich aber das möchte ich 
eigentlich nicht.

> Wie ist es mit HTTPS, ist das dann unbedingt erforderlich, oder geht es mit 
> der letzten Änderung ((=lesender public Zugriff auf VZ)) auch ohne?

Geht auch ohne. HTTPS ist nur aus Sicherheitsgründen zwingend bevor man 
User/Passwort darüber schickt. Verifizieren/ abfangen kann ich das aber nicht.

> Laut meiner Recherche klappt Let's Encrypt zusammen mit einer DDNS-Adresse 
> nicht immer reibungslos, weil Let's Encrypt die Zahl der Registrierungen pro 
> Domain beschränkt.

M.e. ist das behoben- LE hat zumindest ddns.net als Dyn Hoster mit aufgenommen 
und damit ohne Beschränkung.

> Ich bin leider noch nicht dazu gekommen, den PR selbst zu testen, weil ich 
> grad keine Installation auf aktuellem Stand habe - da bin ich aber dran…

Na dann wirds Zeit ;)

> 
> Grüße
> Frank  

Viele Grüße, Andreas

> 
> Am 11.01.2017 09:21 schrieb "Andreas Goetz"  <mailto:cpui...@gmail.com>>:
> Hallo Zusammen,
> 
> 2017-01-03 20:33 GMT+01:00 Andreas Goetz  <mailto:cpui...@gmail.com>>:
> Hallo,
> 
> Frohes Neues Jahr Zusammen!
> 
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich 
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ 
> Komponenten wieder 100%ig funktionsfähig zu machen. 
> 
> Dazu gehören auch die High Performance Middleware (siehe 
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools 
> <https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools>) 
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher 
> Link).
> 
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen 
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden zu 
> beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten (@Udo: 
> einmalig kann ich das gerne einrichten, ist im Link aber auch recht gut 
> dokumentiert).
> 
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und User 
> Authorization neu aufgesetzt 
> (https://github.com/volkszaehler/volkszaehler.org/pull/551 
> <https://github.com/volkszaehler/volkszaehler.org/pull/551>). Aus meiner 
> Sicht wäre das Feature damit reif standardmäßig in VZ einzuziehen. Bei Bedarf 
> könnte ich noch eine Option einbauen es ggf. auch komplett abzuschalten falls 
> sich die individuelle Konfiguration der Firewall Regeln dafür als zu 
>

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

> On 12 Jan 2017, at 00:04, Frank Richter  wrote:
> 
> Hallo Andreas,
> 
> ich antworte mir mal selbst, jetzt hab ich das ganze nämlich doch getestet 
> (auf einem Pi mit VZ-Image, auf dem normalerweise nur vzlogger läuft, weil 
> meine DB woanders liegt).
> Ich bin dafür, das bald zu mergen, läuft schon recht gut und 
> Einrichtungsaufwand hält sich ja sehr in Grenzen. Mein Test war jetzt ohne 
> HTTPS, aber so lang das users-Array leer ist und die voreingestellten 
> Firewallregeln verwendet werden, sollte da ja nix passieren.

Sehe ich auch so. Vielleicht hat @Justin noch einen Kommentar dazu?

> Wer schreibenden Zugriff von Remote möchte, muss sich dann eben mit mit HTTPS 
> befassen. Den default user würde ich dann allerdings wirklich aus der 
> Konfiguration werfen.

Check.

> 
> 2 Sachen, die mir beim Testen aufgefallen sind:
> * 'action' => 'deny' sollte besser kein Login-Fenster bringen

Good catch. Die Weiche baue ich ein.

> * wenn 'methods' => 'GET', action' => 'allow' gesetzt ist, wird das Frontend 
> ja normal geladen. Dann kann ich Kanaleigenschaften bearbeiten, beim 
> Speichern erscheint Login. Wenn ich mich dann einlogge, wird die ganze Seite 
> neu geladen, gemachte Änderungen gehen aber verloren

Mhm, das stimmt und wäre ein Issue wert. Nie getestet weil “das geht ja nicht”. 
Außerdem dachte ich immer der Fehler kommt beim laden der Seite- jetzt 
allerdings passiert er beim speichern.

Man müsste also etwas einbauen dass quasi den Request aufhält, Credentials 
abholt und dann erneut ausführt. Bestimmt möglich aber tricky. Könnten wir fürs 
erste mit dem Istzustand leben? Gerade wenn man die Haltbarkeit der Token auf 
z.b. 1 Woche konfiguriert würde es aus dem Internet- wo heute gar nichts geht- 
ja ziemlich selten passieren???

> 
> Grüße
> Frank

Viele Grüße, Andreas

> 
> 
> Am 11. Januar 2017 um 18:27 schrieb Frank Richter  <mailto:frank.richte...@gmail.com>>:
> Hallo Andreas,
> 
> aus meiner Sicht ist die Absicherung per Login absolut wichtig und sollte 
> rein, denn private Kanäle sind auf Dauer/bei diversen verwendeten Geräten 
> einfach unbequem, und jedesmal eine VPN-Verbindung aufzumachen, um kurz nach 
> dem VZ zu schauen, finde auch eher unpraktisch.
> Jetzt ging es im ganzen Thread fast ausschließlich um die High Performance 
> Middleware und nicht um das Login-Feature. Kannst du vielleicht nochmal kurz 
> darauf eingehen, wie sich ein Merge des Features auf neue (per install.sh 
> oder mit einem neuen Image erstellte) und bestehende (durch git pull 
> akualisierte) Installationen auswirken würde?
> Laufen die dann noch out of the box oder sind zwingend zusätzliche Schritte 
> notwendig? Wenn ich das richtig sehe, muss für bestehende Installationen auf 
> jeden Fall die volkszaehler.conf.php angepasst werden.
> Wie ist es mit HTTPS, ist das dann unbedingt erforderlich, oder geht es mit 
> der letzten Änderung ((=lesender public Zugriff auf VZ)) auch ohne? Laut 
> meiner Recherche klappt Let's Encrypt zusammen mit einer DDNS-Adresse nicht 
> immer reibungslos, weil Let's Encrypt die Zahl der Registrierungen pro Domain 
> beschränkt.
> Ich bin leider noch nicht dazu gekommen, den PR selbst zu testen, weil ich 
> grad keine Installation auf aktuellem Stand habe - da bin ich aber dran...
> 
> Grüße
> Frank  
> 
> Am 11.01.2017 09:21 schrieb "Andreas Goetz"  <mailto:cpui...@gmail.com>>:
> Hallo Zusammen,
> 
> 2017-01-03 20:33 GMT+01:00 Andreas Goetz  <mailto:cpui...@gmail.com>>:
> Hallo,
> 
> Frohes Neues Jahr Zusammen!
> 
> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich 
> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ 
> Komponenten wieder 100%ig funktionsfähig zu machen. 
> 
> Dazu gehören auch die High Performance Middleware (siehe 
> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools 
> <https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools>) 
> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher 
> Link).
> 
> Apropos High Performance Middleware: ich muss nochmal Werbung dafür machen 
> dass die MW damit in der Lage ist Requests in wenigen (<10!) Millisekunden zu 
> beantworten. Wäre Klasse wenn wir das in das Image einbauen könnten (@Udo: 
> einmalig kann ich das gerne einrichten, ist im Link aber auch recht gut 
> dokumentiert).
> 
> Auf der Basis habe ich dann auch gleiche die Testskripte renoviert und User 
> Authorization neu aufgesetzt 
> (https://github.com/volkszaehler/volkszaehler.org/pull/551 
> <https://github.com/volkszaehler/volkszaehler.org/pull/551>). Aus meiner 
> Sicht wäre das Feat

Re: [vz-users] Frage

[Andreas Goetz]

> On 12 Jan 2017, at 18:03, G. Stenzel  wrote:
> 
> On Thu, 12 Jan 2017 17:17:32 +0100, you wrote:
> 
>> Im Bezug auf die Haltbarkeit der SD hab ich mal überlegt ob es nicht
>> helfen würde ein zweites tmpfs unter /var/log/ anzulegen.

Das würde sich anbieten. Dazu noch die maximale Logfilegröße mittels logrotated 
auf die Größe der Ramdisk begrenzen?

>> Die SD wird ja nicht nur von vzlogger sondern allen Diensten die
>> Logs pflegen totgeschrubbt.
> 
> Ich habe das bei allen Raspis mit dem tool ramlog gemacht. Da werden
> die betroffenen Verzeichnisse (bei mir /var/log) einmal am Tag und
> beim Runterfahren auf die SD geschrieben und beim Hochfahren wieder
> ins RAM geladen.
> …

Wäre mir nicht wichtig. Wenn ichs bräuchte kann ichs ja vorher händisch 
kopieren und ansonsten läuft der Raspi durch.

> 
> Gruß
> G.

Viele Grüße, Andreas

Re: [vz-users] Frage

[Andreas Goetz]

...was spricht denn dagegen wie oben schonmal angedacht das tmpfs unter
/var/log einzuhängen für unsere Zwecke?

Viele Grüße,
Andreas


2017-01-13 9:16 GMT+01:00 Udo1 :

> Am 13.01.2017 um 08:56 schrieb Christian Schnellrieder:
>
>> Aber das Problem ist doch nur wenn der vzlogger prozess durch einen
>> privilegierten User gestartet ist oder?
>>
> vzlogger muss als root laufen.
>
> Gruß
> Udo
>

[vz-users] Anforderungen / Änderungswünsche Image

[Andreas Goetz]

Hallo,

ich habe die Diskussionen über die Position fürs Logging mal als Aufhänger
genommen hier eine Wunschliste anzulegen:
https://github.com/volkszaehler/volkszaehler.org/issues/555

Die ersten Punke von mir sind befüllt.

Viele Grüße,
Andreas

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Klaus,

2017-01-12 23:52 GMT+01:00 Klaus Reichenecker :

> Noch mal zu der read-only-Variante - ich denke wieterhin, eine
> "public"-Variante ohne edit-Möglichkeiten würde Sinn machen
>
> -Meine VZ-Installation liegt bei einem Webhoster
> -Freunde haben teilweise eigene Sensoren, die direkt dorthin loggen
> -Diese Freunde haben dann eigene URLs, die direkt die UUID "ihrer" Gruppe
> aufrufen
>
> Nehmen wir mal Freund Alfred:
>
> Würde es funktionieren, das der Sensor bei Alfred über die URL
> alfred_geheim.xyz.de die Daten in den Volkszaehler schreibt,
> ich aber Alfred nur die URL alfred.xyz,de gebe? Ich hätte also 2x das
> Frontend auf dem Server, über verschiedene URLs,
> Bei alfred.xyz.de würde ich dann gerne die Edit-Buttons entfernen
>
> Ich weiss, das ist weitab einer sicheren Installation, aber es würde wohl
> für die meisten Anwendungsfälle ausreichen?
>

Das geht- mit der Firewall kannst Du jede URL einzeln mit Rechten versehen
wie Du willst.

Viele Grüße,
Andreas


> Grüße
> Klaus
>
>

Re: [vz-users] Frage

[Andreas Goetz]

… ich finde die Diskussion ja gut, aber am Ende siehts doch so aus:

- viele Leute haben gute Ideen, am Ende kommt ein Favorit raus
- alle legen sich wieder hin
- Udo oder Andreas oder Sirko, Matthias, Justin machen etwas (oder finden es 
nicht so wichtig oder haben tatsächlich auch noch andere Hobbies)
- oder es wird nicht gemacht

Vor dem Hintergrund könnten wir uns die Diskussion- wäre nicht der 
Wissensgewinn der Beteiligten- glatt sparen???

Ist jetzt mal völlig off-topic, aber m.E. haben wir hier ein Problem damit dass 
längst nicht genug aktive Supporter da sind.

My 2c,
Andreas

> On 13 Jan 2017, at 17:52, Daniel Lauckner  wrote:
> 
> Hallo Udo,
> 
> 
> am Freitag, 13. Januar 2017 um 14:31 hast du geschrieben:
>> Und was ist mit Impulse über GPIO, OMS, d0 oder 1wire-Sensoren?
> 
> Kann natürlich nicht alles testen. Aber d0 kann man gleich mal mit
> abhaken weil das auch über tty läuft.
> 
>> Ich weiß nur, dass irgendwo ein Haken war, wenn vzlogger nicht als sudo
>> lief.
> 
> /var/log/ gehört root, pi darf dort nicht schreiben.
> 
> Lösung dafür wäre die Logdatei einmalig zu erstellen und dann den
> Besitzer umzustellen.
> 
> 
> mfg Daniel
> 

Re: [vz-users] Login/Absicherung von VZ Installationen

[Andreas Goetz]

Hallo Frank,

s.u.- ist alles gefixt und der PR aktualisiert. 

Viele Grüße, Andreas

> On 12 Jan 2017, at 17:59, Andreas Goetz  wrote:
> 
> 
>> On 12 Jan 2017, at 00:04, Frank Richter > <mailto:frank.richte...@gmail.com>> wrote:
>> 
>> Hallo Andreas,
>> 
>> ich antworte mir mal selbst, jetzt hab ich das ganze nämlich doch getestet 
>> (auf einem Pi mit VZ-Image, auf dem normalerweise nur vzlogger läuft, weil 
>> meine DB woanders liegt).
>> Ich bin dafür, das bald zu mergen, läuft schon recht gut und 
>> Einrichtungsaufwand hält sich ja sehr in Grenzen. Mein Test war jetzt ohne 
>> HTTPS, aber so lang das users-Array leer ist und die voreingestellten 
>> Firewallregeln verwendet werden, sollte da ja nix passieren.
> 
> Sehe ich auch so. Vielleicht hat @Justin noch einen Kommentar dazu?
> 
>> Wer schreibenden Zugriff von Remote möchte, muss sich dann eben mit mit 
>> HTTPS befassen. Den default user würde ich dann allerdings wirklich aus der 
>> Konfiguration werfen.
> 
> Check.
> 
>> 
>> 2 Sachen, die mir beim Testen aufgefallen sind:
>> * 'action' => 'deny' sollte besser kein Login-Fenster bringen
> 
> Good catch. Die Weiche baue ich ein.
> 
>> * wenn 'methods' => 'GET', action' => 'allow' gesetzt ist, wird das Frontend 
>> ja normal geladen. Dann kann ich Kanaleigenschaften bearbeiten, beim 
>> Speichern erscheint Login. Wenn ich mich dann einlogge, wird die ganze Seite 
>> neu geladen, gemachte Änderungen gehen aber verloren
> 
> Mhm, das stimmt und wäre ein Issue wert. Nie getestet weil “das geht ja 
> nicht”. Außerdem dachte ich immer der Fehler kommt beim laden der Seite- 
> jetzt allerdings passiert er beim speichern.
> 
> Man müsste also etwas einbauen dass quasi den Request aufhält, Credentials 
> abholt und dann erneut ausführt. Bestimmt möglich aber tricky. Könnten wir 
> fürs erste mit dem Istzustand leben? Gerade wenn man die Haltbarkeit der 
> Token auf z.b. 1 Woche konfiguriert würde es aus dem Internet- wo heute gar 
> nichts geht- ja ziemlich selten passieren???
> 
>> 
>> Grüße
>> Frank
> 
> Viele Grüße, Andreas
> 
>> 
>> 
>> Am 11. Januar 2017 um 18:27 schrieb Frank Richter > <mailto:frank.richte...@gmail.com>>:
>> Hallo Andreas,
>> 
>> aus meiner Sicht ist die Absicherung per Login absolut wichtig und sollte 
>> rein, denn private Kanäle sind auf Dauer/bei diversen verwendeten Geräten 
>> einfach unbequem, und jedesmal eine VPN-Verbindung aufzumachen, um kurz nach 
>> dem VZ zu schauen, finde auch eher unpraktisch.
>> Jetzt ging es im ganzen Thread fast ausschließlich um die High Performance 
>> Middleware und nicht um das Login-Feature. Kannst du vielleicht nochmal kurz 
>> darauf eingehen, wie sich ein Merge des Features auf neue (per install.sh 
>> oder mit einem neuen Image erstellte) und bestehende (durch git pull 
>> akualisierte) Installationen auswirken würde?
>> Laufen die dann noch out of the box oder sind zwingend zusätzliche Schritte 
>> notwendig? Wenn ich das richtig sehe, muss für bestehende Installationen auf 
>> jeden Fall die volkszaehler.conf.php angepasst werden.
>> Wie ist es mit HTTPS, ist das dann unbedingt erforderlich, oder geht es mit 
>> der letzten Änderung ((=lesender public Zugriff auf VZ)) auch ohne? Laut 
>> meiner Recherche klappt Let's Encrypt zusammen mit einer DDNS-Adresse nicht 
>> immer reibungslos, weil Let's Encrypt die Zahl der Registrierungen pro 
>> Domain beschränkt.
>> Ich bin leider noch nicht dazu gekommen, den PR selbst zu testen, weil ich 
>> grad keine Installation auf aktuellem Stand habe - da bin ich aber dran...
>> 
>> Grüße
>> Frank  
>> 
>> Am 11.01.2017 09:21 schrieb "Andreas Goetz" > <mailto:cpui...@gmail.com>>:
>> Hallo Zusammen,
>> 
>> 2017-01-03 20:33 GMT+01:00 Andreas Goetz > <mailto:cpui...@gmail.com>>:
>> Hallo,
>> 
>> Frohes Neues Jahr Zusammen!
>> 
>> Ihr wisst ja dass ich hartnäckig sein kann. In den letzten Tagen haben ich 
>> nach dem mißglückten Merge daher massiv Arbeit darein gesteckt alle VZ 
>> Komponenten wieder 100%ig funktionsfähig zu machen. 
>> 
>> Dazu gehören auch die High Performance Middleware (siehe 
>> https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools 
>> <https://github.com/volkszaehler/volkszaehler.org/tree/master/misc/tools>) 
>> und der zuletzt nicht mehr korrekt funktionierende push-server (gleicher 
>> Link).
>> 
>> Apropos High Performance Middl

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Moin,

kannst Du das eingrenzen? Mal nur einen Kanal aktivieren und schauen welche
Requests da an die MW geschickt werden? Wenn sich das Fehlerbild
konkretisieren lässt bitte hier hinzufügen:
https://github.com/volkszaehler/volkszaehler.org/issues

Viele Grüße,
Andreas


2017-01-14 20:59 GMT+01:00 Andre Bernemann :

> Ja stimmt :-) Ich sende jetzt an die MW der produktiven Umgebung und per
> Push an die die produktive und eine weitere zum testen, klappt wunderbar.
>
> Mein eigentliches Problem ist es, dass ich bei aktiviertem Push keine
> Werte in der Tabelle bekommen:
>
> [image: pasted1]
> Die Werte tauchen kurz auf wenn das Frontend geladen ist, verschwinden
> dann aber beim ersten Push vom push-server. Zusätzlich hab ich dann
> sinnlose Werte für den Gesamtverbrauch. Sowas schon mal einer gesehen?
>
> Gruß
>
>
> Frank Richter  schrieb am Sa., 14. Jan. 2017
> um 19:37 Uhr:
>
>> Cool, wieder was gelernt:-)
>> Daten nur per push senden, aber nicht an Middleware/DB klappt übrigens
>> auch: dafür in der Kanaldefinition "api": null setzen
>> Das mach ich so mit den Momentanleistungen meiner Zähler.
>>
>> Gruß
>>
>>
>> Frank
>> Am 14.01.2017 18:57 schrieb "Andre Bernemann" > >:
>>
>> Push funktioniert mit 2 Einträgen, das reicht mir erstmal.
>>
>> Danke.
>>
>> Gruß
>> André
>>
>>
>> Frank Richter  schrieb am Sa., 14. Jan. 2017
>> um 17:17 Uhr:
>>
>> Hallo Andre,
>>
>> mehrere Middlewares sollte gehen, wenn man den Kanal mehrfach anlegt. Bei
>> push bin ich allerdings überfragt. Allerdings ist push ja immerhin ein
>> JSON-Array - mach doch mal einen 2. URL-Eintrag, probieren kostet ja nix...
>>
>> Gruß
>>
>>
>> Frank
>> Hi,
>>
>> ich würde gerne ein paar Sachen mit dem Push-Server testen. Ist der
>> vzlogger irgendwie in der Lage die gleichen Kanäle an 2 Middlewares und an
>> zwei Push-Server gleichzeitig zu senden?
>>
>> Gruß,
>> André
>>
>>

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hi Andre,

2017-01-16 17:24 GMT+01:00 Andre Bernemann :

> Hi Andreas,
>
> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert,
> um sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben
> JS Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die
> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten
> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit
> umgeht man den Fehler aber natürlich nur.
>

Gute Anayse, danke! Genau- mir ist nicht klar warum das leer sein sollte.


> Ich denke es werden zwei Subscriptions pro Channel erzeugt. Eine davon hat
> kein passendes data Objekt als Member (hat eher die Struktur mit min, max
> und tuples). Kann es daran liegen, dass neuerdings "active" als
> Channel-Property in die DB geschrieben wird?
>

Wird es das denn???


> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht
> angezeigte - aber aktive Channels.
>

Was meinst Du damit? Was für Kanäle sollen das sein?


> Zusätzlich werden in init.js nach dem WAMP connect noch die "richtigen"
> Subscriptions erzeugt, wenn der Channel aktiv und sichtbar ist. Vom Timing
> her hab ich die korrupte Subscription immer als zweites, ich bekomme also
> ein korrektes Update und dann sofort das leere. Setze ich in der db
> active=0 funktioniert es übrigens.
>

Alles sehr merkwürdig. Könntest Du mit Logging (console.log) in
entity.subscribe mal versuchen herauszufinden wer/was/wo diese
Subscriptions erzeugt werden?


>
> HTH, sonst sag nochmal Bescheid!
>

Ich fürchte da musst Du erstmal ran bis die Ursache klar ist da ichs nicht
reproduzieren kann. Wenn gar nix hilft u/p per pm an mich.


>
> Gruß
>

Viele Grüße,
Andreas


>
>
> Andreas Goetz  schrieb am Mo., 16. Jan. 2017 um
> 11:44 Uhr:
>
>> Moin,
>>
>> kannst Du das eingrenzen? Mal nur einen Kanal aktivieren und schauen
>> welche Requests da an die MW geschickt werden? Wenn sich das Fehlerbild
>> konkretisieren lässt bitte hier hinzufügen: https://github.com/
>> volkszaehler/volkszaehler.org/issues
>>
>> Viele Grüße,
>> Andreas
>>
>>
>> 2017-01-14 20:59 GMT+01:00 Andre Bernemann :
>>
>> Ja stimmt :-) Ich sende jetzt an die MW der produktiven Umgebung und per
>> Push an die die produktive und eine weitere zum testen, klappt wunderbar.
>>
>> Mein eigentliches Problem ist es, dass ich bei aktiviertem Push keine
>> Werte in der Tabelle bekommen:
>>
>> [image: pasted1]
>> Die Werte tauchen kurz auf wenn das Frontend geladen ist, verschwinden
>> dann aber beim ersten Push vom push-server. Zusätzlich hab ich dann
>> sinnlose Werte für den Gesamtverbrauch. Sowas schon mal einer gesehen?
>>
>> Gruß
>>
>>
>> Frank Richter  schrieb am Sa., 14. Jan. 2017
>> um 19:37 Uhr:
>>
>> Cool, wieder was gelernt:-)
>> Daten nur per push senden, aber nicht an Middleware/DB klappt übrigens
>> auch: dafür in der Kanaldefinition "api": null setzen
>> Das mach ich so mit den Momentanleistungen meiner Zähler.
>>
>> Gruß
>>
>>
>> Frank
>> Am 14.01.2017 18:57 schrieb "Andre Bernemann" > >:
>>
>> Push funktioniert mit 2 Einträgen, das reicht mir erstmal.
>>
>> Danke.
>>
>> Gruß
>> André
>>
>>
>> Frank Richter  schrieb am Sa., 14. Jan. 2017
>> um 17:17 Uhr:
>>
>> Hallo Andre,
>>
>> mehrere Middlewares sollte gehen, wenn man den Kanal mehrfach anlegt. Bei
>> push bin ich allerdings überfragt. Allerdings ist push ja immerhin ein
>> JSON-Array - mach doch mal einen 2. URL-Eintrag, probieren kostet ja nix...
>>
>> Gruß
>>
>>
>> Frank
>> Hi,
>>
>> ich würde gerne ein paar Sachen mit dem Push-Server testen. Ist der
>> vzlogger irgendwie in der Lage die gleichen Kanäle an 2 Middlewares und an
>> zwei Push-Server gleichzeitig zu senden?
>>
>> Gruß,
>> André
>>
>>
>>

Re: [vz-users] host vs. dev WAR: Middlware und vzlogger.conf

[Andreas Goetz]

Ihr könntet hier https://github.com/jdorn/json-editor nachfragen ob/wie
sich die ANforderung lösen lässt. Das sit die verwedete Editorkomponente.

Viele Grüße,
Andreas


2017-01-16 14:06 GMT+01:00 Daniel Lauckner :

> am Donnerstag, 15. Dezember 2016 um 20:23 hast du geschrieben:
> > Für den vzlogger.conf-Editor hab ich ein Pull Request gemacht. Hoffe
> > das was ich da gebastelt hab ist korrekt...
>
> Es war nicht korrekt.
>
> Inzwischen bin ich auch der Auffassung des es mit dem vzloggereditor
> gar nicht geht.
> Für ein auswählbares item (host oder device) ist es in JSON-Schema
> wohl zwingend erforderlich ein Array anzulegen.
>
> Für mich ist das Dilemma nicht lösbar.
>
>
> mfg Daniel
>
>

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hallo,

> On 16 Jan 2017, at 22:30, Andre Bernemann  wrote:
> 
> Hi Andreas,
> 
> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Mo., 
> 16. Jan. 2017 um 18:06 Uhr:
> Hi Andre,
> 
> 2017-01-16 17:24 GMT+01:00 Andre Bernemann  <mailto:andre.bernem...@gmail.com>>:
> Hi Andreas,
> 
> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert, um 
> sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben JS 
> Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die 
> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten 
> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit 
> umgeht man den Fehler aber natürlich nur.
> ...
>  
>  
> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht angezeigte 
> - aber aktive Channels.
> 
> Was meinst Du damit? Was für Kanäle sollen das sein?
> 
> parseJSON wird beim Startup für alle Kanäle durchlaufen, unabhängig davon ob 
> es überhaupt im FE angezeigt wird.

Verdammt- ich fürchte Du hast recht. Das ist das im letzten Update rein 
gekommene laden der Public Entities. Idee war nicht bei jedem Dialogfenster 
erstmal warten zu müssen. Soweit ich sehe ist parseJson im Prinzip ok bis auf 
das abschließende subscribe(). Jetzt fehlt nur noch eine gute Idee wo das hin 
kommt.

Leider muss ich zugeben dass das Frontend einfach viel zu komplex und leider 
kaum modular ist :O

> Das führt zu Updates, auch wenn gar kein Kanal im FE ist. Scheinbar geht er 
> direkt auf die Kanäle der DB. Zusätzlich wird parseJSON auch vom "Kanal 
> hinzufügen"-Dialog gecalled - vielleicht um die CB zu füllen. Ist this.active 
> == true, wird Entity.prototype.subscribe() gecalled.
> 
> Das Problem ist seit dem Commit 293dd76 vorhanden, da ist was am MW Lookup 
> gemacht worden:
> ...
> 
> In der alten Version ist mw.session==false für die Calls über parseJSON, 
> daher ist an der Stelle Ende - die Calls aus ab.connect(...) hingegen haben 
> eine Session. In der neuen Version haben beide Aufrufe eine Session.
> 
> Jetzt Du :-)
> 

Ich glaub die Ursache ist eine andere, aber könnte sein. Allerdings- auch wenn 
das die Ursache ist- sollten dennoch in den Updates Daten ankommen und dann 
wäre das Phänomen auch weg. Sieht nach  einer Macke im Pushserver aus. Also was 
fixen?

Wenn Du so nett sein willst mach bitte ein Issue mit dieser Beschreibung auf, 
heute fällt mir keine Halbwegs elegante Lösung mehr ein.

Viele Grüße, Andreas


>  
>  
> Zusätzlich werden in init.js nach dem WAMP connect noch die "richtigen" 
> Subscriptions erzeugt, wenn der Channel aktiv und sichtbar ist. Vom Timing 
> her hab ich die korrupte Subscription immer als zweites, ich bekomme also ein 
> korrektes Update und dann sofort das leere. Setze ich in der db active=0 
> funktioniert es übrigens. 
> 
> Alles sehr merkwürdig. Könntest Du mit Logging (console.log) in 
> entity.subscribe mal versuchen herauszufinden wer/was/wo diese Subscriptions 
> erzeugt werden?
>  
> 
> HTH, sonst sag nochmal Bescheid!
> 
> Ich fürchte da musst Du erstmal ran bis die Ursache klar ist da ichs nicht 
> reproduzieren kann. Wenn gar nix hilft u/p per pm an mich.
>  
> 
> Gruß
> 
> Viele Grüße,
> Andreas
> 
> Gruß André
>  
>  
> 
> 
> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Mo., 
> 16. Jan. 2017 um 11:44 Uhr:
> Moin,
> 
> kannst Du das eingrenzen? Mal nur einen Kanal aktivieren und schauen welche 
> Requests da an die MW geschickt werden? Wenn sich das Fehlerbild 
> konkretisieren lässt bitte hier hinzufügen: 
> https://github.com/volkszaehler/volkszaehler.org/issues 
> <https://github.com/volkszaehler/volkszaehler.org/issues>
> 
> Viele Grüße,
> Andreas
> 
> 
> 2017-01-14 20:59 GMT+01:00 Andre Bernemann  <mailto:andre.bernem...@gmail.com>>:
> Ja stimmt :-) Ich sende jetzt an die MW der produktiven Umgebung und per Push 
> an die die produktive und eine weitere zum testen, klappt wunderbar. 
> 
> Mein eigentliches Problem ist es, dass ich bei aktiviertem Push keine Werte 
> in der Tabelle bekommen:
> 
> 
> Die Werte tauchen kurz auf wenn das Frontend geladen ist, verschwinden dann 
> aber beim ersten Push vom push-server. Zusätzlich hab ich dann sinnlose Werte 
> für den Gesamtverbrauch. Sowas schon mal einer gesehen?
> 
> Gruß
> 
> 
> Frank Richter mailto:frank.richte...@gmail.com>> 
> schrieb am Sa., 14. Jan. 2017 um 19:37 Uhr:
> Cool, wieder was gelernt:-)
> Daten nur per push senden, aber nicht an Middleware/DB klappt übrigens auch: 
> dafür in der Kanaldefinition "api": null setzen
> Das mach ich so mit den Momentanleistungen 

Re: [vz-users] host vs. dev WAR: Middlware und vzlogger.conf

[Andreas Goetz]

Schade- wäre als Lösung aber auch ok, oder???

Viele Grüße, Andreas

> On 16 Jan 2017, at 23:19, Daniel Lauckner  wrote:
> 
> Hallo Andreas,
> 
> 
> am Montag, 16. Januar 2017 um 18:08 hast du geschrieben:
>> Ihr könntet hier https://github.com/jdorn/json-editornachfragen
>> ob/wie sich die ANforderung lösen lässt. Das sit die verwedete 
>> Editorkomponente.
> 
> Hab nochmal geschaut und weitere Doku gewälzt: Keine Chance. Man muss
> über Array oder Objekt gehen wenn man einen Schlüssel an/abstellen
> will.
> 
> Letzeres wäre möglich, würde im Editor dann wie im angehängten Bild
> aussehen. Man beachte die zwei zusätzlich Meter"typen".
> 
> 
> mfg Daniel

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Moin Frank,

schau mal hier:
https://github.com/volkszaehler/volkszaehler.org/blob/master/htdocs/frontend/javascripts/middleware.js#L49

Probier mal ob Du einfach active auf false setzen kannst:

json.entities.forEach(function(json) {
entity.active = false;
this.public.push(new Entity(json, this.url));
}, this);

Viele Grüße,
Andreas


2017-01-16 23:13 GMT+01:00 Andreas Goetz :

> Hallo,
>
> On 16 Jan 2017, at 22:30, Andre Bernemann 
> wrote:
>
> Hi Andreas,
>
> Andreas Goetz  schrieb am Mo., 16. Jan. 2017 um
> 18:06 Uhr:
>
>> Hi Andre,
>>
>> 2017-01-16 17:24 GMT+01:00 Andre Bernemann :
>>
>> Hi Andreas,
>>
>> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert,
>> um sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben
>> JS Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die
>> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten
>> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit
>> umgeht man den Fehler aber natürlich nur.
>>
>> ...
>>
>
>
>>
>>
>> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht
>> angezeigte - aber aktive Channels.
>>
>>
>> Was meinst Du damit? Was für Kanäle sollen das sein?
>>
>
> parseJSON wird beim Startup für alle Kanäle durchlaufen, unabhängig davon
> ob es überhaupt im FE angezeigt wird.
>
>
> Verdammt- ich fürchte Du hast recht. Das ist das im letzten Update rein
> gekommene laden der Public Entities. Idee war nicht bei jedem Dialogfenster
> erstmal warten zu müssen. Soweit ich sehe ist parseJson im Prinzip ok bis
> auf das abschließende subscribe(). Jetzt fehlt nur noch eine gute Idee wo
> das hin kommt.
>
> Leider muss ich zugeben dass das Frontend einfach viel zu komplex und
> leider kaum modular ist :O
>
> Das führt zu Updates, auch wenn gar kein Kanal im FE ist. Scheinbar geht
> er direkt auf die Kanäle der DB. Zusätzlich wird parseJSON auch vom "Kanal
> hinzufügen"-Dialog gecalled - vielleicht um die CB zu füllen. Ist
> this.active == true, wird Entity.prototype.subscribe() gecalled.
>
> Das Problem ist seit dem Commit 293dd76 vorhanden, da ist was am MW Lookup
> gemacht worden:
> ...
>
> In der alten Version ist mw.session==false für die Calls über parseJSON,
> daher ist an der Stelle Ende - die Calls aus ab.connect(...) hingegen haben
> eine Session. In der neuen Version haben beide Aufrufe eine Session.
>
> Jetzt Du :-)
>
>
> Ich glaub die Ursache ist eine andere, aber könnte sein. Allerdings- auch
> wenn das die Ursache ist- sollten dennoch in den Updates Daten ankommen und
> dann wäre das Phänomen auch weg. Sieht nach  einer Macke im Pushserver aus.
> Also was fixen?
>
> Wenn Du so nett sein willst mach bitte ein Issue mit dieser Beschreibung
> auf, heute fällt mir keine Halbwegs elegante Lösung mehr ein.
>
> Viele Grüße, Andreas
>
>
>
>
>>
>>
>> Zusätzlich werden in init.js nach dem WAMP connect noch die "richtigen"
>> Subscriptions erzeugt, wenn der Channel aktiv und sichtbar ist. Vom Timing
>> her hab ich die korrupte Subscription immer als zweites, ich bekomme also
>> ein korrektes Update und dann sofort das leere. Setze ich in der db
>> active=0 funktioniert es übrigens.
>>
>>
>> Alles sehr merkwürdig. Könntest Du mit Logging (console.log) in
>> entity.subscribe mal versuchen herauszufinden wer/was/wo diese
>> Subscriptions erzeugt werden?
>>
>>
>>
>> HTH, sonst sag nochmal Bescheid!
>>
>>
>> Ich fürchte da musst Du erstmal ran bis die Ursache klar ist da ichs
>> nicht reproduzieren kann. Wenn gar nix hilft u/p per pm an mich.
>>
>>
>>
>> Gruß
>>
>>
>> Viele Grüße,
>> Andreas
>>
>
> Gruß André
>
>
>>
>>
>>
>>
>> Andreas Goetz  schrieb am Mo., 16. Jan. 2017 um
>> 11:44 Uhr:
>>
>> Moin,
>>
>> kannst Du das eingrenzen? Mal nur einen Kanal aktivieren und schauen
>> welche Requests da an die MW geschickt werden? Wenn sich das Fehlerbild
>> konkretisieren lässt bitte hier hinzufügen: https://github.
>> com/volkszaehler/volkszaehler.org/issues
>>
>> Viele Grüße,
>> Andreas
>>
>>
>> 2017-01-14 20:59 GMT+01:00 Andre Bernemann :
>>
>> Ja stimmt :-) Ich sende jetzt an die MW der produktiven Umgebung und per
>> Push an die die produktive und eine weitere zum testen, klappt wunderbar.
>>
>> Mein eigentliches Problem ist es, dass ich bei aktiviertem Push kei

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Probiers- wir brauchen aber keinen zweiten Workaround wenn das unten 
funktioniert? Die Entity kanns halt mehrmals geben- eine ganze Liste dienst nur 
der Dropdownbox im “Add Channel” Dialog.

Wenn Du Zeit hast könntest Du nochmal testen was passiert wenn die gleiche 
Entity mehrmals in der Tabelle ist, z.B. einzeln als auch in einer Gruppe. Der 
Übersichtichkeit halber mach mir auch gerne ein Issue auf, wird dann gefixt…

Viele Grüße, Andreas

> On 17 Jan 2017, at 21:51, Andre Bernemann  wrote:
> 
> Hallo Andreas,
> 
> also ich schau mir das gerne auch noch im Push-Server an, wird aber diese 
> Woche nicht mehr klappen. Die Entity sollte ja auf im FE schon erkennen, dass 
> es schon eine Subscription gibt - (Observer? Singleton?).
> 
> Spricht was dagegen das Table-Clear im DOM Update zunächst mit ins if zu 
> ziehen? Dann hätten wir einen Workaround...
> 
> Gruß
> André
> 
> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Di., 
> 17. Jan. 2017 um 09:22 Uhr:
> Moin Frank,
> 
> schau mal hier: 
> https://github.com/volkszaehler/volkszaehler.org/blob/master/htdocs/frontend/javascripts/middleware.js#L49
>  
> <https://github.com/volkszaehler/volkszaehler.org/blob/master/htdocs/frontend/javascripts/middleware.js#L49>
>  
> 
> Probier mal ob Du einfach active auf false setzen kannst:
> 
> json.entities.forEach(function(json) {
> entity.active = false;
> this.public.push(new Entity(json, this.url));
> }, this);
> 
> Viele Grüße,
> Andreas
> 
> 
> 2017-01-16 23:13 GMT+01:00 Andreas Goetz  <mailto:cpui...@gmail.com>>:
> Hallo,
> 
>> On 16 Jan 2017, at 22:30, Andre Bernemann > <mailto:andre.bernem...@gmail.com>> wrote:
>> 
>> Hi Andreas,
>> 
>> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Mo., 
>> 16. Jan. 2017 um 18:06 Uhr:
>> Hi Andre,
>> 
>> 2017-01-16 17:24 GMT+01:00 Andre Bernemann > <mailto:andre.bernem...@gmail.com>>:
>> Hi Andreas,
>> 
>> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert, um 
>> sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben JS 
>> Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die 
>> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten 
>> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit 
>> umgeht man den Fehler aber natürlich nur.
>> ...
>>  
>>  
>> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht angezeigte 
>> - aber aktive Channels.
>> 
>> Was meinst Du damit? Was für Kanäle sollen das sein?
>> 
>> parseJSON wird beim Startup für alle Kanäle durchlaufen, unabhängig davon ob 
>> es überhaupt im FE angezeigt wird.
> 
> Verdammt- ich fürchte Du hast recht. Das ist das im letzten Update rein 
> gekommene laden der Public Entities. Idee war nicht bei jedem Dialogfenster 
> erstmal warten zu müssen. Soweit ich sehe ist parseJson im Prinzip ok bis auf 
> das abschließende subscribe(). Jetzt fehlt nur noch eine gute Idee wo das hin 
> kommt.
> 
> Leider muss ich zugeben dass das Frontend einfach viel zu komplex und leider 
> kaum modular ist :O
> 
>> Das führt zu Updates, auch wenn gar kein Kanal im FE ist. Scheinbar geht er 
>> direkt auf die Kanäle der DB. Zusätzlich wird parseJSON auch vom "Kanal 
>> hinzufügen"-Dialog gecalled - vielleicht um die CB zu füllen. Ist 
>> this.active == true, wird Entity.prototype.subscribe() gecalled.
>> 
>> Das Problem ist seit dem Commit 293dd76 vorhanden, da ist was am MW Lookup 
>> gemacht worden:
>> ...
>> 
>> In der alten Version ist mw.session==false für die Calls über parseJSON, 
>> daher ist an der Stelle Ende - die Calls aus ab.connect(...) hingegen haben 
>> eine Session. In der neuen Version haben beide Aufrufe eine Session.
>> 
>> Jetzt Du :-)
>> 
> 
> Ich glaub die Ursache ist eine andere, aber könnte sein. Allerdings- auch 
> wenn das die Ursache ist- sollten dennoch in den Updates Daten ankommen und 
> dann wäre das Phänomen auch weg. Sieht nach  einer Macke im Pushserver aus. 
> Also was fixen?
> 
> Wenn Du so nett sein willst mach bitte ein Issue mit dieser Beschreibung auf, 
> heute fällt mir keine Halbwegs elegante Lösung mehr ein.
> 
> Viele Grüße, Andreas
> 
> 
>>  
>>  
>> Zusätzlich werden in init.js nach dem WAMP connect noch die "richtigen" 
>> Subscriptions erzeugt, wenn der Channel aktiv und sichtbar ist. Vom Timing 
>> her hab ich die korrupte Subscription immer als zweites, ich bekomme also 
>> ein 

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hi Andre,

ich habe auch den Root Cause gefunden. Durch die Optimierung des UIs wird
"active" plötzlich bei Serialisierung der Properties mit einbezogen-
ziemlich unerwartet für den armen Programmierer :O

Das baue ich aus und dann sehen wir weiter...

vg
Andreas


2017-01-17 22:03 GMT+01:00 Andreas Goetz :

> Probiers- wir brauchen aber keinen zweiten Workaround wenn das unten
> funktioniert? Die Entity kanns halt mehrmals geben- eine ganze Liste dienst
> nur der Dropdownbox im “Add Channel” Dialog.
>
> Wenn Du Zeit hast könntest Du nochmal testen was passiert wenn die gleiche
> Entity mehrmals in der Tabelle ist, z.B. einzeln als auch in einer Gruppe.
> Der Übersichtichkeit halber mach mir auch gerne ein Issue auf, wird dann
> gefixt…
>
> Viele Grüße, Andreas
>
> On 17 Jan 2017, at 21:51, Andre Bernemann 
> wrote:
>
> Hallo Andreas,
>
> also ich schau mir das gerne auch noch im Push-Server an, wird aber diese
> Woche nicht mehr klappen. Die Entity sollte ja auf im FE schon erkennen,
> dass es schon eine Subscription gibt - (Observer? Singleton?).
>
> Spricht was dagegen das Table-Clear im DOM Update zunächst mit ins if zu
> ziehen? Dann hätten wir einen Workaround...
>
> Gruß
> André
>
> Andreas Goetz  schrieb am Di., 17. Jan. 2017 um
> 09:22 Uhr:
>
>> Moin Frank,
>>
>> schau mal hier: https://github.com/volkszaehler/volkszaehler.org/
>> blob/master/htdocs/frontend/javascripts/middleware.js#L49
>>
>> Probier mal ob Du einfach active auf false setzen kannst:
>>
>> json.entities.forEach(function(json) {
>> entity.active = false;
>>     this.public.push(new Entity(json, this.url));
>> }, this);
>>
>> Viele Grüße,
>> Andreas
>>
>>
>> 2017-01-16 23:13 GMT+01:00 Andreas Goetz :
>>
>> Hallo,
>>
>> On 16 Jan 2017, at 22:30, Andre Bernemann 
>> wrote:
>>
>> Hi Andreas,
>>
>> Andreas Goetz  schrieb am Mo., 16. Jan. 2017 um
>> 18:06 Uhr:
>>
>> Hi Andre,
>>
>> 2017-01-16 17:24 GMT+01:00 Andre Bernemann :
>>
>> Hi Andreas,
>>
>> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert,
>> um sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben
>> JS Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die
>> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten
>> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit
>> umgeht man den Fehler aber natürlich nur.
>>
>> ...
>>
>>
>>
>>
>>
>> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht
>> angezeigte - aber aktive Channels.
>>
>>
>> Was meinst Du damit? Was für Kanäle sollen das sein?
>>
>>
>> parseJSON wird beim Startup für alle Kanäle durchlaufen, unabhängig davon
>> ob es überhaupt im FE angezeigt wird.
>>
>>
>> Verdammt- ich fürchte Du hast recht. Das ist das im letzten Update rein
>> gekommene laden der Public Entities. Idee war nicht bei jedem Dialogfenster
>> erstmal warten zu müssen. Soweit ich sehe ist parseJson im Prinzip ok bis
>> auf das abschließende subscribe(). Jetzt fehlt nur noch eine gute Idee wo
>> das hin kommt.
>>
>> Leider muss ich zugeben dass das Frontend einfach viel zu komplex und
>> leider kaum modular ist :O
>>
>> Das führt zu Updates, auch wenn gar kein Kanal im FE ist. Scheinbar geht
>> er direkt auf die Kanäle der DB. Zusätzlich wird parseJSON auch vom "Kanal
>> hinzufügen"-Dialog gecalled - vielleicht um die CB zu füllen. Ist
>> this.active == true, wird Entity.prototype.subscribe() gecalled.
>>
>> Das Problem ist seit dem Commit 293dd76 vorhanden, da ist was am MW
>> Lookup gemacht worden:
>> ...
>>
>> In der alten Version ist mw.session==false für die Calls über parseJSON,
>> daher ist an der Stelle Ende - die Calls aus ab.connect(...) hingegen haben
>> eine Session. In der neuen Version haben beide Aufrufe eine Session.
>>
>> Jetzt Du :-)
>>
>>
>> Ich glaub die Ursache ist eine andere, aber könnte sein. Allerdings- auch
>> wenn das die Ursache ist- sollten dennoch in den Updates Daten ankommen und
>> dann wäre das Phänomen auch weg. Sieht nach  einer Macke im Pushserver aus.
>> Also was fixen?
>>
>> Wenn Du so nett sein willst mach bitte ein Issue mit dieser Beschreibung
>> auf, heute fällt mir keine Halbwegs elegante Lösung mehr ein.
>>
>> Viele Grüße, Andreas
>>
>>
>>
>>
>>
>>
&g

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hall Andre,

hier ist der vollständige Fix: 
https://github.com/volkszaehler/volkszaehler.org/pull/560

Damit wird active nicht mehr gespeichert, gespeichertes active ignoriert und 
beim landen der “public” channels active explizit auf false gesetzt damit keine 
Subscription erzeugt wird. 

Aus meiner Sicht ist das das Wunschverhalten: active speichern ist unsinnig da 
ich ja auf verschiedenen Geräten unterschiedliche Stände haben könnte- genau 
dafür sind die Cookies da.

Bitte um Test und Freigabe in Github- da etwas frickelig sollten da 4 Augen 
draufschauen.

Vielen Dank, Andreas


> On 18 Jan 2017, at 09:53, Andreas Goetz  wrote:
> 
> Hi Andre,
> 
> ich habe auch den Root Cause gefunden. Durch die Optimierung des UIs wird 
> "active" plötzlich bei Serialisierung der Properties mit einbezogen- ziemlich 
> unerwartet für den armen Programmierer :O
> 
> Das baue ich aus und dann sehen wir weiter...
> 
> vg
> Andreas
> 
> 
> 2017-01-17 22:03 GMT+01:00 Andreas Goetz  <mailto:cpui...@gmail.com>>:
> Probiers- wir brauchen aber keinen zweiten Workaround wenn das unten 
> funktioniert? Die Entity kanns halt mehrmals geben- eine ganze Liste dienst 
> nur der Dropdownbox im “Add Channel” Dialog.
> 
> Wenn Du Zeit hast könntest Du nochmal testen was passiert wenn die gleiche 
> Entity mehrmals in der Tabelle ist, z.B. einzeln als auch in einer Gruppe. 
> Der Übersichtichkeit halber mach mir auch gerne ein Issue auf, wird dann 
> gefixt…
> 
> Viele Grüße, Andreas
> 
>> On 17 Jan 2017, at 21:51, Andre Bernemann > <mailto:andre.bernem...@gmail.com>> wrote:
>> 
>> Hallo Andreas,
>> 
>> also ich schau mir das gerne auch noch im Push-Server an, wird aber diese 
>> Woche nicht mehr klappen. Die Entity sollte ja auf im FE schon erkennen, 
>> dass es schon eine Subscription gibt - (Observer? Singleton?).
>> 
>> Spricht was dagegen das Table-Clear im DOM Update zunächst mit ins if zu 
>> ziehen? Dann hätten wir einen Workaround...
>> 
>> Gruß
>> André
>> 
>> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Di., 
>> 17. Jan. 2017 um 09:22 Uhr:
>> Moin Frank,
>> 
>> schau mal hier: 
>> https://github.com/volkszaehler/volkszaehler.org/blob/master/htdocs/frontend/javascripts/middleware.js#L49
>>  
>> <https://github.com/volkszaehler/volkszaehler.org/blob/master/htdocs/frontend/javascripts/middleware.js#L49>
>>  
>> 
>> Probier mal ob Du einfach active auf false setzen kannst:
>> 
>> json.entities.forEach(function(json) {
>> entity.active = false;
>> this.public.push(new Entity(json, this.url));
>> }, this);
>> 
>> Viele Grüße,
>> Andreas
>> 
>> 
>> 2017-01-16 23:13 GMT+01:00 Andreas Goetz > <mailto:cpui...@gmail.com>>:
>> Hallo,
>> 
>>> On 16 Jan 2017, at 22:30, Andre Bernemann >> <mailto:andre.bernem...@gmail.com>> wrote:
>>> 
>>> Hi Andreas,
>>> 
>>> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am 
>>> Mo., 16. Jan. 2017 um 18:06 Uhr:
>>> Hi Andre,
>>> 
>>> 2017-01-16 17:24 GMT+01:00 Andre Bernemann >> <mailto:andre.bernem...@gmail.com>>:
>>> Hi Andreas,
>>> 
>>> in Entity.prototype.updateDOMRow wird die Tabellenzeile zunächst geleert, 
>>> um sie dann mit neuen Daten zu befüllen. In meinem Fall hat das übergeben 
>>> JS Objekt keinen Member "rows" [if (this.data && this.data.rows > 0)]. Die 
>>> Tabelle wird bei mir korrekt geleert, aber es werden keine neuen Daten 
>>> geparsed. Unabhängig von der Ursache könnte das clear mit ins if, damit 
>>> umgeht man den Fehler aber natürlich nur.
>>> ...
>>>  
>>>  
>>> parseJSON erzeugt bei mir beim Laden Subscriptions auch für nicht 
>>> angezeigte - aber aktive Channels.
>>> 
>>> Was meinst Du damit? Was für Kanäle sollen das sein?
>>> 
>>> parseJSON wird beim Startup für alle Kanäle durchlaufen, unabhängig davon 
>>> ob es überhaupt im FE angezeigt wird.
>> 
>> Verdammt- ich fürchte Du hast recht. Das ist das im letzten Update rein 
>> gekommene laden der Public Entities. Idee war nicht bei jedem Dialogfenster 
>> erstmal warten zu müssen. Soweit ich sehe ist parseJson im Prinzip ok bis 
>> auf das abschließende subscribe(). Jetzt fehlt nur noch eine gute Idee wo 
>> das hin kommt.
>> 
>> Leider muss ich zugeben dass das Frontend einfach viel zu komplex und leider 
>> kaum modular ist :O
>> 
>>> Das führt zu Updates,

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hallo Zusammen,

leider ist das Thema etwas kniffelig da das FE in dem Bereich einiges an nciht 
ganz offensichtlichem Verhalten hat. Tatsächlich war der Fehler schon immer da, 
konnte sich aber nicht manifestieren da die Public Entities erst “lazy”, jetzt 
aber schon zum Start geladen werden.

Bekommen wir aber hin.

> On 23 Jan 2017, at 00:24, Frank Richter  wrote:
> ...
> Ich hab da allerdings noch ein paar Verständnisschwierigkeiten:
> * wenn ich einen Kanal abonniere, wird er unabhängig vom active-property in 
> der DB mit inaktiver Checkbox angezeigt

Abo = aus der Public Liste auswählen? Dann wäre das falsch, kann mir aber schon 
vorstellen warum, lässt sich beheben (Entity steht in der Public Liste mit 
“active=false” und wird wieder verwendet. Denke da müsste ein “clone” rein).

> * wenn ich die Seite dann neu lade, erhalten die abonnierten Kanäle aber 
> wieder den active-state aus der DB

Das wäre auch falsch. Wenn irgendwas dann sollten sie den active state aus dem 
Cookie bekommen. Active hat in der DB nix zu suchen.

> * im Frontend gibt es jetzt keine Möglichkeit mehr, den active-state in der 
> DB zu ändern

Doch- checkbox anklicken? Damit solle auch klar getrennt sein was in der DB 
gespeichert wird und was es nur im UI gibt.

> * den aktuellen Checkbox-Zustand per Cookie zu speichern, ist mir noch nie 
> gelungen - der Button "Einstellungen speichern" hat bei mir auf die 
> angezeigten Kanäle keinen Einfluss

Das sollte egtl (tm) schon beim setzen/löschen des Häkchens in der Tabelle 
passieren- speichern musst Du da nichts.

> 
> Grüße
> Frank
> 
> Am 22. Januar 2017 um 21:52 schrieb Andre Bernemann 
> mailto:andre.bernem...@gmail.com>>:
> Müssen wir evtl. noch dafür sorgen, dass "active" bei den Usern aus der DB 
> verschwindet wenn es über die Serialisierung schon reingekommen ist?

Könnten wir, da es jetzt überall ignoriert wird und auch nicht mehr neu rein 
kommen sollte ists aber auch nicht wichtig. Bisher sind wir immer ohne 
DB-Migrationsskript ausgekommen…

> 
> Gruß
> André

Ich mache nochmal einen PR, was dann noch falsch ist bitte direkt im PR 
kommentieren, hier wird das zu unübersichtlich.

Viele Grüße, Andreas

> 
> 
> 
> Andreas Götz mailto:cpui...@gmail.com>> schrieb am So., 
> 22. Jan. 2017 um 20:28 Uhr:
> Perfekt, ist drin.
> 
> Viele Grüße, Andreas 
> 
> Am 22.01.2017 um 19:41 schrieb Andre Bernemann  <mailto:andre.bernem...@gmail.com>>:
> 
>> Hi Andreas,
>> 
>> sieht gut aus, klappt wie erwartet. War es am Ende doch das active Flag. In 
>> der DB ergibt das wenig Sinn - sehe ich auch so. 
>> 
>> Danke für den Support!
>> 
>> Gruß
>> André 
>> Andreas Goetz mailto:cpui...@gmail.com>> schrieb am Mi. 
>> 18. Jan. 2017 um 18:57:
>> Hall Andre,
>> 
>> hier ist der vollständige Fix: 
>> https://github.com/volkszaehler/volkszaehler.org/pull/560 
>> <https://github.com/volkszaehler/volkszaehler.org/pull/560>
>> 
>> Damit wird active nicht mehr gespeichert, gespeichertes active ignoriert und 
>> beim landen der “public” channels active explizit auf false gesetzt damit 
>> keine Subscription erzeugt wird. 
>> 
>> Aus meiner Sicht ist das das Wunschverhalten: active speichern ist unsinnig 
>> da ich ja auf verschiedenen Geräten unterschiedliche Stände haben könnte- 
>> genau dafür sind die Cookies da.
>> 
>> Bitte um Test und Freigabe in Github- da etwas frickelig sollten da 4 Augen 
>> draufschauen.
>> 
>> Vielen Dank, Andreas
>> 
>> 
>>> On 18 Jan 2017, at 09:53, Andreas Goetz >> <mailto:cpui...@gmail.com>> wrote:
>>> 
>>> Hi Andre,
>>> 
>>> ich habe auch den Root Cause gefunden. Durch die Optimierung des UIs wird 
>>> "active" plötzlich bei Serialisierung der Properties mit einbezogen- 
>>> ziemlich unerwartet für den armen Programmierer :O
>>> 
>>> Das baue ich aus und dann sehen wir weiter...
>>> 
>>> vg
>>> Andreas
>>> 
>>> 
>>> 2017-01-17 22:03 GMT+01:00 Andreas Goetz >> <mailto:cpui...@gmail.com>>:
>>> Probiers- wir brauchen aber keinen zweiten Workaround wenn das unten 
>>> funktioniert? Die Entity kanns halt mehrmals geben- eine ganze Liste dienst 
>>> nur der Dropdownbox im “Add Channel” Dialog.
>>> 
>>> Wenn Du Zeit hast könntest Du nochmal testen was passiert wenn die gleiche 
>>> Entity mehrmals in der Tabelle ist, z.B. einzeln als auch in einer Gruppe. 
>>> Der Übersichtichkeit halber mach mir auch gerne ein Issue auf, wird dann 
>>> gefixt…
>>> 
>>> Viele Grüße, An

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Hi Frank,

2017-01-23 11:29 GMT+01:00 Frank Richter :

> Moin Andreas,
>
> Am 23. Januar 2017 um 09:29 schrieb Andreas Goetz :
>
>> Hallo Zusammen,
>>
>> leider ist das Thema etwas kniffelig da das FE in dem Bereich einiges an
>> nciht ganz offensichtlichem Verhalten hat. Tatsächlich war der Fehler schon
>> immer da, konnte sich aber nicht manifestieren da die Public Entities erst
>> “lazy”, jetzt aber schon zum Start geladen werden.
>>
>> Bekommen wir aber hin.
>>
>> On 23 Jan 2017, at 00:24, Frank Richter 
>> wrote:
>> ...
>> Ich hab da allerdings noch ein paar Verständnisschwierigkeiten:
>> * wenn ich einen Kanal abonniere, wird er unabhängig vom active-property
>> in der DB mit inaktiver Checkbox angezeigt
>>
>>
>> Abo = aus der Public Liste auswählen? Dann wäre das falsch, kann mir aber
>> schon vorstellen warum, lässt sich beheben (Entity steht in der Public
>> Liste mit “active=false” und wird wieder verwendet. Denke da müsste ein
>> “clone” rein).
>>
>
Bitte mal wui.js so anpassen, dann sollte das abonnieren wieder tun:

$('#entity-public input[type=button]').click(function() {
// clone entity from data attribute
var entity = $.extend({}, $('#entity-public-entity
option:selected').data('entity'));
try {
entity.cookie =
Boolean($('#entity-public-cookie').prop('checked'));
delete entity.active;
vz.wui.addEntity(entity);
}
catch (e) {
vz.wui.dialogs.exception(e);
}
finally {
$('#entity-add').dialog('close');
}
});


>
>
> Genau, Abo aus der Public Liste. Alle dort abonnierten Kanäle sind nun per
> default erstmal inaktiv (kein Häkchen). Getestet mit neu geöffnetem Chrome
> Inkognito-Fenster, sollte also ohne Cookie-Altlasten sein.
>

s.o.


>
>
> * wenn ich die Seite dann neu lade, erhalten die abonnierten Kanäle aber
>> wieder den active-state aus der DB
>>
>>
>> Das wäre auch falsch. Wenn irgendwas dann sollten sie den active state
>> aus dem Cookie bekommen. Active hat in der DB nix zu suchen.
>>
>
>
> Bei mir haben alle Kanäle ein active property in der DB, und das ist schon
> seit Sommer 2015 so, als ich sie erstellt habe.
> Ich kann die Zeilen gern auch manuell löschen und schauen was dann
> passiert, aber wenn ich es richtig verstehe suchst du ja eine Lösung die
> die DB ignoriert.
>
> * im Frontend gibt es jetzt keine Möglichkeit mehr, den active-state in
>> der DB zu ändern
>>
>>
>> Doch- checkbox anklicken? Damit solle auch klar getrennt sein was in der
>> DB gespeichert wird und was es nur im UI gibt.
>>
>
>
> Bisher konnte ich das Anzeigeverhalten der Kanäle zumindest steuern, indem
> ich in den Kanaleigenschaften "Aktiv" gesetzt habe oder eben nicht. Das
> geht jetzt nicht mehr, mein Frontend hält sich aber trotzdem noch an die
> aktuell gesetzte Einstellung.
>
>
> * den aktuellen Checkbox-Zustand per Cookie zu speichern, ist mir noch nie
>> gelungen - der Button "Einstellungen speichern" hat bei mir auf die
>> angezeigten Kanäle keinen Einfluss
>>
>>
>> Das sollte egtl (tm) schon beim setzen/löschen des Häkchens in der
>> Tabelle passieren- speichern musst Du da nichts.
>>
>
>
> Kann ich dem Cookie ansehen, ob der Zustand gespeichert wird? Im aktuellen
> Zustand wird es zumindest beim Laden nicht berücksichtigt.
>

Das ist tatsächlich das erwartete Verhalten laut Code: das active Flag wird
nicht gespeichert und überlebt damit nicht die Browser Session. Wenns da
einen Änderungswunsch gibt bitte Issue aufmachen.


>
> Grüße
> Frank
>

vg
Andreas

Re: [vz-users] vzlogger an zweite middleware

[Andreas Goetz]

Servus,

2017-01-26 16:43 GMT+01:00 Frank Richter :

> Hi Andreas,
>
> Am 26. Januar 2017 um 10:47 schrieb Andreas Goetz :
>
>> Hi Frank,
>>
>> 2017-01-23 11:29 GMT+01:00 Frank Richter :
>>
>>> Moin Andreas,
>>>
>>> Am 23. Januar 2017 um 09:29 schrieb Andreas Goetz :
>>>
>>>> Hallo Zusammen,
>>>> ...
>>>>
>>>
>> Bitte mal wui.js so anpassen, dann sollte das abonnieren wieder tun:
>>
>> $('#entity-public input[type=button]').click(function() {
>> // clone entity from data attribute
>> var entity = $.extend({}, $('#entity-public-entity
>> option:selected').data('entity'));
>> try {
>> entity.cookie = Boolean($('#entity-public-cook
>> ie').prop('checked'));
>> delete entity.active;
>> vz.wui.addEntity(entity);
>> }
>> catch (e) {
>> vz.wui.dialogs.exception(e);
>> }
>> finally {
>> $('#entity-add').dialog('close');
>> }
>> });
>>
>
> Hab den Block ausgetauscht, Verhalten ist aber unverändert (neu
> abonnierter Kanal ist nicht aktiv).
>

Echt?! Mist, ich schaus an. Issue als Reminder?


>
>
>>
>>>
>>> Das ist tatsächlich das erwartete Verhalten laut Code: das active Flag
>>> wird nicht gespeichert und überlebt damit nicht die Browser Session. Wenns
>>> da einen Änderungswunsch gibt bitte Issue aufmachen.
>>>
>>>
>>> ...
>>>
>>
> Finde ich nicht so schön: Bisher habe ich auf allen Geräten alle Kanäle
> abonniert, aber nur eine kleine Auswahl auf aktiv gesetzt (wegen
> Performance und Übersichtlichkeit). Wenn ein persistentes active flag jetzt
> ersatzlos wegfällt, werden bei jedem Reload des Frontends erstmal alle
> Kanäle geladen, was erstens dauert und zweitens einen kaum lesbaren Chart
> erzeugt.
>

Da fällt nix weg, das gabs noch nie bzw. nur durch Versehen- sollte das
anders sein bräuchte ich einen alten Commit > 2 Monate bei dem das schonmal
ging.


> Dann muss ich erst alles abwählen, was ich gerade nicht sehen will.
> Alternative wäre dann nur, seltener genutzte Kanäle nur nah Bedarf zu
> abonnieren, aber das kommt mir jetzt nicht wie ein Fortschritt vor.
> Besonders unpraktisch für Leute, die zum abbonieren die UUID brauchen
> (private Kanäle, z.B. Nutzer von demo).
>

Ich hab dafür einfach unterschiedliche Gruppen mti den gelichen Kanälen.
Performance ist dank persistenter Middleware (ppm) eh kein Problem mehr.


> Gegen Speicherung des active flags im Cookie hätte ich nichts einzuwenden,
> das würde auch auf verschiedenen Clients verschiedene default-Ansichten
> ermöglichen.
> Ein issue dafür kann ich gerne aufmachen, wenn ich die ganze Sache nicht
> immer noch missverstanden haben sollte...
>

Ja bitte, ich finde den Request super sinnvoll. Wenns das früher schonmal
gab würde ich allerdigns lieber reparieren als neu zu bauen.


> Viele Grüße
>
> Andreas

[vz-users] API Idee: Kanäle über Namen aufrufen?

[Andreas Goetz]

Moin,

heute müssen wir immer in jedem Skript, vzlogger.confg etc. mit UUIDs hantieren 
/data/.json. Das ist eigentlich ziemlich unpraktisch, hat aber auch- 
Stichwort private Kanäle- einen Sicherheitsaspekt.

Was haltet ihr davon wenn wir- zumindest für öffentliche Kanäle- auch den Namen 
als Identifiert zuließen? Ich stelle mir also vor dass alle relevanten Kontexte 
(group, entity, channel, data) statt UUID auch den Titel akzeptieren und den 
(öffentlichen) Kanal via Lookup finden.

Wie findet ihr die Idee? 

Viele Grüße, Andreas

PS.: Wer seine Kanäle umbenennt hätte natürlich Pech und ebenfalls nicht 
gefunden würden Kanäle dir selbst privat sind, aber in öffentlichen Gruppen 
hängen.

Re: [vz-users] API Idee: Kanäle über Namen aufrufen?

[Andreas Goetz]

Moin,

2017-02-01 12:09 GMT+01:00 Daniel Lauckner :

> Hallo Andreas,
>
>
> am Mittwoch, 1. Februar 2017 um 09:37 hast du geschrieben:
> > Was haltet ihr davon wenn wir- zumindest für öffentliche Kanäle-
> > auch den Namen als Identifiert zuließen?
>
> Müsste man, bei Vergabe und Umbenennung, dann nicht auch auf doppelte
> Namen prüfen?
>

Das ist mir auch aufgefallen. Man könnte auf Prüfung verzichten und
doppelte Kanalnamen weiterhin erlauben (fände ich gut), müsste dann bei
Benutzung aber sicherstellen dass es zu dem Zeitpunkt jeweils nur einen
öffentlichen Kanal mit entsprechendem Namen gibt?


>
>
> mfg Daniel
>
> vg
Andreas

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Moin

> On 9 Feb 2017, at 01:41, china2...@abwesend.de wrote:
> 
> 
>> Und mal interessehalber: wie groß ist deine DB mittlerweile, wenn du 
>> keinerlei vzlogger-Aggregation benutzt?
> sudo ls -l /var/lib/mysql/  =  3693 MByte  ibdata1
> 
>> Archivierst du alles oder dünnst du später aus?
> Alles! Erst wenn 365 Tage komplett sind gibts eine neue Datenbank
> Aber ich hab so meine Zweifel, dass das klappt. Man muss zu oft Hand anlegen.
> Meine beiden PV-Überwachungen laufen seit 5 Jahren noch mit der ersten 
> Speicherkarte ohne Probleme.

Warum auch immer Du für pv Sekundenwerte brauchst.

> ...
> 
>> Hab das nachgeprüft: laut entities.js verwendet das Frontend nur group=day 
>> und group=hour. Wenn du minute auch nicht manuell verwendest, bringt es 
>> keinen Vorteil.
> Danke, also noch ein Grund das aggregate.php zu überarbeiten und "Minute" 
> entsorgen.

Mit aggregate ist alles in Ordnung- benutz es halt einfach nicht mit Minuten!

> Letztlich war aggregate.php der Grund des ganzen Übels, dass es mit großen 
> Datenmengen nicht zurechtkommt.

Häh? Womit kommt das nicht zurecht?

> Es war ja leider nur ein gut gemeinter Rat, der aufgedeckt hat, dass 
> aggregate nun gar nicht mehr will.

Irgendwie gefällt mir der Ton nicht.

Deinen originären Fehler haben wir nie diagnostiziert weil Du bis heute die 
Rohdaten nicht gepostet hast. Stattdessen kam die Holzhammermethode zum Einsatz.

Ich würde sagen Du hast dabei die DB zerschossen indem Du gleichzeitig versucht 
hast a) alles aus aggregate zu löschen und b) die Tabelle je Minute komplett 
wieder neu aufzubauen. Irgendwann gabs out of memory und Korruption.

Anwenderfehler!

Jetzt gilt es:

- tabelle mittels drop entsorgen
- tabelle mittels misc/tools/doctrine orm:schema-tool:update neu aufbauen
- währenddessen crontab lahm lagen
- aggregate von hand mittels misc/tools/aggregate neu aufbauen
- crontab ohne Minuten wieder in Betrieb nehmen
- und dann abwarten

> 
> Viele Grüße
> Saftwerk

Viele Grüße, Andreas

PS.: fixen kann ich nix weil ssh nicht antwortet...

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Hi,

2017-02-09 13:23 GMT+01:00 :

> Hallo Andreas,
>
> also ich komm von unterwegs mit putty drauf. Vermutlich hast du Port 22
> verwendet. Ich hatte geschrieben der Port ist 
>

Ok- wer lesen kann :/


>  - in cron sind die Zeilen mit aggregate seit gestern lahmgelegt.
>  - Tabelle ist bereits komplett leer, wurde mit "aggregate clear"
> erfolgreich gelöscht.
>  - trotzdem steigt "aggrgate day mit einer einzigen UUID" nach spätestens
> 15 minuten mit Error aus.
>
> Re: Häh? Womit kommt das nicht zurecht?
> ok, ein "aggrgate day mit dem Channel Auto" funktioniert, weil da kaum
> Daten drin sind.
> Die anderen Channels haben bestimmt 100.000-fach mehr Daten und damit
> macht aggrgate immer Error (wenn die Tabelle leer ist)
>

Der Fehler den Du angegeben hast lautet... General error: 126 Incorrect key
file for table '/tmp/#sql_423_1.MYI'; try to repair it

Also ggf. kaputte Datenbank. Müssen wir neu testen wenn die Tabelle mal
platt gemacht ist.


>
> Re: Du hast dabei die DB zerschossen...
> Na ich hoffe nicht, denn aggrgate day mit dem Channel Auto funktioniert ja
> noch oder es liegt daran, dass dieser Channelvom Typ "S0-Impulse" ist.
>

Also ich weiss nicht an welcher Stelle die Tabelle kaputt ist- da ist alles
möglich. Ich hab die Tabelle jetzt gekillt und neu erzeugt, derzeit läuft
aggregate.

Prinzipiell halte ich das Setup für Mist- in my.cnf steht /tmp als temp
Ordner, das ist bei Dir ein 30MB Block. Auf dem rödelt jetzt eine 3,5GB
Datenbank rum. DAS MUSS FRÜHER ODER SPÄTER CRASHEN!!!

Immer wieder werde ich gefragt warum die 2-Sekundenaufzeichnung: Weil ich
> nur so an vernünftige Gradientenwerte herankomme. Minuten sind eine ganze
> Größenordnung zu langsam.
> Also, Das Systen ist noch online - habs gerade gestetet und aggregate ist
> aktuell leer (truncate)
>

Neuaufbau aggregate läuft. Wenn das wieder crasht muss der /tmp Ordner
geändert werden.


> Viele Grüße
> Saftwerk
>

vg
Andreas


>
> *Gesendet:* Donnerstag, 09. Februar 2017 um 09:11 Uhr
> *Von:* "Andreas Goetz" 
> *An:* "volkszaehler.org - users"  >
> *Betreff:* Re: [vz-users] falschen Messwert in der Aggregation löschen
> Moin
>
> > On 9 Feb 2017, at 01:41, china2...@abwesend.de wrote:
> >
> >
> >> Und mal interessehalber: wie groß ist deine DB mittlerweile, wenn du
> keinerlei vzlogger-Aggregation benutzt?
> > sudo ls -l /var/lib/mysql/ = 3693 MByte ibdata1
> >
> >> Archivierst du alles oder dünnst du später aus?
> > Alles! Erst wenn 365 Tage komplett sind gibts eine neue Datenbank
> > Aber ich hab so meine Zweifel, dass das klappt. Man muss zu oft Hand
> anlegen.
> > Meine beiden PV-Überwachungen laufen seit 5 Jahren noch mit der ersten
> Speicherkarte ohne Probleme.
>
> Warum auch immer Du für pv Sekundenwerte brauchst.
>
> > ...
> >
> >> Hab das nachgeprüft: laut entities.js verwendet das Frontend nur
> group=day und group=hour. Wenn du minute auch nicht manuell verwendest,
> bringt es keinen Vorteil.
> > Danke, also noch ein Grund das aggregate.php zu überarbeiten und
> "Minute" entsorgen.
>
> Mit aggregate ist alles in Ordnung- benutz es halt einfach nicht mit
> Minuten!
>
> > Letztlich war aggregate.php der Grund des ganzen Übels, dass es mit
> großen Datenmengen nicht zurechtkommt.
>
> Häh? Womit kommt das nicht zurecht?
>
> > Es war ja leider nur ein gut gemeinter Rat, der aufgedeckt hat, dass
> aggregate nun gar nicht mehr will.
>
> Irgendwie gefällt mir der Ton nicht.
>
> Deinen originären Fehler haben wir nie diagnostiziert weil Du bis heute
> die Rohdaten nicht gepostet hast. Stattdessen kam die Holzhammermethode zum
> Einsatz.
>
> Ich würde sagen Du hast dabei die DB zerschossen indem Du gleichzeitig
> versucht hast a) alles aus aggregate zu löschen und b) die Tabelle je
> Minute komplett wieder neu aufzubauen. Irgendwann gabs out of memory und
> Korruption.
>
> Anwenderfehler!
>
> Jetzt gilt es:
>
> - tabelle mittels drop entsorgen
> - tabelle mittels misc/tools/doctrine orm:schema-tool:update neu aufbauen
> - währenddessen crontab lahm lagen
> - aggregate von hand mittels misc/tools/aggregate neu aufbauen
> - crontab ohne Minuten wieder in Betrieb nehmen
> - und dann abwarten
>
> >
> > Viele Grüße
> > Saftwerk
>
> Viele Grüße, Andreas
>
> PS.: fixen kann ich nix weil ssh nicht antwortet...
>
>
>
>

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

2017-02-09 13:51 GMT+01:00 Andreas Goetz :

> Hi,
>
> 2017-02-09 13:23 GMT+01:00 :
>
>> Hallo Andreas,
>> ...
>>
>>
>
>> Re: Du hast dabei die DB zerschossen...
>> Na ich hoffe nicht, denn aggrgate day mit dem Channel Auto funktioniert
>> ja noch oder es liegt daran, dass dieser Channelvom Typ "S0-Impulse" ist.
>>
>
> Also ich weiss nicht an welcher Stelle die Tabelle kaputt ist- da ist
> alles möglich. Ich hab die Tabelle jetzt gekillt und neu erzeugt, derzeit
> läuft aggregate.
>
> Prinzipiell halte ich das Setup für Mist- in my.cnf steht /tmp als temp
> Ordner, das ist bei Dir ein 30MB Block. Auf dem rödelt jetzt eine 3,5GB
> Datenbank rum. DAS MUSS FRÜHER ODER SPÄTER CRASHEN!!!
>
> Immer wieder werde ich gefragt warum die 2-Sekundenaufzeichnung: Weil ich
>> nur so an vernünftige Gradientenwerte herankomme. Minuten sind eine ganze
>> Größenordnung zu langsam.
>> Also, Das Systen ist noch online - habs gerade gestetet und aggregate ist
>> aktuell leer (truncate)
>>
>
> Neuaufbau aggregate läuft. Wenn das wieder crasht muss der /tmp Ordner
> geändert werden.
>

... und es crasht wieder. Ordner auf /var/tmp verbogen- jetzt stehen da
beim Lauf über Tage mit delta schonmal Tempdateien mit ca. 300MB drin.

Long story short: /tmp ist der falsche Ordner für mysql wenn größere
Datenmengen bewegt werden.


>
>
>> Viele Grüße
>> Saftwerk
>>
>
> vg
> Andreas
>
>
>>
>> *Gesendet:* Donnerstag, 09. Februar 2017 um 09:11 Uhr
>> *Von:* "Andreas Goetz" 
>> *An:* "volkszaehler.org - users" > zaehler.org>
>> *Betreff:* Re: [vz-users] falschen Messwert in der Aggregation löschen
>> Moin
>>
>> > On 9 Feb 2017, at 01:41, china2...@abwesend.de wrote:
>> >
>> >
>> >> Und mal interessehalber: wie groß ist deine DB mittlerweile, wenn du
>> keinerlei vzlogger-Aggregation benutzt?
>> > sudo ls -l /var/lib/mysql/ = 3693 MByte ibdata1
>> >
>> >> Archivierst du alles oder dünnst du später aus?
>> > Alles! Erst wenn 365 Tage komplett sind gibts eine neue Datenbank
>> > Aber ich hab so meine Zweifel, dass das klappt. Man muss zu oft Hand
>> anlegen.
>> > Meine beiden PV-Überwachungen laufen seit 5 Jahren noch mit der ersten
>> Speicherkarte ohne Probleme.
>>
>> Warum auch immer Du für pv Sekundenwerte brauchst.
>>
>> > ...
>> >
>> >> Hab das nachgeprüft: laut entities.js verwendet das Frontend nur
>> group=day und group=hour. Wenn du minute auch nicht manuell verwendest,
>> bringt es keinen Vorteil.
>> > Danke, also noch ein Grund das aggregate.php zu überarbeiten und
>> "Minute" entsorgen.
>>
>> Mit aggregate ist alles in Ordnung- benutz es halt einfach nicht mit
>> Minuten!
>>
>> > Letztlich war aggregate.php der Grund des ganzen Übels, dass es mit
>> großen Datenmengen nicht zurechtkommt.
>>
>> Häh? Womit kommt das nicht zurecht?
>>
>> > Es war ja leider nur ein gut gemeinter Rat, der aufgedeckt hat, dass
>> aggregate nun gar nicht mehr will.
>>
>> Irgendwie gefällt mir der Ton nicht.
>>
>> Deinen originären Fehler haben wir nie diagnostiziert weil Du bis heute
>> die Rohdaten nicht gepostet hast. Stattdessen kam die Holzhammermethode zum
>> Einsatz.
>>
>> Ich würde sagen Du hast dabei die DB zerschossen indem Du gleichzeitig
>> versucht hast a) alles aus aggregate zu löschen und b) die Tabelle je
>> Minute komplett wieder neu aufzubauen. Irgendwann gabs out of memory und
>> Korruption.
>>
>> Anwenderfehler!
>>
>> Jetzt gilt es:
>>
>> - tabelle mittels drop entsorgen
>> - tabelle mittels misc/tools/doctrine orm:schema-tool:update neu aufbauen
>> - währenddessen crontab lahm lagen
>> - aggregate von hand mittels misc/tools/aggregate neu aufbauen
>> - crontab ohne Minuten wieder in Betrieb nehmen
>> - und dann abwarten
>>
>> >
>> > Viele Grüße
>> > Saftwerk
>>
>> Viele Grüße, Andreas
>>
>> PS.: fixen kann ich nix weil ssh nicht antwortet...
>>
>>
>>
>>
>
>

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Moin

2017-02-10 0:12 GMT+01:00 Frank Richter :

> Am 09.02.2017 22:49 schrieb :
>
> Würde mich auch interessieren. Was machst Du mit den Gradienten- Power
> Disaggregation oder etwas in der Art?
>
> Nun, einfach ausgedrückt, soll ein mathematisches System lernen, in wie
> viele einzeln erkannte Verbraucher man die Messwerte aufsplitten kann. Über
> deren Häufigkeitsverteilung sollen später auch Prognosen (=Gewohnheiten)
> ermittelt werden, mit denen dann ein besseres Energie~ und Netz~ und
> Speichermanagement erreicht werden soll. Downside ist dann sicher auch die
> totale Überwachung. Aber man wird auch ermitteln, wie unscharf man die
> Daten machen muss, damit die Verbraucher anonym bleiben. Wenn man die PV
> nun nicht hochgenau aufzeichnen würde, dann könnte man nur die Nacht-Daten
> verwenden. Darum.
>
> Daher ein dickes Lob für den Volkszähler, gerade weil er so viel
> aufzeichnen kann, ohne dass die Daten nach draußen gehen. Mehr soll ich
> nicht sagen.  ;-)
>
>
Super interessanter Anwendungsfall. Kannst Du mehr adzu erzählen? Gibts
evtl. Code den man sich anschauen könnte? Soweit ich mich erinnere hatte
sich Matthias auch dafür interessiert.


> OK, damit kann man doch zumindest mal die Beweggründe verstehen. Sammelst
> du mit dem Pi nur die Datenbasis, die später weiterverarbeitet wird, oder
> läuft der Algorithmus auch dort? Wenn er dort mitläuft, könntest du dich
> wirklich an den Push-Server dran hängen und die Archivierung vermeiden.
> Generell sollte sowas (im Produktbetrieb) idealerweise im RAM passieren,
> denn den Verbraucher musst du dann ja gleich erkennen, und das Archiv
> sollte dann besser aus dem Nutzungsprofil der Geräte bestehen statt aus
> hochauflösenden Verbrauchsdaten, die dann niemand mehr braucht.
>
>
> Zur SD-Kartenproblematik kann ich nur sagen wer billig kauft, kauft 2x.
> Und die Highspeed Karten zerstören sich unter großer Hitze selbst.
>
>
Leider auch wer teuer kauft. Meine "gute" Highspeed Karte ist im Pi3 jetzt
trotz aller Maßnahmen nach 3 Monaten abgeraucht.


> Daher bleibe ich bei meiner Meinung, alle Temp und Logfiles haben auf der
> SD-Karte nichts verloren, damit sie nicht zu schnell an einer Stelle
> altern. Ausnahme: Errors, aber auch die könnte das System per Mail
> zusenden. Wer schaut schon Logfiles an, wenn er glaubt, das System laufe
> gut?
>
>
Die Meinung ist ja nicht verkehrt- es nutzt aber nix wenn die Anforderung
technisch nicht umsetzbar ist. und MySQL braucht nunmal Luft zum atmen.
Selbst das vzlogger Logfile auf /tmp würde ich in Abrede stellen- wenn der
Logger läuft sollte da bei passendem Loglevel ohnehin nichts mehr drin
stehen!


>
> ...
>
> RESET:
> Damit das nicht nochmal passiert, wie geht man nun optimal vor, um diese
> Peaks zu killen?
> Sie sind ja wohl in "data" und dann vererbt auch in "aggregate".
>
> ...
>

Wie schon 3mal angemerkt: erstmal die betroffene Stelle finden, Rohdaten
anschauen und dann überlegen was konkret zu run ist.


>
> Grüße
> Frank
>
>
> Besonders viele Grüße an Andreas
> Saftwerk
>
>
> Danke und zurück :)

vg
Andreas

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Hi Udo,

2017-02-10 9:19 GMT+01:00 Udo1 :

> Am 10.02.2017 um 08:49 schrieb Andreas Goetz:
>
>> Selbst das vzlogger Logfile auf /tmp würde ich in Abrede stellen
>>
>
> Zur Erinnerung: der liegt nur deshalb in /tmp und /tmp im RAM, weil
> /var/log/ ins RAM schieben nicht funktioniert hat.
>
> Warum liegt er im RAM ? Weil bei Zugriffen auf die SD-Karte, z.B. beim
> Schreiben von Log-Daten, sämtliche Interrupts gesperrt werden. Dadurch
> kommt es bei Impulsaufzeichnung zu hohen Peaks.
>

Das hab ich schon verstanden und die Lösung ist mit den diskutierten
Einschränkungen sicher valide. Andererseits sollte Schreiben des Logfiles
egtl. nur für Debugzwecke notwendig sein und ansonste würde ich da eher
Loglevel 1 o.ä. sehen was das Problem auch löst. Dauerhaften logging nach
tmpfs dass dann vielleicht auch voll läuft erscheint mir auch nicht optimal.

Für mysql haben wir damit ein Problem und root cause ist m.E. dass wir den
/tmp Ordner verbogen haben der eben auch von anderen Komponenten
standardmäßig genutzt wird.


> Gruß
> Udo
>

Ändert nix daran dass das Image immer noch die beste Lösung ist die wir
haben ;) Frank hat den Punkt ja für die weitere Diskussion in die Merkliste
aufgenommen: https://github.com/volkszaehler/volkszaehler.org/issues/555

vg
Andreas

Re: [vz-users] Middleware installieren ?

[Andreas Goetz]

Hallo Jan,

hast Du mal Google versucht?

vg


2017-02-13 15:01 GMT+01:00 jan Goe :

> Hallo,
>
> wollte heue middelware auf meinen bananapi installieren,
>
> erstes problem war php 5.6 war nur php 5.4 drauf, das konnte ich aber
> hinbekommen
>
> nun wollte ich middleware installieren, und kommt der fehler das
> php4-mysqlnd fehlt will ich es installieren kommt die meldung das es
> installiert ist, ich denke es ist für php 5.4 installiere hat von euch
> jemand eine ahnung wie ich es auf php 5.6 updaten kann ?
>
> mfg
> jan
>

[vz-users] ACHUNG: VZ KANN NICHT INSTALLIERT WERDEN!

[Andreas Goetz]

ACHTUNG: Bernd hat einen Fehler gefunden der es derzeit UNMÖGLICH macht die
Volkszaehler Middleware/Frontend zu installieren.

Seht also bitte davon ab, Updates per Composer zu installieren!

Sorry,
Andreas

-- Forwarded message --
From: Bernd Gewehr 
Date: 2017-02-16 17:19 GMT+01:00
Subject: Re: [volkszaehler/volkszaehler.org] Änderungen in
https://github.com/reactphp/http müssen eingearbeitet werden (#577)
To: "volkszaehler/volkszaehler.org" 
Cc: andig , Comment 


Ich habe das install.sh script benutzt und auf die Frage des neuen clones
Yes geantwortet.

Dann läuft das soweit, bis der composer die o. a. Fehlermeldung mit den
dependencies auswirft.

—
You are receiving this because you commented.
Reply to this email directly, view it on GitHub
,
or mute the thread

.

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Mein Raspi3 läuft jetzt mit USB Adapter und m.2 SSD komplett ohne SD Karte.
Performance:

pi@keller:~/volkszaehler.org $ sudo hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   1350 MB in  2.00 seconds = 674.42 MB/sec
 Timing buffered disk reads: 106 MB in  3.02 seconds =  35.06 MB/sec

Viele Grüße,
Andreas


2017-02-14 9:44 GMT+01:00 Andreas Götz :

> So isses. Eine 3GB Datenbank ist schon ganz ordentlich. Im Jahre 2011 wäre
> das für VZ noch unmöglich gewesen zu handeln- kein Aggregation, nur Raspi1.
> Klar lässt sich immer optimieren aber am Ende muss einfach die Plattform zu
> den Anforderungen passen. Bzgl. tmpfs ist hier eben ein Limit erreicht.
>
> Viele Grüße, Andreas
>
> Ps.: ich stelle meinen Pi3 jetzt mal auf Usb Boot via m.2 SSD um (ca 50€)
> und werde berichten...
>
> > Am 14.02.2017 um 09:10 schrieb Daniel Lauckner :
> >
> > Hallo,
> >
> >
> > am Dienstag, 14. Februar 2017 um 00:33 hast du geschrieben:
> >> Alles was man loggen will wird per Push ins Netz geschoben.
> >
> > Wir wollen die Kirche aber mal im Dorf lassen.
> >
> > Ein Log braucht man schließlich nur wenns nicht mehr rund läuft.
> > Wenn es dann nicht da liegt wo man es erwartet oder beim Transfer
> > verloren geht hat keiner was davon.
> >
> >> Das
> >> sagt einem dann, was an der Query so lang dauert
> >
> > Das dauert so lang weils scheiß viele Daten sind.
> >
> > Der Rpi ist eine kostengünstige Einsteigerlösung. Es ist absolut
> > vorhersehbar das User mit erhöhten Anforderungen damit nicht
> > glücklich werden. Aber deswegen ist VZ ja modular aufgebaut. Man
> > kann die Bestandteile problemlos voneinander getrennt betreiben,
> > auf Hardware die den Bedürfnissen gerecht wird.
> >
> >
> > mfg Daniel
> >
>

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

“cached” reads- die 2. Zeile ist interessant ;)

> On 17 Feb 2017, at 08:58, Matthias Behr  wrote:
> 
> 670mb/s geht mit USB2 nicht. Messfehler oder doch USB3?
> 
> 
>> Am 17.02.2017 um 08:39 schrieb Andreas Goetz > <mailto:cpui...@gmail.com>>:
>> 
>> Mein Raspi3 läuft jetzt mit USB Adapter und m.2 SSD komplett ohne SD Karte. 
>> Performance:
>> 
>> pi@keller:~/volkszaehler.org <http://volkszaehler.org/> $ sudo hdparm -tT 
>> /dev/sda
>> 
>> /dev/sda:
>>  Timing cached reads:   1350 MB in  2.00 seconds = 674.42 MB/sec
>>  Timing buffered disk reads: 106 MB in  3.02 seconds =  35.06 MB/sec
>> 
>> Viele Grüße, 
>> Andreas
>> 
>> 
>> 2017-02-14 9:44 GMT+01:00 Andreas Götz > <mailto:cpui...@gmail.com>>:
>> So isses. Eine 3GB Datenbank ist schon ganz ordentlich. Im Jahre 2011 wäre 
>> das für VZ noch unmöglich gewesen zu handeln- kein Aggregation, nur Raspi1. 
>> Klar lässt sich immer optimieren aber am Ende muss einfach die Plattform zu 
>> den Anforderungen passen. Bzgl. tmpfs ist hier eben ein Limit erreicht.
>> 
>> Viele Grüße, Andreas
>> 
>> Ps.: ich stelle meinen Pi3 jetzt mal auf Usb Boot via m.2 SSD um (ca 50€) 
>> und werde berichten...
>> 
>> > Am 14.02.2017 um 09:10 schrieb Daniel Lauckner > > <mailto:v...@jahp.de>>:
>> >
>> > Hallo,
>> >
>> >
>> > am Dienstag, 14. Februar 2017 um 00:33 hast du geschrieben:
>> >> Alles was man loggen will wird per Push ins Netz geschoben.
>> >
>> > Wir wollen die Kirche aber mal im Dorf lassen.
>> >
>> > Ein Log braucht man schließlich nur wenns nicht mehr rund läuft.
>> > Wenn es dann nicht da liegt wo man es erwartet oder beim Transfer
>> > verloren geht hat keiner was davon.
>> >
>> >> Das
>> >> sagt einem dann, was an der Query so lang dauert
>> >
>> > Das dauert so lang weils scheiß viele Daten sind.
>> >
>> > Der Rpi ist eine kostengünstige Einsteigerlösung. Es ist absolut
>> > vorhersehbar das User mit erhöhten Anforderungen damit nicht
>> > glücklich werden. Aber deswegen ist VZ ja modular aufgebaut. Man
>> > kann die Bestandteile problemlos voneinander getrennt betreiben,
>> > auf Hardware die den Bedürfnissen gerecht wird.
>> >
>> >
>> > mfg Daniel
>> >
>> 
> 
> Gruß
> 
> Matthias
> 

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Ich habe diese hier von Voelkner genommen:


Wie sieht denn bei Euch auf SD die Performance mittels hdparm aus?

Viele Grüße, Andreas


> On 17 Feb 2017, at 12:59, Frank Richter  wrote:
> 
> Hi Andreas,
> 
> welchen Adapter verwendest du? Ich habe auch mal Experimente mit Boot
> von M.2 SSD gemacht, das lief aber miserabel. Hab es damals auf
> Kompatibilitätsprobleme mit dem USB-SATA-Controller geschoben und
> nicht weiter verfolgt.
> 
> Viele Grüße
> Frank
> 
> Am 17. Februar 2017 um 08:39 schrieb Andreas Goetz :
>> Mein Raspi3 läuft jetzt mit USB Adapter und m.2 SSD komplett ohne SD Karte.
>> Performance:
>> 
>> pi@keller:~/volkszaehler.org $ sudo hdparm -tT /dev/sda
>> 
>> /dev/sda:
>> Timing cached reads:   1350 MB in  2.00 seconds = 674.42 MB/sec
>> Timing buffered disk reads: 106 MB in  3.02 seconds =  35.06 MB/sec
>> 
>> Viele Grüße,
>> Andreas
>> 
>> 
>> 2017-02-14 9:44 GMT+01:00 Andreas Götz :
>>> 
>>> So isses. Eine 3GB Datenbank ist schon ganz ordentlich. Im Jahre 2011 wäre
>>> das für VZ noch unmöglich gewesen zu handeln- kein Aggregation, nur Raspi1.
>>> Klar lässt sich immer optimieren aber am Ende muss einfach die Plattform zu
>>> den Anforderungen passen. Bzgl. tmpfs ist hier eben ein Limit erreicht.
>>> 
>>> Viele Grüße, Andreas
>>> 
>>> Ps.: ich stelle meinen Pi3 jetzt mal auf Usb Boot via m.2 SSD um (ca 50€)
>>> und werde berichten...
>>> 
>>>> Am 14.02.2017 um 09:10 schrieb Daniel Lauckner :
>>>> 
>>>> Hallo,
>>>> 
>>>> 
>>>> am Dienstag, 14. Februar 2017 um 00:33 hast du geschrieben:
>>>>> Alles was man loggen will wird per Push ins Netz geschoben.
>>>> 
>>>> Wir wollen die Kirche aber mal im Dorf lassen.
>>>> 
>>>> Ein Log braucht man schließlich nur wenns nicht mehr rund läuft.
>>>> Wenn es dann nicht da liegt wo man es erwartet oder beim Transfer
>>>> verloren geht hat keiner was davon.
>>>> 
>>>>> Das
>>>>> sagt einem dann, was an der Query so lang dauert
>>>> 
>>>> Das dauert so lang weils scheiß viele Daten sind.
>>>> 
>>>> Der Rpi ist eine kostengünstige Einsteigerlösung. Es ist absolut
>>>> vorhersehbar das User mit erhöhten Anforderungen damit nicht
>>>> glücklich werden. Aber deswegen ist VZ ja modular aufgebaut. Man
>>>> kann die Bestandteile problemlos voneinander getrennt betreiben,
>>>> auf Hardware die den Bedürfnissen gerecht wird.
>>>> 
>>>> 
>>>> mfg Daniel
>>>> 
>> 
>> 

Re: [vz-users] Hilfe bei einbinden einer Festplatte

[Andreas Goetz]

Ich bevorzuge die Originaldoku:

https://www.raspberrypi.org/documentation/hardware/raspberrypi/bootmodes/msd.md 


Viele Grüße, Andreas

> On 18 Feb 2017, at 16:19, Stefan Bauer  wrote:
> 
> Hallo Heiko.
> 
> Ich habe folgende Anleitung genommen:
> https://raspberry.tips/raspberrypi-tutorials/raspberry-pi-sd-karte-durch-usb-stick-ersetzen/
>  
> 
> Dabei wird von der SD-Karte praktisch geboten (von der Platte könnte eh nur 
> der PI3), aber alle Daten und Programme liegen auf der Platte
> 
> Stefan
> 
> Von meinem iPad gesendet
> 
> Am 18.02.2017 um 15:52 schrieb Heiko W.  >:
> 
>> Hallo 
>> 
>> da der Pi nun läuft (ich aber selbst schon erfahren habe das die SD Karten 
>> nicht so lange halten sollen) habe ich mir eine USB Festplatte geholt und 
>> wollte die nun anstelle der SD Karte nutzen.
>> 
>> 
>> was muss ich nun machen das die Platte als 'Datengrab' nutzen kann?
>> 
>> 
>> ich habe zwar die Anleitung schon mal angeschaut.
>> http://wiki.volkszaehler.org/howto/raspberry_pi_mit_externer_usb_festplatte_betreiben
>>  
>> 
>> finde aber das da einiges nicht 'stimmt' 
>> 
>> 
>> pi@raspberrypi:~ $ df -h
>> Filesystem  Size  Used Avail Use% Mounted on
>> /dev/root15G  1.6G   13G  11% /
>> devtmpfs214M 0  214M   0% /dev
>> tmpfs   218M 0  218M   0% /dev/shm
>> tmpfs   218M  4.5M  213M   3% /run
>> tmpfs   5.0M  4.0K  5.0M   1% /run/lock
>> tmpfs   218M 0  218M   0% /sys/fs/cgroup
>> tmpfs30M 0   30M   0% /tmp
>> /dev/mmcblk0p1   63M   21M   43M  33% /boot
>> 
>> ich finde bei mir kein rootfs?!
>> 
>> 
>> 
>> für die 1 zu 1 kopie habe ich nun den Befehl gefunden
>> sudo dd if=/dev/mmcblk0p2 of=/dev/sda1 bs=4M
>> 
>> ist dieser soweit richtig? 
>> 
>> 
>> 
>> und was hat es mit dem mounten aufsich?
>> 
>> und wie muss ich diese platte mounten? 
>> 
>> sudo mount /dev/sda1 /media/usb-platte
>> 
>> (ist der Pfad so richtig?)
>> 
>> 
>> 
>> was muss noch in die fstab rein?
>> 
>> 
>> proc/proc   procdefaults  0   0
>> /dev/mmcblk0p1  /boot   vfatdefaults  0   2
>> /dev/mmcblk0p2  /   ext4defaults,noatime  0   1
>> tmpfs /tmp tmpfs nodev,nosuid,mode=1777,size=30M 0 0
>> # a swapfile is not a swap partition, no line here
>> #   use  dphys-swapfile swap[on|off]  for that
>> 
>> 
>> ist dieser eintrag richtig ?
>> 
>> UUID=e8cde802-108f-4f24-b7cb-4810b4db46fe  /share  ext4  defaults  0  0
>> (ist nicht meine UUID, aber diese würde ich noch eintragen)
>> 
>> 
>> 
>> tut mir leid für die vielen Fragen, 
>> 
>> hoffe das mir jemand helfen könnte. 
>> 
>> Vielen dank schon mal im voraus.
>> 
>> 
>> 
>> 
>> Mit freundlichen Grüßen
>> Heiko W.
>> 
>> Diese E-Mail enthält möglicherweise vertrauliche und/oder rechtlich 
>> geschützte Informationen.
>> Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich 
>> erhalten haben,
>> informieren Sie bitte sofort den Absender und vernichten Sie diese E-Mail.
>> Das unerlaubte Kopieren sowie die unbefugte Weitergabe dieser E-Mail ist 
>> nicht gestattet.

Re: [vz-users] falschen Messwert in der Aggregation löschen

[Andreas Goetz]

Servus,

> On 18 Feb 2017, at 15:42, Christian Wulff  wrote:
> 
> An meinem RPi3 mit der Verbatim VX450 externe MSSD 128GB sieht das so aus:
>  
> sudo hdparm -tT /dev/sda
>  
> /dev/sda:
> Timing cached reads:   1298 MB in  2.00 seconds = 649.24 MB/sec
> Timing buffered disk reads: 102 MB in  3.03 seconds =  33.62 MB/sec

Die 30+x MB scheinen das Limit des USB2 zu sein über den beim Raspi3 (leider) 
immer noch alle Peripherals angeschlossen sind.

Das System läuft jedenfalls seit ein paar Tagen rund und kommt v.a. mit nur 
einer- allerdings 3A- Stromversorgung aus. Bisher keine weiteren externen 
Geräte angeschlossen.

Der Adapter ist _unter_ den Raspi geschraubt, der Zugang zu den GPIOs bleibt 
bei dieser Variante also erhalten.

Viele Grüße, Andreas


>  
> Lieben Gruß,
> Chris
>  
> Von: Frank Richter [mailto:frank.richte...@gmail.com 
> <mailto:frank.richte...@gmail.com>] 
> Gesendet: Samstag, 18. Februar 2017 02:06
> An: volkszaehler.org <http://volkszaehler.org/> - users
> Betreff: Re: [vz-users] falschen Messwert in der Aggregation löschen
>  
> Hi Andreas,
>  
> kannst du mal nachschauen was für ein USB-SATA-Controller auf der 
> Voelkner-Platine drauf ist?
> Die vorgesehene Montage mit Gewindebolzen sieht zwar robust aus, kostet aber 
> vermutlich die Kompatibilität mit üblichen Gehäusen und Udos Erweiterungen, 
> oder?
>  
> Zum Vergleich mal noch die Werte von einem Banana Pro mit SATA-SSD:
>  
> root@bananapi / # hdparm -tT /dev/sda
>  
> /dev/sda:
>  Timing cached reads:   832 MB in  2.00 seconds = 416.07 MB/sec
>  Timing buffered disk reads: 420 MB in  3.00 seconds = 139.96 MB/sec
> hdparm -tT /dev/sda  0,45s user 5,03s system 40% cpu 13,539 total
>  
> Grüße
> Frank
>  
> Am 17. Februar 2017 um 13:55 schrieb Andreas Goetz  <mailto:cpui...@gmail.com>>:
> Ich habe diese hier von Voelkner genommen:
>  
> 
> Wie sieht denn bei Euch auf SD die Performance mittels hdparm aus?
>  
> Viele Grüße, Andreas
>  
>  
>> On 17 Feb 2017, at 12:59, Frank Richter > <mailto:frank.richte...@gmail.com>> wrote:
>>  
>> Hi Andreas,
>> 
>> welchen Adapter verwendest du? Ich habe auch mal Experimente mit Boot
>> von M.2 SSD gemacht, das lief aber miserabel. Hab es damals auf
>> Kompatibilitätsprobleme mit dem USB-SATA-Controller geschoben und
>> nicht weiter verfolgt.
>> 
>> Viele Grüße
>> Frank
>> 
>> Am 17. Februar 2017 um 08:39 schrieb Andreas Goetz > <mailto:cpui...@gmail.com>>:
>> 
>> Mein Raspi3 läuft jetzt mit USB Adapter und m.2 SSD komplett ohne SD Karte.
>> Performance:
>> 
>> pi@keller:~/volkszaehler.org <http://volkszaehler.org/> $ sudo hdparm -tT 
>> /dev/sda
>> 
>> /dev/sda:
>> Timing cached reads:   1350 MB in  2.00 seconds = 674.42 MB/sec
>> Timing buffered disk reads: 106 MB in  3.02 seconds =  35.06 MB/sec
>> 
>> Viele Grüße,
>> Andreas
>> 
>> 
>> 2017-02-14 9:44 GMT+01:00 Andreas Götz > <mailto:cpui...@gmail.com>>:
>> 
>> 
>> So isses. Eine 3GB Datenbank ist schon ganz ordentlich. Im Jahre 2011 wäre
>> das für VZ noch unmöglich gewesen zu handeln- kein Aggregation, nur Raspi1.
>> Klar lässt sich immer optimieren aber am Ende muss einfach die Plattform zu
>> den Anforderungen passen. Bzgl. tmpfs ist hier eben ein Limit erreicht.
>> 
>> Viele Grüße, Andreas
>> 
>> Ps.: ich stelle meinen Pi3 jetzt mal auf Usb Boot via m.2 SSD um (ca 50€)
>> und werde berichten...
>> 
>> 
>> Am 14.02.2017 um 09:10 schrieb Daniel Lauckner > <mailto:v...@jahp.de>>:
>> 
>> Hallo,
>> 
>> 
>> am Dienstag, 14. Februar 2017 um 00:33 hast du geschrieben:
>> 
>> Alles was man loggen will wird per Push ins Netz geschoben.
>> 
>> Wir wollen die Kirche aber mal im Dorf lassen.
>> 
>> Ein Log braucht man schließlich nur wenns nicht mehr rund läuft.
>> Wenn es dann nicht da liegt wo man es erwartet oder beim Transfer
>> verloren geht hat keiner was davon.
>> 
>> 
>> Das
>> sagt einem dann, was an der Query so lang dauert
>> 
>> Das dauert so lang weils scheiß viele Daten sind.
>> 
>> Der Rpi ist eine kostengünstige Einsteigerlösung. Es ist absolut
>> vorhersehbar das User mit erhöhten Anforderungen damit nicht
>> glücklich werden. Aber deswegen ist VZ ja modular aufgebaut. Man
>> kann die Bestandteile problemlos voneinander getrennt betreiben,
>> auf Hardware die den Bedürfnissen gerecht wird.
>> 
>> 
>> mfg Daniel
>> 
>>  
>> 
> 
>  
>  

Re: [vz-users] Problem mit Kanal-Darstellung

[Andreas Goetz]

> On 19 Feb 2017, at 21:10, Torsten  wrote:
> 
> Hallo zusammen,
> 
> so - nun war es auch bei mir soweit - SD-Karte nach etwa 9Monaten defekt!
> 
> Habe mir jetzt ein neues Image auf ne´neue SD-Karte installiert + alle 
> weiteren Einstellungen vorgenommen.
> 
> Habe zwei Kanäle im Frontend angelegt(2xSO Elektr.Energie über Udos 
> gr.Erweiterung). Ein Kanal funktioniert einwandfrei - der andere lässt sich 
> nicht in den Graph einbinden, wodurch er auch nicht dargestellt wird.
> 
> Wenn ich den Hacken im Kanal-Titel setze(aktiv), so wird er nicht im Graph 
> eingeblendet. In den Kanal-Eigenschaften ist dieser Öffentlich eingestellt!

Bist Du sicher dass in dem Kanal überhaupt Daten sind? Falls nein kann auch nix 
angezeigt werden.

> 
> Ich habe den Kanal bereits neu angelegt, die vz-config des funktionierenden 
> Kanales in der Config übernommen, die S0-Anschlüsse zum Testen des Zählers 
> getauscht(i.O.) und PHP-myAdmin kontrolliert(DB für Kanal erstellt) - noch 
> eine Idee, was ich checken kann? 

Wie immer- wiki/howto/debug

> 
> MfG - torsten

Gruss,
Andreas

[vz-users] Frontend + Middleware in der Cloud mit Heroku

[Andreas Goetz]

Hallo Zusammen,

wer keine Lust mehr hat seine kostbaren Daten auf chronisch defekten SD Karten 
zu speichern oder sich um Backups zu bemühen dem kann ich empfehlen sich mal 
mit Heroku PaaS auseinander zu setzen.

Ich habe jetzt ca. 1 Stunde gebraucht um Volkzaehler auf Heroku zum laufen zu 
kriegen, allerdings bisher nur Frontend und Middleware noch ohne Pushserver und 
persistente Middleware.

Im “free tier” von Heroku liegen die Betriebskosten dafür bei null. Bei 
Interesse kann ich einen kleinen Patch bauen und das Ganze dokumentieren.

Viele Grüße,
Andreas

Re: [vz-users] Meldung: Network Error

[Andreas Goetz]

Moin,

> On 12 Mar 2017, at 10:31, News  wrote:
> 
> Sorry kann dir nicht ganz folgen. 

Dann nochmal, jetzt habe ich etwas mehr Zeit.

> 
> Hier meine Option.js
> 
> vz.options = {
>   language: 'de',
>   precision: 2,   // TODO 
> update from middleware capabilities?
>   maxPrecision: { // override 
> precision for certain units
>   '°C': 1
>   },
>   tuples: null,   // 
> automatically determined by plot size
>   refresh: true,  // update chart 
> if zoomed to current timestamp
>   interval: 24*60*60*1000,// 1 day default time interval to show
>   totalsInterval: 300,// update interval for total 
> consumption in s (only channels where initialconsumption > 0)
>   pushRedrawTimeout: 1000,// ms delay for collecting push updates 
> before redrawing
>   minTimeout: 2000,   // minimum 
> refresh time in ms
>   shortenLongTypes: false,// show shorter type names in table
>   middleware: [
>   {
>   title: 'Local (default)',
>   url: 'middleware.php'
>   // live: 8082   // 
> NOTE: live updates require
>   
> //- push-server running and
>   
> //- either apache proxy forwarding 
> configured according to
>   
> //  
> https://github.com/volkszaehler/volkszaehler.org/issues/382 
> 
>   
> //  - or push-server live update 
> port configured and accessible
>   }, {
>   title: 'Volkszaehler Demo',
>   url: '//demo.volkszaehler.org/middleware.php' 
> 
>   }

Hier ist der Fehler. Es muss heissen:

}, {
title: 'Volkszaehler Demo',
url: 'https://demo.volkszaehler.org/middleware.php'
}

Da fehlte also das https. Seitdem demo einen “harten” redirect von http auf 
https macht mag Safari/Chrome das mangels Konformität mit der CORS Policy nicht 
mehr. Soeben behoben.

Hat aber alles nix mit nicht ankommenden Daten zu tun. Wie Du die analysieren 
kannst ist im angegebenen Wikilink ebenfalls ganz gut erklärt.

Viele Grüße, Andreas

...
> };
> 
> 
> 
>> Am 12.03.2017 um 08:46 schrieb Andreas Götz > >:
>> 
>> Das reicht, schaue ich mit an. Fürs erste genügt es wenn Du demo aus der 
>> options.js entfernst, dann sollte der Fehler weg sein. 
>> 
>> Viele Grüße,
>> Andreas
>> 
>> Am 12.03.2017 um 08:34 schrieb News > >:
>> 
>>> Hi,
>>> 
>>> ich arbeite mit OSX. habe im Safari die „Fehlerkonsole einblenden“ 
>>> ausgewählt. Hoffe das ist gemeint
>>> 
>>> 
>>> 
 Am 12.03.2017 um 08:15 schrieb Andreas Götz >>> >:
 
 Entwicklerkonsole
>>> 
> 

[vz-users] Wiki defekt

[Andreas Goetz]

Hallo Justin,

das Wiki scheint mal wieder defekt zu sein- oder wir ahben die Umstellgung
immer noch nicht abgeschlossen.

Unter https://github.com/volkszaehler/volkszaehler.org ist der Link zur
Installation tot:

http://wiki.volkszaehler.org/software/middleware/installation

Wenn man sich dann manuell hierhin durchsucht:

http://wiki.volkszaehler.org/doku.php?id=howto:getstarted

stellt man ebenfalls fest dass viele der verlinkten Seiten nicht existieren.

Könntest Du nochmal reinschauen?

Vielen Dank,
Andreas

[vz-users] Performance Middleware

[Andreas Goetz]

Moin,

ich habe gestern abend einen Fix commit mit dem:

- die Performance Middleware wieder installierbar ist (Versionskonflikte 
aufgelöst)
- die Performance Middleware jetzt standardmäßig installiert wird

Die Middleware wird weiter aktiv indem sie gestartet wird:

  vendor/bin/ppm start -c etc/middleware.json

und entweder in die options.js eingetragen oder mittels .htaccess Rewrite Rule 
aktiviert wird.

Durch die Vereinfachung für die Raspis kann allerdings VZ nicht mehr unter 
Windows installiert werden da die ext_pcntl PHP Erweiterung nicht existiert.

Wer- nach clonen des GitHub Archives- VZ unter Windows installieren möchte muss 
die Bibliothek dann mittels composer ignorieren:

   composer install —ignore-platform-reqs

@Udo: für das neue Image fehlt daher nur noch ein Service für den Start der MW 
als auch die Aktivierung der auskommentierten Rewrite Rule. In 
misc/tools/README.md ist das Vorgehen dokumentiert.

Viele Grüße, Andreas

Re: [vz-users] Frontend: JavaScript Runtime Error

[Andreas Goetz]

Moin

2017-03-21 9:38 GMT+01:00 Malte Diers :

> Moin Liste,
>
> ich nutze seit Jahren VZ und habe DB und Frontend beim Webhoster liegen.
> Da das aktuell verwendete Frontend von 2014 ist, dachte ich, es wäre mal
> Zeit für ein Update.
>
> Dazu habe ich per "git clone" das Frontend von github heruntergeladen,
> getart, auf den Webspace gepackt und wieder ausgepackt in ein
> Parallelverzeichnis der bisherigen Installation. Schnell noch die alte
> conf-Datei aus dem etc-Verzeichnis rüber geholt und: Nix.
>

Verstehe ich nicht. Das Frontend hat keine Konfigurationsdatei.


>
> Ich bekomme zweimal einen JavaScript Runtime Error beim (automatischen)
> Aufruf des "Kanal hinzufügen" Dialogs:
>
> Uncaught TypeError: Cannot read property 'forEach' of undefined
> at Object.vz.wui.dialogs.init (wui.js:185)
>
> und:
>
> Uncaught TypeError: Cannot read property 'forEach' of undefined
> at Middleware. (middleware.js:49)
>
> Es sind (somit?) keine öffentlichen Kanäle verfügbar und es können auch
> keine angelegt werden, da die Kanal- bzw. Typ-Combobox jeweils leer sind.
>
> Any Ideas?
>

Läuft die Middleware auch auf dem Hoster? Wäre logisch wenn Du auch die
Datenbank da hast.

Dann bitte Installationsanleitung lesen, insbesondere Composer muss
ausgeführt werden. Wenn Du beim Hoster kein Root hast dann lokal und mit
kopieren.


>
> Danke im Voraus
> Malte
>

Re: [vz-users] Frontend: JavaScript Runtime Error

[Andreas Goetz]

Ich nochmal…

> On 21 Mar 2017, at 10:57, Daniel Lauckner  wrote:
> 
> Hallo Malte,
> 
> 
> am Dienstag, 21. März 2017 um 10:26 hast du geschrieben:
>> Ja. Ich denke, der Composer wird es sein. Hatte ich bei der letzten 
>> Installation auch so gemacht.

Ich habe die hässlichen Fehlermeldungen mal zum Anlass genommen das JSON 
Handling im Frontend zu verbessern und die Middleware- wenn nicht alles gut 
läuft- standardmäßig HTTP 500 antworten zu lassen. Allemal hübscher als ein 
hässlicher JS Fehler.

PR folgt…

> 
>> Werde ich in meiner VM wohl doch den ganzen Quatsch (php,
>> mysql,...) temporär installieren müssen.
> 
> Composer funktioniert auch unter Windows.
> https://getcomposer.org/doc/00-intro.md#installation-windows 
> 

Allerdings mit EInschränkungen. Bitte den —ignore-platform-reqs Parameter an 
die Installation anhängen sonst gehts unter Windows nicht weil eine Erweiterung 
für die High Performance Middleware fehlt.

> 
> Du brauchst halt php auf dem Rechner, dann kannst du composer
> installieren, ausführen und das "aufgefüllte" Projektverzeichnis zum
> Hoster übertragen.
> 
> 
> mfg Daniel
> 
Viele Grüße, Andreas

Re: [vz-users] Offtopic: Heizung Vor- und Rüklauftemperaturen

[Andreas Goetz]

Moin,

> On 28. Mar 2017, at 13:44, Daniel Lauckner  wrote:
> 
> Hallo Michael,
> 
> 
> am Dienstag, 28. März 2017 um 12:51 hast du geschrieben:
>> Ich bin auch der Meinung, dass
>> es stimmt, weil man den Anstiegt und das deltaT sieht, sobald die
>> Heizung Gas verbraucht.
> 
> Könnte sein.

Das würde aber trotzdem- da RL > VL heissen, dass die Heizung Energie aus der 
Umgebung aufnimmt.  Erscheint mir physikalisch wenig sinnvoll???

> ...
> 
> Eine andere Möglichkeit wäre noch das Wasser von der ST in den
> Heizkreis drückt. Dann sind wir aber schon beim Thema
> Hydraulikfehler...
> 
> 
> mfg Daniel
> 

Viele Grüße, Andreas

Re: [vz-users] Offtopic: Heizung Vor- und Rüklauftemperaturen

[Andreas Goetz]

Servus,

> On 28. Mar 2017, at 12:51, Koch, Michael  wrote:
> 
> Hallo,
> 
> hallo Andreas,
> ...
> 
> Zur Situation: Ich habe letztes Jahr ein KfW70 Haus mit Brennwertheizung und 
> FBH gebaut. Die Heizung ist eine Vaillant VSC S 206/4-5 190E mit 190 Liter 
> Warmwasserspeicher, sowie solarer Warmwasserzubereitung.
> 
> Leider finde ich keine ordentliche Dokumentation im Internet - ohne das ich 
> in der "Fachhandwerkerebene" etwas aus unwissenheit verstelle.
> 
> 
Hast Du die Installateurshandbücher? Falls nein könnte ich die evtl. besorgen.
> Es ist fast unmöglich hier eine gute Doku zufinden um Herr über seine eigene 
> Heizung zu werden!
> 
> 
Absolut. Da meine nicht lief habe ich sie ans Monitoring angeschlossen und die 
Fehler dann selber ausgemerzt...
> Außerdem habe ich noch eine Frage: Die Heizung besitzt einen sog. eBus - 
> kennt sich jemand damit aus? Ist wohl ein "serieller 2-Draht Bus" mit 2400 
> Baud.
> 
> 
Definiere “auskennen”. Ich habe vor einiger Zeit mal über ebus geschrieben, 
einfach SuFu benutzen. Ansonsten findest Du im FHEM Forum einen Adapter zum 
selber löten. Dazu kommt dann noch github.com/ebusd/ebusd 
 und vielleicht noch 
https://github.com/john30/ebusd/issues/58 
 

Viele Grüße, 
Andreas

> Liebe Grüße,
> 
> Michael
> 
> Am 27.03.2017 um 22:11 schrieb Andreas Götz:
>> Sensoren falsch rum angeschlossen oder falsch im Logging? Gasheizung mit 
>> FBH? Die Temperaturen sind jedenfalls schon erfreulich niedrig, meine Kurve 
>> schicke ich morgen...
>> 
>> Viele Grüße, Andreas 
>> 
>> Am 27.03.2017 um 21:58 schrieb Koch, Michael > >:
>> 
>>> Hallo,
>>> 
>>> ich habe mal die Heizung hinzugefügt.
>>> Mal ne frage: Wie sieht eure Heizkurve so aus?
>>> 
>>> Bei mir sieht das so aus:
>>> 
>>> 
>>> 
>>> Würde mich mal interessieren ob das bei euch auch so aussieht :-)
>>> 
>>> Glaube bei mir läuft da was noch nicht so rund ...
>>> 
>>> Grüße,
>>> 
>>> Michael
> 

Re: [vz-users] Offtopic: Heizung Vor- und Rüklauftemperaturen

[Andreas Goetz]

…und bei mir waren die Sensoren tatsächlich vertausch :O
Der Heizi war aber konsequent- die Mischer hatte er auch vertauscht. Vmtl. 
Diagramm beim Einbau falsch rum gehalten.

Ohne Worte….

> On 28. Mar 2017, at 19:46, Dominik Ulrich  wrote:
> 
> Hallo Michael...
> wenn wir nach Fehlermöglichkeiten suchen... 
> ist zwar etwas weg vom VZ Logger aber
> prüfe mal ob die Umwälzpumpe richtig herum eingebaut ist.
> aussen am Gehäuse sollte ein Pfeil sein der die Flussrichtung angibt...
> VG
> -- 
> Diese Nachricht wurde von meinem Android Mobiltelefon mit GMX Mail gesendet.
> Am 28.03.17, 19:28, "Koch, Michael"  schrieb:
> Hallo,
> 
> noch ein Nachtrag:
> 
> Ich habe zwar nur die Messergebnisse von meinem eHZ Zähler, aber anhand 
> dessen kann man heute auch zufällig ganz gut die Pumpenlaufzeit erkennen :-)
> 
> 
> 
> @Dominik: Das mit IR-Messung werde machen, danke!
> 
> Grüße,
> Michael
> 
> Am 28.03.2017 um 19:22 schrieb Dominik Ulrich:
> bezüglich RL>VL vielleicht mal elektrisch prüfen ob die Sensoren richtig 
> aufgelegt sind...
> und mal wenn der Brenner läuft einfach mit einem IR Thermometer die Leitungen 
> prüfen.
> so kannst du mindesten die Tendenz sehen. also ob RL>VL 
> -- 
> Diese Nachricht wurde von meinem Android Mobiltelefon mit GMX Mail gesendet.
> Am 28.03.17, 19:15, "Andreas Götz"  
> <mailto:cpui...@gmail.com> schrieb:
> 
> 
> Am 28.03.2017 um 19:08 schrieb Dominik Ulrich  <mailto:nic...@gmx.de>>:
> 
> Hallo zusammen
> wenn ich mich mal kurz einschalten darf...
> denke Frank sieht es genau richtig...
> habe auch eine FHB aber mit einer Sole WP...
> however ever... meine WP steuert sich ua über das Delta von Vor und Rücklauf 
> Temperatur.
> um dies zu machen muss die Umwälzpume das Wasser zirkulieren.
> im Winter läuft die Umwälzpumpe permanent und in der Übergangszeit im 
> Intervall... immer ca 2min mit Pause von 2 bis 120 min... 
> das hängt wohl von der Aussentempetatur ab
> 
> Zirku hin oder her- warum sollte RL>VL sein? Gleichstand verstehe ich ja aber 
> wärmer? Es sei denn die wären schon falsch rum hydraulisch angeschlossen?
> 
> P.S.
> meiner Meinung nach macht die Nachtabsenkung bei einer FHB mit so geringen 
> Vorlauftemperaturen keinen Sinn.
> 
> Sehe ich auch so. Hohen Brennwertnutzen gibt es nur bei geringen 
> Temperaturen, also durchlaufen lassen. Ausserdem benötigt jeder Startvorgang 
> zusätzlich Energie.
> 
> Viel wichtiger ist es den Gasbrenner richtig zu parametisieren... Leistung 
> anpassen... mit weniger Leistung länger brennen lassen...
> 
> Bei mir liegt da das Problem. Die Therme moduliert nur auf 2,6kW und die 
> werden oft nicht abgenommen. Daher die Starts. Letztlich wohl falsche Heizung 
> da überdimensioniert :(
> 
> habe das bei einem Freund gemacht... ca 10-15% Gasersparniss waren drin ... 
> unter Berücksichtigung des Wetters...
> der hat ein Wolf Therme da findet man viel in den Foren...
> vg Dominik
> 
> Viele Grüße, Andreas 
> 
> -- 
> Diese Nachricht wurde von meinem Android Mobiltelefon mit GMX Mail gesendet.
> Am 28.03.17, 18:51, Frank Richter  <mailto:frank.richte...@gmail.com>> schrieb:
> Hallo Michael,
> 
> um dem Sägezahn-Thema auf die Spur zu kommen, müsste man eigentlich auch 
> wissen, ob und wie viel die Heizungs-Pumpe in diesen Zeiträumen läuft. 
> Vermutlich läuft sie nicht dauerhaft, sondern im Intervall-Betrieb, ansonsten 
> kann ich mir das Muster nicht erklären. Die Frage wäre allerdings, warum 
> läuft sie überhaupt, wenn die Heizung über Sunden inaktiv ist (kein 
> Gasverbrauch)?
> 
> Grüße
> Frank
> 
> Am 28. März 2017 um 18:31 schrieb Koch, Michael  <mailto:princemi...@gmail.com>>:
> Hallo Andreas,
> 
> ich weiß es nicht.  Das was ich habe liest sich zu laienhaft. So nach dem 
> Motto - "Drücken sie bitte den großen runden grauen Knopf an der Front - 
> damit schalten Sie die Heizung ein!" :-)
> 
> Sprich: Benutzhandbuch. Aber wirklich die Heizung parametrieren - nein. 
> Besonders bezgl. diesen "Dxxx"-Parametern - keine Informationen vorhanden...
> 
> Zum Thema Sägezahn: Ich kann mir gut vorstellen - das hier noch hydraulisch 
> was nicht stimmt, da der hydr. Abgleich noch nicht gemacht worden ist. 
> Die Heizung geht nachts derzeit noch ab 22 Uhr bis 6 Uhr in die 
> Nachabsenkung. Hier habe ich schon gelesen, das dies ja nicht sinnvoll bei 
> einer FBH ist?! Ich stelle dies jetzt einfach mal so fest - bin schließlich 
> kein Installateur, sondern nur Elektrömeista ;-)
> 
> Ich wollte aber erst mal die Werte so erfassen um Datenbestände zu haben 
> (IST-Situation). Dann wollte ich mich langsam an die richtige Konfigur

Re: [vz-users] Node-RED an vzloggers push-server.

[Andreas Goetz]

Da sind wir wieder.

> On 4. Apr 2017, at 14:27, Daniel Lauckner  wrote:
> 
> Hallo,
> 
> 
> hat doch bestimmt schon jemand den Push-Server vom vzlogger mit
> Node-RED verbunden?

Ja :)

> 
> Mein erster Versuch war gleich mal ein Schlag ins Wasser. Bevor ich ein
> Haufen Zeit vertu: Wer hat Hinweise? Oder die Lösung?

Du willst Updates aus dem Pushserver? 

Dann bietet es sich an im Pushserver auch nackte Websockets zu konfigurieren 
statt nur WAMP (welches das Frontend im Moment nutzt).

Schau Dir mal die etc/vz.conf an. Auch auf der ML hatte ich mal was geschrieben.

> 
> 
> mfg Daniel
> 

Viele Grüße, Andreas

Re: [vz-users] Lösung Re: Node-RED an vzloggers push-server.

[Andreas Goetz]

> On 4. Apr 2017, at 17:46, Daniel Lauckner  wrote:
> 
> Hallo,
> 
> 
> alles ganz einfach...
> http://flows.nodered.org/flow/dc9754a796fac49c918ab5a94f0af58a
> 
> Zur Erläuterung (für "uns" nicht ganz so helle):
> Man braucht dazu nicht die ganze Middleware, der Apache ist auf dem
> System noch immer deaktiviert.
> Aber wie in der Anleitung beschrieben läuft der (bei der MW
> mitgelieferte) Zusatzdienst Push-Sever und reicht die Daten vom
> vzlogger an Node-RED weiter.

Du warst mal wieder schneller als ich. So ist es. 

Der Haken: da kommen immer die Rohwerte an während die Middleware an ihre 
“Abonnenten” immer “Leistung” liefert.

Die Architektur ist im Detail in der Readme unter misc/tools mit Diagramm 
beschrieben...

> 
> 
> mfg Daniel
> 
Viele Grüße, Andreas

Re: [vz-users] Lösung Re: Node-RED an vzloggers push-server.

[Andreas Goetz]

> On 4. Apr 2017, at 19:37, Daniel Lauckner  wrote:
> 
> Hallo Andreas,
> 
> 
> am Dienstag, 4. April 2017 um 17:49 hast du geschrieben:
>> Die Architektur ist im Detail in der Readme unter misc/tools mit Diagramm 
>> beschrieben...
> 
> Wenn ich das richtig verstehe müssen die Kanäle auch in der MW
> vorhanden sein sonst reicht sie der PS nicht weiter?

Yup. Anders gehts halt nicht. Der PS reicht ja nicht nur weiter sondern macht 
insbesondere aus Rohdaten auch Leistungswerte analog der Darstellung im FE.

Woher soll er sonst wissen welche Konfiguration ein Kanal hat (Zählerstände? 
Impulse?) und mit welcher Auflösung die vorliegen?

Insofern muss man sich den PS als Teil der MW vorstellen, weniger als Teil des 
Loggers.
 
> 
> Was in meinem Fall hieße: Glück gehabt das die MW aufm Raspi auf die
> Backup-DB konfiguriert ist.
> 
> 
> Mit freundlichen Grüßen Daniel

Viele Grüße, Andreas

> 
> 
> P.S. Hatte mir mal einen MD-Editor installiert, der vergurkt das
> Diagramm. :(
> 
Einfach Textpad mit Courier New :)

Re: [vz-users] Lösung Re: Node-RED an vzloggers push-server.

[Andreas Goetz]

> On 6. Apr 2017, at 19:55, Daniel Lauckner  wrote:
> 
> Abend Andreas,
> 
> 
> am Dienstag, 4. April 2017 um 20:19 hast du geschrieben:
>>> Wenn ich das richtig verstehe müssen die Kanäle auch in der MW
>>> vorhanden sein sonst reicht sie der PS nicht weiter?
> 
>> Yup. Anders gehts halt nicht. Der PS reicht ja nicht nur weiter
>> sondern macht insbesondere aus Rohdaten auch Leistungswerte analog der 
>> Darstellung im FE.
> 
> Auch?
> 
> In der Readme ist nur die Rede von Rohdaten. Explizit wird sogar
> darauf hingewiesen das bei S0 Impulse kommen, keine Leistungswerte.
> Klingt Inkonsequent!?

Da steht wohl das Diagramm etwas unglücklich dazwischen. Im Zusammenhang mit 
dem nächsten Absatz liest sich das so:

Intent of the push-server is to provide realtime updates for clients using an 
easily consumable protocol.

Push updates are produced by vzlogger. Updates consist of "raw" meter readings, 
that is the values that are produced by the source device. For example, an S0 
meter will create "impulses" They are sent to configured clients even if 
aggregation is configured. The protocol is JSON over HTTP.

Since the push-server provides conversion of raw meter readings into the usual 
"current" normalised values that the frontend is able to visualize, it needs to 
have access to the channel definition in order to chose the right 
interpretation logic.

Der vzlogger macht also “raw”, der PS macht “konvertiert” und verteilt.

> 
> 
> Für meinen Anwendungsfall passt es sehr gut das aus den Zählerständen
> Leistungswerte werden. Dann brauch ich schon nicht mit den TS rumspielen.

V.a. brauchst Du- wenns nur um Node-red und einzelner Kanäle geht- auch keinen 
PushServer sondern kannst Dir die Rohdaten vom vzlogger direkt an NR pushen 
lassen.

Der “Gag” vom PS ist halt dass das für beliebig konfigurierte Kanäle von 
beliebigen vzloggern für beliebig viele Clients funktioniert. Oder so ähnlich.

Also einfach benutzen was passt und den Rest weglassen ;)

> 
> 
> mfg Daniel
> 


Viele Grüße, 
Andreas

Re: [vz-users] Wann/wie pusht der push Server?

[Andreas Goetz]

Hi Christian,

Du hattest Dich ja über den Pushserver beschwert- der wird unten im Log aber 
gar nicht angesprochen. 

Bevor wir hier rätselraten- könntest Du mal ein Diagramm machen wer da was 
wohin pushen soll?

Was genau horcht hinter node-red/vzpush für ein Node?

Viele Grüße,
Andreas

> On 17. Nov 2018, at 13:40, Frank Richter  wrote:
> 
> Hi Christian,
> 
> genau hinschauen: das sind 2 verschiedene Server!
> 
> Wahrscheinlich ist der http-Input von Node-RED nicht leistungsfähig genug für 
> Impulse im Sekundentakt. Nimm mal den Push-Eintrag an Node-RED (Port 1880) 
> aus der Config raus und probier aus, ob der vz Push-Server dann wieder 
> ordnungsgemäß läuft.
> 
> Grüße
> Frank
> 
> Am Sa., 17. Nov. 2018, 13:33 hat Christian Wulff  > geschrieben:
> Hmm, was bedeutet denn das hier?:
> 
>  
> 
> [Nov 17 13:08:23][push] CURL Request to http://127.0.0.1:5582 
>  succeeded with code: 200
> 
> [Nov 17 13:08:23][push] CURL: http://127.0.0.1:1880/vzpush 
>  Couldn't connect to server
> 
> [Nov 17 13:08:23][push] send nok to url http://127.0.0.1:1880/vzpush 
> 
>  
> 
> Hat er sich jetzt richtig verbunden, oder nicht?!
> 
> Code 200 bedeutet doch: 200="OK"
> 
> Dann kommt aber „Couldn't connect to server“
> 
> Und dann sendet er nok (no okay?!)
> 
>  
> 
> Lieben Gruß,
> 
> Chris
> 
>  
> 
> Von: Christian Wulff mailto:christianwu...@gmx.de>> 
> Gesendet: Samstag, 17. November 2018 13:05
> An: 'volkszaehler.org  - users' 
>  >
> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
> 
>  
> 
> Na das ist jetzt mal heftig!
> 
> Ich dachte ein S0 Kanal kann nur 0 oder 1 sein?!
> 
> Ich habe im Log 1, 2 und 3 gefunden.
> 
> Okay, ich hab mal mit den Extremwerten gespielt.
> 
> Ich hab den Rückspülfilter gespült und so wohl die maximal mögliche 
> Durchflussmenge aus der Leitung entnommen.
> 
> Das liegt bei 4560 L/h
> 
> Das sind 76 l/min
> 
> Pro Impuls fließen durch die Wasseruhr 0,5L
> 
> Das macht dann 152 Impulse oder 2,533 Impulse pro Sekunde.
> 
> Das sieht für mich so aus, dass der Logger im Sekundentakt getaktet ist, und 
> alle Impulse in dieser Sekunde addiert.
> 
> So kommt er dann auf bis zu 3 Impulse.
> 
> Das Frontend zeigt das auch korrekt an.
> 
>  
> 
> Soweit so gut, aber warum kommts nur alle 30 Sekunden in MQTT sicher an?!
> 
>  
> 
> Lieben Gruß,
> 
> Chris
> 
>  
> 
>  
> 
> Von: Christian Wulff mailto:christianwu...@gmx.de>> 
> Gesendet: Samstag, 17. November 2018 12:38
> An: 'volkszaehler.org  - users' 
>  >
> Betreff: AW: [vz-users] Wann/wie pusht der push Server?
> 
>  
> 
> Nun kann ich hier endlich weitermachen.
> 
>  
> 
> Bei „verbosity": 0 steht im LogFile folgendes (nur die letzten paar Zeilen)
> 
> Im Log File finde ich folgendes:
> 
> [Nov 17 12:30:59][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:31:30][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:32:01][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:32:31][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:33:02][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:33:33][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
> [Nov 17 12:34:03][push] CURL: http://127.0.0.1:1880/vzpush 
>  Timeout was reached
> 
>  
> 
> Die S0 Impulse kamen ja alles 30 Sekunden, das deckt sich damit ja schonmal.
> 
>  
> 
> Weiss jemand was da nicht stimmt?
> 
>  
> 
> Ich werde mal die Verbosity erhöhen und nochmal testen.
> 
>  
> 
> Lieben Gruß,
> 
> Chris
> 
>  
> 
>  
> 
> Von: Frank Richter  > 
> Gesendet: Sonntag, 11. November 2018 12:18
> An: volkszaehler.org  - users 
>  >
> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
> 
>  
> 
> Klar, [push] findest du auch im vzlogger-Logfile.
> 
>  
> 
> Gruß
> 
> Frank
> 
>  
> 
> Christian Wulff mailto:christianwu...@gmx.de>> 
> schrieb am So., 11. Nov. 2018 12:11:
> 
> Kann das sein, dass irgendwas überlastet ist?
> 
> Oder aggregiert da irgendwas?!
> 
> Bei den Temperaturen fehlt nix, gut, die kommen auch nur 1x pro Minute.
> 
>  
> 
> Kann man das irgendwie testen, mitloggen, debuggen oder so?
> 
>  
> 
> Lieben Gruß,
> 
> Chris
> 
>  
> 
> Von: Frank Richter  > 
> Gesendet: Samstag, 10. November 2018 21:07
> An: volkszaehler.org  - users 
>  

Re: [vz-users] Wann/wie pusht der push Server?

[Andreas Goetz]

Laut vzlogger logfile mag Dein http input node nix empfangen. 

Alternative: Du nimmst einen socket node und verbindest den mit dem pushserver 
(der dient als Verteiler). die websockets sollten etwas leichtgewichtiger sein.

Hast Du mal geschaut welche Last auf Deinem node-red Server herrscht und was im 
node-red Logfile steht? Oder falls Du einen reverse proxy davor hast in dessen 
logfile? Irgendwo müssen die http requests ja verrecken.

Viele Grüße, Andreas


> On 17. Nov 2018, at 17:37, Christian Wulff  wrote:
> 
> Moin Andreas,
>  
> Eigentlich ist das ganz einfach: Alles soll an den MQTT Broker gesendet 
> werden.
>  
> Über den einen kommen die Leistungen, über den anderen die Zählerstände. 
> Beide hätte ich gerne in MQTT.
> (Die Temperaturen kommen über beide)
>  
> Das interessante ist ja, das es mal funktioniert hat. Ich weiss allerdings 
> nicht mehr genau ab wann nicht mehr, aber es könnte sein, dass es mit dem 
> http-Input node zusammenhängt.
> Das werde ich jetzt mal ausprobieren.
>  
> Hier der Flow:
> Links oben sind die beiden Push Server nodes
> Der lila node schiebts nach MQTT
> Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins 
> node-RED Dashboard geschoben
> Und unten hab ich mir was überlegt, damit nicht immer der letzte 
> Durchflusswert auf dem Display stehen bleibt
> 
>  
> Lieben Gruß,
> Chris
>  
> Von: Andreas Goetz  
> Gesendet: Samstag, 17. November 2018 17:10
> An: volkszaehler.org - users 
> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>  
> Hi Christian,
>  
> Du hattest Dich ja über den Pushserver beschwert- der wird unten im Log aber 
> gar nicht angesprochen. 
>  
> Bevor wir hier rätselraten- könntest Du mal ein Diagramm machen wer da was 
> wohin pushen soll?
>  
> Was genau horcht hinter node-red/vzpush für ein Node?
> 
> Viele Grüße,
> Andreas
> 
> 
>> On 17. Nov 2018, at 13:40, Frank Richter > <mailto:frank.richte...@gmail.com>> wrote:
>>  
>> Hi Christian,
>>  
>> genau hinschauen: das sind 2 verschiedene Server!
>>  
>> Wahrscheinlich ist der http-Input von Node-RED nicht leistungsfähig genug 
>> für Impulse im Sekundentakt. Nimm mal den Push-Eintrag an Node-RED (Port 
>> 1880) aus der Config raus und probier aus, ob der vz Push-Server dann wieder 
>> ordnungsgemäß läuft.
>>  
>> Grüße
>> Frank
>>  
>> Am Sa., 17. Nov. 2018, 13:33 hat Christian Wulff > <mailto:christianwu...@gmx.de>> geschrieben:
>>> Hmm, was bedeutet denn das hier?:
>>>  
>>> [Nov 17 13:08:23][push] CURL Request to http://127.0.0.1:5582 
>>> <http://127.0.0.1:5582/> succeeded with code: 200
>>> [Nov 17 13:08:23][push] CURL: http://127.0.0.1:1880/vzpush 
>>> <http://127.0.0.1:1880/vzpush> Couldn't connect to server
>>> [Nov 17 13:08:23][push] send nok to url http://127.0.0.1:1880/vzpush 
>>> <http://127.0.0.1:1880/vzpush>
>>>  
>>> Hat er sich jetzt richtig verbunden, oder nicht?!
>>> Code 200 bedeutet doch: 200="OK"
>>> Dann kommt aber „Couldn't connect to server“
>>> Und dann sendet er nok (no okay?!)
>>>  
>>> Lieben Gruß,
>>> Chris
>>>  
>>> Von: Christian Wulff mailto:christianwu...@gmx.de>> 
>>> Gesendet: Samstag, 17. November 2018 13:05
>>> An: 'volkszaehler.org <http://volkszaehler.org/> - users' 
>>> >> <mailto:volkszaehler-users@demo.volkszaehler.org>>
>>> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>>>  
>>> Na das ist jetzt mal heftig!
>>> Ich dachte ein S0 Kanal kann nur 0 oder 1 sein?!
>>> Ich habe im Log 1, 2 und 3 gefunden.
>>> Okay, ich hab mal mit den Extremwerten gespielt.
>>> Ich hab den Rückspülfilter gespült und so wohl die maximal mögliche 
>>> Durchflussmenge aus der Leitung entnommen.
>>> Das liegt bei 4560 L/h
>>> Das sind 76 l/min
>>> Pro Impuls fließen durch die Wasseruhr 0,5L
>>> Das macht dann 152 Impulse oder 2,533 Impulse pro Sekunde.
>>> Das sieht für mich so aus, dass der Logger im Sekundentakt getaktet ist, 
>>> und alle Impulse in dieser Sekunde addiert.
>>> So kommt er dann auf bis zu 3 Impulse.
>>> Das Frontend zeigt das auch korrekt an.
>>>  
>>> Soweit so gut, aber warum kommts nur alle 30 Sekunden in MQTT sicher an?!
>>>  
>>> Lieben Gruß,
>>> Chris
>>>  
>>>  
>>> Von: Christian Wulff mailto:christianwu...@gmx.de>> 
>>> Gesendet: Samstag, 17. November 2018 12:38

Re: [vz-users] Wann/wie pusht der push Server?

[Andreas Goetz]

Hi,

> On 17. Nov 2018, at 17:46, Christian Wulff  wrote:
> 
> Ich weiss nicht genau, ob ich das richtig verstehe.

Ich auch nicht :)
>  
> Ich habe doch einen socket node und einen http node (oder nicht?)
> Über den socket node kommen die Leistungen (und Temperaturen).
> Über den http node kommen die Zählerstände (und Temperaturen).

Versteh ich nicht. Warum hast Du zwei? Kannst Du mal ein Diagramm machen wer 
was wohin mit welchem Protokoll pusht bei Dir?

>  
> Ich dachte anders geht das nicht?

k.A. da ich Dein Setup nicht verstehe.

>  
> Wie finde ich die Last des node Red Servers und dessen Logfile? (noch nicht 
> in google gefunden)

Anscheinend nur auf der Konsole, keine Ahnung wo das unter Linux landet: 
https://nodered.org/docs/user-guide/logging 
<https://nodered.org/docs/user-guide/logging> 

>  
> Lieben Gruß,
> Chris

Viele Grüße, Andreas

>  
> Von: Andreas Goetz  
> Gesendet: Samstag, 17. November 2018 17:40
> An: volkszaehler.org - users 
> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>  
> Laut vzlogger logfile mag Dein http input node nix empfangen. 
>  
> Alternative: Du nimmst einen socket node und verbindest den mit dem 
> pushserver (der dient als Verteiler). die websockets sollten etwas 
> leichtgewichtiger sein.
>  
> Hast Du mal geschaut welche Last auf Deinem node-red Server herrscht und was 
> im node-red Logfile steht? Oder falls Du einen reverse proxy davor hast in 
> dessen logfile? Irgendwo müssen die http requests ja verrecken.
>  
> Viele Grüße, Andreas
>  
> 
> 
>> On 17. Nov 2018, at 17:37, Christian Wulff > <mailto:christianwu...@gmx.de>> wrote:
>>  
>> Moin Andreas,
>>  
>> Eigentlich ist das ganz einfach: Alles soll an den MQTT Broker gesendet 
>> werden.
>>  
>> Über den einen kommen die Leistungen, über den anderen die Zählerstände. 
>> Beide hätte ich gerne in MQTT.
>> (Die Temperaturen kommen über beide)
>>  
>> Das interessante ist ja, das es mal funktioniert hat. Ich weiss allerdings 
>> nicht mehr genau ab wann nicht mehr, aber es könnte sein, dass es mit dem 
>> http-Input node zusammenhängt.
>> Das werde ich jetzt mal ausprobieren.
>>  
>> Hier der Flow:
>> Links oben sind die beiden Push Server nodes
>> Der lila node schiebts nach MQTT
>> Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins 
>> node-RED Dashboard geschoben
>> Und unten hab ich mir was überlegt, damit nicht immer der letzte 
>> Durchflusswert auf dem Display stehen bleibt
>> 
>>  
>> Lieben Gruß,
>> Chris
>>  
>> Von: Andreas Goetz mailto:cpui...@gmail.com>> 
>> Gesendet: Samstag, 17. November 2018 17:10
>> An: volkszaehler.org <http://volkszaehler.org/> - users 
>> > <mailto:volkszaehler-users@demo.volkszaehler.org>>
>> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>>  
>> Hi Christian,
>>  
>> Du hattest Dich ja über den Pushserver beschwert- der wird unten im Log aber 
>> gar nicht angesprochen. 
>>  
>> Bevor wir hier rätselraten- könntest Du mal ein Diagramm machen wer da was 
>> wohin pushen soll?
>>  
>> Was genau horcht hinter node-red/vzpush für ein Node?
>> 
>> Viele Grüße,
>> Andreas
>> 
>> 
>> 
>>> On 17. Nov 2018, at 13:40, Frank Richter >> <mailto:frank.richte...@gmail.com>> wrote:
>>>  
>>> Hi Christian,
>>>  
>>> genau hinschauen: das sind 2 verschiedene Server!
>>>  
>>> Wahrscheinlich ist der http-Input von Node-RED nicht leistungsfähig genug 
>>> für Impulse im Sekundentakt. Nimm mal den Push-Eintrag an Node-RED (Port 
>>> 1880) aus der Config raus und probier aus, ob der vz Push-Server dann 
>>> wieder ordnungsgemäß läuft.
>>>  
>>> Grüße
>>> Frank
>>>  
>>> Am Sa., 17. Nov. 2018, 13:33 hat Christian Wulff >> <mailto:christianwu...@gmx.de>> geschrieben:
>>>> Hmm, was bedeutet denn das hier?:
>>>>  
>>>> [Nov 17 13:08:23][push] CURL Request to http://127.0.0.1:5582 
>>>> <http://127.0.0.1:5582/> succeeded with code: 200
>>>> [Nov 17 13:08:23][push] CURL: http://127.0.0.1:1880/vzpush 
>>>> <http://127.0.0.1:1880/vzpush> Couldn't connect to server
>>>> [Nov 17 13:08:23][push] send nok to url http://127.0.0.1:1880/vzpush 
>>>> <http://127.0.0.1:1880/vzpush>
>>>>  
>>>> Hat er sich jetzt richtig verbunden, oder nicht?!
>>>> Code 200 bedeutet doch: 200="OK"
>>>> Dann

Re: [vz-users] Wann/wie pusht der push Server?

[Andreas Goetz]

On 17. Nov 2018, at 17:55, Christian Wulff  wrote:
> 
> Kam das Diagramm eben nicht mit?
> Denn häng ich es hier nochmal als Anhang dran.

Doch, kam es. Mich interessieren die anderen Komponenten (logger, push etc).

>  
> Warum ich zwei habe, hatte ich doch gerade erklärt:
> Über den socket node kommen die Leistungen (und Temperaturen) und nicht die 
> Zählerstände.

Also “Interpretierte” Werte? Oder auch Leistungen aus dem vzlogger?

> Über den http node kommen die Zählerstände (und Temperaturen) und nicht die 
> Leistungen.

Vzlogger verschickt Rohwerte und Pushserver interpretiert sie vor 
Weiterverteilung fürs Frontend. Mindestens Temperaturen und Leistungen kommen 
also auf beiden Wegen gleich an, Zählerstände und Impulse nicht.

> Wenn man also Leistungen UND Zählerstände (und Temperaturen) in MQTT haben 
> will, dass muss man doch beide nehmen, oder wie soll das sonst gehen?

Zählerstände gehen momentan nicht über den Pushserver, korrekt. Temperaturen 
(=Momentanwerte) gehen wunderbar. Wäre ein sinnvolles Enhancement (mach gerne 
ein Ticket auf).

Mich verwirrt dass Du über den Pushserver gemeckert hast. In Deinem Log ist das 
Problem zwischen vzlogger und nodered. Nicht beim Pushserver.

Wenn ich das richtig verstanden habe bleibts dabei- Du musst rausfinden welches 
Problem node-red mit HTTP inbound hat.

>  
> Nun ist mein Flow im Anhang:
> Links oben sind die beiden Push Server nodes
> Der lila node schiebts nach MQTT
> Rechts werden die Payloads auf eine Nachkommastelle gerundet und dann ins 
> node-RED Dashboard geschoben
> Und unten hab ich mir was überlegt, damit nicht immer der letzte 
> Durchflusswert auf dem Display stehen bleibt
>  
> Lieben Gruß,
> Chris

Viele Grüße, Andreas

>  
>  
> Von: Andreas Goetz  
> Gesendet: Samstag, 17. November 2018 17:51
> An: volkszaehler.org - users 
> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>  
> Hi,
> 
> 
>> On 17. Nov 2018, at 17:46, Christian Wulff > <mailto:christianwu...@gmx.de>> wrote:
>>  
>> Ich weiss nicht genau, ob ich das richtig verstehe.
>  
> Ich auch nicht :)
> 
>>  
>> Ich habe doch einen socket node und einen http node (oder nicht?)
>> Über den socket node kommen die Leistungen (und Temperaturen).
>> Über den http node kommen die Zählerstände (und Temperaturen).
>  
> Versteh ich nicht. Warum hast Du zwei? Kannst Du mal ein Diagramm machen wer 
> was wohin mit welchem Protokoll pusht bei Dir?
> 
> 
>>  
>> Ich dachte anders geht das nicht?
>  
> k.A. da ich Dein Setup nicht verstehe.
> 
> 
>>  
>> Wie finde ich die Last des node Red Servers und dessen Logfile? (noch nicht 
>> in google gefunden)
>  
> Anscheinend nur auf der Konsole, keine Ahnung wo das unter Linux landet: 
> https://nodered.org/docs/user-guide/logging 
> <https://nodered.org/docs/user-guide/logging> 
> 
> 
>>  
>> Lieben Gruß,
>> Chris
>  
> Viele Grüße, Andreas
> 
> 
>>  
>> Von: Andreas Goetz mailto:cpui...@gmail.com>> 
>> Gesendet: Samstag, 17. November 2018 17:40
>> An: volkszaehler.org <http://volkszaehler.org/> - users 
>> > <mailto:volkszaehler-users@demo.volkszaehler.org>>
>> Betreff: Re: [vz-users] Wann/wie pusht der push Server?
>>  
>> Laut vzlogger logfile mag Dein http input node nix empfangen. 
>>  
>> Alternative: Du nimmst einen socket node und verbindest den mit dem 
>> pushserver (der dient als Verteiler). die websockets sollten etwas 
>> leichtgewichtiger sein.
>>  
>> Hast Du mal geschaut welche Last auf Deinem node-red Server herrscht und was 
>> im node-red Logfile steht? Oder falls Du einen reverse proxy davor hast in 
>> dessen logfile? Irgendwo müssen die http requests ja verrecken.
>>  
>> Viele Grüße, Andreas
>>  
>> 
>> 
>> 
>>> On 17. Nov 2018, at 17:37, Christian Wulff >> <mailto:christianwu...@gmx.de>> wrote:
>>>  
>>> Moin Andreas,
>>>  
>>> Eigentlich ist das ganz einfach: Alles soll an den MQTT Broker gesendet 
>>> werden.
>>>  
>>> Über den einen kommen die Leistungen, über den anderen die Zählerstände. 
>>> Beide hätte ich gerne in MQTT.
>>> (Die Temperaturen kommen über beide)
>>>  
>>> Das interessante ist ja, das es mal funktioniert hat. Ich weiss allerdings 
>>> nicht mehr genau ab wann nicht mehr, aber es könnte sein, dass es mit dem 
>>> http-Input node zusammenhängt.
>>> Das werde ich jetzt mal ausprobieren.
>>>  
>>> Hier der Flow:
>>> Links oben sind die beiden Push Server nodes
>>> Der lila node schiebts