Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Da kommt 0.3.3 . ich denke mal das ist nicht aktuellste Version, oder? Wo kann man dann anchschauen, welches die letzte Version ist und wie bekomme ich die? Geht das mit meiner beschriebenen Methode nicht (also über den Eintrag in den sources)? Am 15. August 2014 23:01 schrieb Udo1 u...@gmx.net: Am 15.08.2014 18:34, schrieb Albert Dahmen: Aber nochmal zu meiner Frage: Wie kann ich rausbekommen, welche Version von vzlogger ich habe? vzlogger -V Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Sorry für meinen letzten Post ... ich hatte die letzte Antwort noch nicht gelesen (das das Paket veraltet ist). Also kann ich die neue Version nur nach dieser Methode bekommen: http://wiki.volkszaehler.org/software/controller/vzlogger/installation_cpp-version ? Reicht es, wenn ich nur das ausführe, oder muss ich alles durchgehen, was auf der Seite steht? Und wenn ich das so mache, bekomme ich dann beim nächten apt-get upgrade wieder die alte Version über die entsprechend Source? git clone https://github.com/volkszaehler/vzlogger.git cd vzlogger cmake . make make install Am 16. August 2014 09:11 schrieb Albert Dahmen albert.dah...@gmail.com: Da kommt 0.3.3 . ich denke mal das ist nicht aktuellste Version, oder? Wo kann man dann anchschauen, welches die letzte Version ist und wie bekomme ich die? Geht das mit meiner beschriebenen Methode nicht (also über den Eintrag in den sources)? Am 15. August 2014 23:01 schrieb Udo1 u...@gmx.net: Am 15.08.2014 18:34, schrieb Albert Dahmen: Aber nochmal zu meiner Frage: Wie kann ich rausbekommen, welche Version von vzlogger ich habe? vzlogger -V Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Am 16.08.2014 09:11, schrieb Albert Dahmen: Da kommt 0.3.3 . ich denke mal das ist nicht aktuellste Version, oder? Nein, die Version, die nach der Anleitung http://wiki.volkszaehler.org/software/controller/vzlogger/installation_cpp-version gestern installiert habe, trägt die Versionsnummer: 0.3.6 Reicht es, wenn ich nur das ausführe, oder muss ich alles durchgehen, was auf der Seite steht? Würde ich so machen. Aber vorher ein Backup der SD-Karte ziehen. Aber nicht alles was auf der Seite steht. Nur der Teil bis if you are having trouble building with libsml, instead of just „cmake .“, use: Wenn er bei einem Befehl meckert, den Befehl mit sudo ausführen. Und wenn ich das so mache, bekomme ich dann beim nächten apt-get upgrade wieder die alte Version über die entsprechend Source? Keine Ahnung. Da kenne ich mich auch nicht aus. Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Das ist ja gut. Wie kann ich eigentlich prüfen, ob ich die aktuelle Version von vzlogger habe? Ich habe ein apt-get install vzlogger ausgeführt (vorher ein apt-get update und apt-get upgrade) und den Hinweis bekommen, dass ich schon die aktuelle Version habe. Wenn ich mir aber die Binary unter usr/bin anschaue, dann ist das Datum vom 14.4.2013 ... scheint doch etwas alt zu sein, oder? Am 10. August 2014 00:47 schrieb Andreas Götz cpui...@gmail.com: Nein, nichts! Am 09.08.2014 um 23:15 schrieb Albert Dahmen albert.dah...@gmail.com: Also ich habe nun sowohl vzlogger als auch die Middleware auf den neuesten Stand gebracht ... Und soweit scheint auch alles wieder zu laufen. Ich werde berichten, wie stabil das System ist. Muss ich an den Konfigurationen etwas verändern, damit dieses Thema mit den Duplicates nicht mehr auftritt? VG Albert Am 7. August 2014 08:29 schrieb Andreas Goetz cpui...@gmail.com: Moin, Justin war etwas schneller als ich es mir diesmal gewünscht hätte- sowohl vzlogger als auch middleware haben im Git die Patches schon im Bauch. 2014-08-01 17:20 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, Und nun meine Frage: Sind Deine Änderungen noch in einem Test-Zweig oder kann ich ein normales Update der Middleware machen? Sind noch im Testzweig bei mir, sobald Dein OK nach Test da ist kann ich sie transferieren. VG Albert Gibts denn schon Testergebnisse, vllt. auch zur Performance? Viele Grüße, Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Also ich habe nun sowohl vzlogger als auch die Middleware auf den neuesten Stand gebracht ... Und soweit scheint auch alles wieder zu laufen. Ich werde berichten, wie stabil das System ist. Muss ich an den Konfigurationen etwas verändern, damit dieses Thema mit den Duplicates nicht mehr auftritt? VG Albert Am 7. August 2014 08:29 schrieb Andreas Goetz cpui...@gmail.com: Moin, Justin war etwas schneller als ich es mir diesmal gewünscht hätte- sowohl vzlogger als auch middleware haben im Git die Patches schon im Bauch. 2014-08-01 17:20 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, Und nun meine Frage: Sind Deine Änderungen noch in einem Test-Zweig oder kann ich ein normales Update der Middleware machen? Sind noch im Testzweig bei mir, sobald Dein OK nach Test da ist kann ich sie transferieren. VG Albert Gibts denn schon Testergebnisse, vllt. auch zur Performance? Viele Grüße, Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Nein, nichts! Am 09.08.2014 um 23:15 schrieb Albert Dahmen albert.dah...@gmail.com: Also ich habe nun sowohl vzlogger als auch die Middleware auf den neuesten Stand gebracht ... Und soweit scheint auch alles wieder zu laufen. Ich werde berichten, wie stabil das System ist. Muss ich an den Konfigurationen etwas verändern, damit dieses Thema mit den Duplicates nicht mehr auftritt? VG Albert Am 7. August 2014 08:29 schrieb Andreas Goetz cpui...@gmail.com: Moin, Justin war etwas schneller als ich es mir diesmal gewünscht hätte- sowohl vzlogger als auch middleware haben im Git die Patches schon im Bauch. 2014-08-01 17:20 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, Und nun meine Frage: Sind Deine Änderungen noch in einem Test-Zweig oder kann ich ein normales Update der Middleware machen? Sind noch im Testzweig bei mir, sobald Dein OK nach Test da ist kann ich sie transferieren. VG Albert Gibts denn schon Testergebnisse, vllt. auch zur Performance? Viele Grüße, Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo, wollte gestern Abend das Update machen ... aber irgendwie habe ich noch 1-2 Fragen :-) Wenn ich mit git clone git://github.com/volkszaehler/volkszaehler.org.git /var/www/volkszaehler.org das Update der Middleware starte, dann bekomme ich die Fehlermeldung, dass das Verzeichnis schon existiert. Muss ich wirklich das bestehende Verzeichnis umbenennen und die neue Version anschl. holen? Kann man nicht updaten? Und: Mit dieser Vorgehensweise bekomme ich ja nur die neue Version der Middleware, oder? Woher bekomme ich bzw. wie installiere ich die neue Version von vzlogger? VG Albert Am 7. August 2014 08:29 schrieb Andreas Goetz cpui...@gmail.com: Moin, Justin war etwas schneller als ich es mir diesmal gewünscht hätte- sowohl vzlogger als auch middleware haben im Git die Patches schon im Bauch. 2014-08-01 17:20 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, Und nun meine Frage: Sind Deine Änderungen noch in einem Test-Zweig oder kann ich ein normales Update der Middleware machen? Sind noch im Testzweig bei mir, sobald Dein OK nach Test da ist kann ich sie transferieren. VG Albert Gibts denn schon Testergebnisse, vllt. auch zur Performance? Viele Grüße, Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert, hallo Udo, 2014-08-01 17:20 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, ich muss auf das Thema nochmal zurückkommen, da ich gerade nach langer Zeit mal wieder ein Problem mit den Duplicates hatte :-( Ich habe verstanden, dass Du einige Änderungen in der Middleware eingebaut hast (zum Beispiel plain SQL), die auch durchaus helfen können, das Problem zu umgehen (wenn es mit der Performance zusammenhängen sollte). Insofern lohnt es sich doch, grundsätzlich auf die neue Middleware zu gehen (auch ohne Erweiterungen bei vzlogger), oder? Da hast Du natürlich rechtm es müsste aber nochmal getestet werden. Insbesondere habe ich die zwischendurch vorhandene Möglichkeit entfernt Daten für mehrere kanäle per JSON zu pushen die aber wohl eh nur ich verwendet hatte. Und nun meine Frage: Sind Deine Änderungen noch in einem Test-Zweig oder kann ich ein normales Update der Middleware machen? Sind noch im Testzweig bei mir, sobald Dein OK nach Test da ist kann ich sie transferieren. VG Albert Udo hatte noch einen anderen, viel wichtigeren Hinweis- vzlogger kann mit den Fehlern theoretisch nämlich schon umgehen: https://github.com/volkszaehler/vzlogger/blob/master/src/api/Volkszaehler.cpp#L227 Auf den zweiten Blick zeigt sich aber, dass die abgefragte Fehlermeldung wohl die falsche ist. Das habe ich behoben und wenn Du jetzt auch https://github.com/volkszaehler/vzlogger/pull/36 testen könntest dann haben wir einen vzlogger der wieder elegant mit dem Problem umgehen sollte. vg Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert, 2014-07-21 21:16 GMT+02:00 Albert Dahmen albert.dah...@gmail.com: Nachdem ich nun aus dem Urlaub zurück bin würde ich gerne in den Test einsteigen. Die Lösung ist fertig und wurde von Thomas schon erfolgreich getestet. Da ich mich aber leider mit GIT absolut nicht auskenne brauche ich ein wenig Hilfe :-) Was genau muss ich machen? Eigentlich nichts. Was wir wirklich brauchen ist jemanden der den vzlogger so anpasst dass das neue Feature auch verwendet werden kann. Leider gabs von den Entwicklern kein Feedback- insofern ruht das Thema bis sich jemand findet. Ich kanns leider nicht lösen. vg Andreas VG Albert Am 11. Juli 2014 17:50 schrieb Andreas Götz cpui...@gmail.com: Hi Albert, Lieber nach dem Urlaub, stimmt. Du musst mein Repo clonen und dann den branch wechseln: Git checkout ignore-duplicates Als config Option taugt das m.E. Nicht weil der Client entscheiden sollte ob er das möchte oder nicht, nicht die Installation. Wenns kappt fehlt also auch noch eine Anpassung im Logger. Viele Grüße, Andreas Am 11.07.2014 um 17:22 schrieb Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, ich würde es gerne testen ... allerdings geht es morgen für eine Woche in Urlaub ... und ich bin nicht sicher, ob ich es vorher noch machen soll :-) Aber danach werde ich es direkt ausprobieren! Versprochen :-) Aber noch eine vielleicht dumme Frage: Wie installiere ich die neue Version? Bisher habe ich folgendes gemacht: - dann Backup machen mit cp -a /var/www/volkszaehler.org /var/www/volkszaehler.org.dist - jetzt mit git clone git://github.com/volkszaehler/volkszaehler.org.git /var/www/volkszaehler.org die aktuelle Version holen - und mit chown -R www-data /var/www/volkszaehler.org die Rechte anpassen Wie mache ich das jetzt mit dem anderen Zweig? Einfach den Teil hinter git:// anpassen? Und noch eine blöde Frage: Wird mit diesem Teil nicht nur die middleware auf einen neuen Stand gebracht? Wenn ja, wie bekomme ich das Update von vzlogger? Das liegt ja in einem anderen Verzeichnis? Ist sonst noch was bei einem Test dieser speziellen Version zu beachten? Und warum hast Du das mit dem URL-Parameter gemacht und nicht diesen Parameter in die config-Datei aufgenommen? VG Albert Am 11. Juli 2014 14:05 schrieb Andreas Goetz cpui...@gmail.com: Hallo, jetzt wärs natürlich auch cool wenns mal jemand testen würde :/ https://github.com/andig/volkszaehler.org/tree/ignore-duplicates Ich hab das Verhalten jetzt konfigurierbar gemacht- einfach options=skipduplicates an die URL anhängen, dann werden die ignoriert. zusätzlich wird jetzt immer rows=xyz ausgegeben woran man erkennen kann wieviele Datensätze tatsächlich eingefügt wurden. Prinzipiell nutzen wir jetzt immer plain SQL, es sollte also auch noch schneller werden... vg Andreas 2014-07-08 15:00 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine Variante. Einer muss die Probleme halt aussortieren. Entweder der vzl schaut anhand der Fehlermeldung welcher Timestamp problematisch war (und muss das ggf. mehrfach machen) oder er sagt der MW nimm halt was geht- aber z.B. erst bei einem Retry. Die Variante gefällt mir ganz gut da sie sich auch für vzclient anbieten würde. Muss ich mal recherchieren. noch bei so einer DB-Meldung prüfen, ob sie
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Andreas, ich hab's mal getestet. Die Kommunikation vom vzlogger scheint erst mal zu gehen. Den kritischen Fall mit dem Timeout hab ich noch nicht getestet. Aber das Frontend meldet jetzt in jquery.flot.canvas.js Zeile 44: TypeError: classes is undefined var Canvas = classes.Canvas; Liebe Grüße, Thomas Am 11.07.2014 17:50, schrieb Andreas Götz: Hi Albert, Lieber nach dem Urlaub, stimmt. Du musst mein Repo clonen und dann den branch wechseln: Git checkout ignore-duplicates Als config Option taugt das m.E. Nicht weil der Client entscheiden sollte ob er das möchte oder nicht, nicht die Installation. Wenns kappt fehlt also auch noch eine Anpassung im Logger. Viele Grüße, Andreas Am 11.07.2014 um 17:22 schrieb Albert Dahmen albert.dah...@gmail.com mailto:albert.dah...@gmail.com: Hallo Andreas, ich würde es gerne testen ... allerdings geht es morgen für eine Woche in Urlaub ... und ich bin nicht sicher, ob ich es vorher noch machen soll :-) Aber danach werde ich es direkt ausprobieren! Versprochen :-) Aber noch eine vielleicht dumme Frage: Wie installiere ich die neue Version? Bisher habe ich folgendes gemacht: - dann Backup machen mit cp -a /var/www/volkszaehler.org http://volkszaehler.org /var/www/volkszaehler.org.dist - jetzt mit git clone git://github.com/volkszaehler/volkszaehler.org.git http://github.com/volkszaehler/volkszaehler.org.git /var/www/volkszaehler.org http://volkszaehler.org die aktuelle Version holen - und mit chown -R www-data /var/www/volkszaehler.org http://volkszaehler.org die Rechte anpassen Wie mache ich das jetzt mit dem anderen Zweig? Einfach den Teil hinter git:// anpassen? Und noch eine blöde Frage: Wird mit diesem Teil nicht nur die middleware auf einen neuen Stand gebracht? Wenn ja, wie bekomme ich das Update von vzlogger? Das liegt ja in einem anderen Verzeichnis? Ist sonst noch was bei einem Test dieser speziellen Version zu beachten? Und warum hast Du das mit dem URL-Parameter gemacht und nicht diesen Parameter in die config-Datei aufgenommen? VG Albert Am 11. Juli 2014 14:05 schrieb Andreas Goetz cpui...@gmail.com mailto:cpui...@gmail.com: Hallo, jetzt wärs natürlich auch cool wenns mal jemand testen würde :/ https://github.com/andig/volkszaehler.org/tree/ignore-duplicates Ich hab das Verhalten jetzt konfigurierbar gemacht- einfach options=skipduplicates an die URL anhängen, dann werden die ignoriert. zusätzlich wird jetzt immer rows=xyz ausgegeben woran man erkennen kann wieviele Datensätze tatsächlich eingefügt wurden. Prinzipiell nutzen wir jetzt immer plain SQL, es sollte also auch noch schneller werden... vg Andreas 2014-07-08 15:00 GMT+02:00 Andreas Goetz cpui...@gmail.com mailto:cpui...@gmail.com: Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com mailto:cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org mailto:tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo, jetzt wärs natürlich auch cool wenns mal jemand testen würde :/ https://github.com/andig/volkszaehler.org/tree/ignore-duplicates Ich hab das Verhalten jetzt konfigurierbar gemacht- einfach options=skipduplicates an die URL anhängen, dann werden die ignoriert. zusätzlich wird jetzt immer rows=xyz ausgegeben woran man erkennen kann wieviele Datensätze tatsächlich eingefügt wurden. Prinzipiell nutzen wir jetzt immer plain SQL, es sollte also auch noch schneller werden... vg Andreas 2014-07-08 15:00 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine Variante. Einer muss die Probleme halt aussortieren. Entweder der vzl schaut anhand der Fehlermeldung welcher Timestamp problematisch war (und muss das ggf. mehrfach machen) oder er sagt der MW nimm halt was geht- aber z.B. erst bei einem Retry. Die Variante gefällt mir ganz gut da sie sich auch für vzclient anbieten würde. Muss ich mal recherchieren. noch bei so einer DB-Meldung prüfen, ob sie tatsächlich die gleichen Daten noch mal schreiben will. Da der neue Request vom vzlogger dann alte und neue Daten umfasst, muss man das auch Satzweise prüfen... Ehrm. Genau- gleicher Gedanke ;) Hab leider auch zu wenig Zeit um mich in den SourceCode von vzlogger und MW einzuarbeiten, sonst würde ich da gerne helfen. Mit welchen Tools wird da eigentlich entwickelt? Doch nicht Editor und Make, oder? Kann mir jemand beschreiben, wie ich einen Debugger auf vzlogger bzw. auf die MW ansetze? Vmtl. Rainer? LG Thomas. vg Andreas On Mon, 7 Jul 2014 11:27:55 +0200, Andreas Goetz cpui...@gmail.com wrote: Moin Thomas, 2014-07-07 11:19 GMT+02:00 tho...@gauweiler.org: Das ist doch nur das Folgeproblem. Das eigentliche Problem ist ein Kommunikationsproblem: vzlogger bricht einen HTTP-Request mit timeout ab, während die Middleware den Request noch fertig bearbeitet. Warum auch immer, ja. Jetzt stehen die Daten in der DB aber vzlogger meint, dass sie noch nicht drin sind. Und erst beim nächsten Versuch des vzloggers kommt es dann zur DB-Meldung, dass dieser Zeitstempel schon in der DB steht. Genau. Aber worauf willst Du hinaus? Letzlich kann nur der Logger wissen ob oder dass es safe ist die Daten jetzt zu verwerfen. Einem anderen Client bzw. dem Anwender muss die MW solche Meldungen sehrwohl präsentieren. Grüße, Thomas Oder worin besteht Dein Vorschlag? vg Andreas On Sun, 6 Jul 2014 22:40:50 +0200, Andreas Götz cpui...@gmail.com wrote: Hi, An der Fehlermeldung der MW? Woher soll den umgekehrt die MW wissen welche App problematisch ist so dass sie deren Daten verwerfen soll ohne Fehlermeldung? M.e. Gehört das in den Logger. Viele Grüße, Andreas Am 06.07.2014 um 22:04 schrieb Udo1 u...@gmx.net: Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Andreas, ich würde es gerne testen ... allerdings geht es morgen für eine Woche in Urlaub ... und ich bin nicht sicher, ob ich es vorher noch machen soll :-) Aber danach werde ich es direkt ausprobieren! Versprochen :-) Aber noch eine vielleicht dumme Frage: Wie installiere ich die neue Version? Bisher habe ich folgendes gemacht: - dann Backup machen mit cp -a /var/www/volkszaehler.org /var/www/volkszaehler.org.dist - jetzt mit git clone git://github.com/volkszaehler/volkszaehler.org.git /var/www/volkszaehler.org die aktuelle Version holen - und mit chown -R www-data /var/www/volkszaehler.org die Rechte anpassen Wie mache ich das jetzt mit dem anderen Zweig? Einfach den Teil hinter git:// anpassen? Und noch eine blöde Frage: Wird mit diesem Teil nicht nur die middleware auf einen neuen Stand gebracht? Wenn ja, wie bekomme ich das Update von vzlogger? Das liegt ja in einem anderen Verzeichnis? Ist sonst noch was bei einem Test dieser speziellen Version zu beachten? Und warum hast Du das mit dem URL-Parameter gemacht und nicht diesen Parameter in die config-Datei aufgenommen? VG Albert Am 11. Juli 2014 14:05 schrieb Andreas Goetz cpui...@gmail.com: Hallo, jetzt wärs natürlich auch cool wenns mal jemand testen würde :/ https://github.com/andig/volkszaehler.org/tree/ignore-duplicates Ich hab das Verhalten jetzt konfigurierbar gemacht- einfach options=skipduplicates an die URL anhängen, dann werden die ignoriert. zusätzlich wird jetzt immer rows=xyz ausgegeben woran man erkennen kann wieviele Datensätze tatsächlich eingefügt wurden. Prinzipiell nutzen wir jetzt immer plain SQL, es sollte also auch noch schneller werden... vg Andreas 2014-07-08 15:00 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine Variante. Einer muss die Probleme halt aussortieren. Entweder der vzl schaut anhand der Fehlermeldung welcher Timestamp problematisch war (und muss das ggf. mehrfach machen) oder er sagt der MW nimm halt was geht- aber z.B. erst bei einem Retry. Die Variante gefällt mir ganz gut da sie sich auch für vzclient anbieten würde. Muss ich mal recherchieren. noch bei so einer DB-Meldung prüfen, ob sie tatsächlich die gleichen Daten noch mal schreiben will. Da der neue Request vom vzlogger dann alte und neue Daten umfasst, muss man das auch Satzweise prüfen... Ehrm. Genau- gleicher Gedanke ;) Hab leider auch zu wenig Zeit um mich in den SourceCode von vzlogger und MW einzuarbeiten, sonst würde ich da gerne helfen. Mit welchen Tools wird da eigentlich entwickelt? Doch nicht Editor und Make, oder? Kann mir jemand beschreiben, wie ich einen Debugger auf vzlogger bzw. auf die MW ansetze? Vmtl. Rainer? LG Thomas. vg Andreas On Mon, 7 Jul 2014 11:27:55 +0200, Andreas Goetz cpui...@gmail.com wrote: Moin Thomas, 2014-07-07 11:19 GMT+02:00 tho...@gauweiler.org: Das ist doch nur das Folgeproblem. Das eigentliche Problem ist ein Kommunikationsproblem: vzlogger bricht einen HTTP-Request mit timeout ab, während die Middleware den Request noch fertig bearbeitet. Warum auch immer, ja. Jetzt stehen die Daten in der DB aber vzlogger meint, dass sie noch nicht drin sind. Und erst beim nächsten Versuch des vzloggers kommt es dann zur DB-Meldung, dass dieser Zeitstempel schon in der DB steht. Genau.
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hi Albert, Lieber nach dem Urlaub, stimmt. Du musst mein Repo clonen und dann den branch wechseln: Git checkout ignore-duplicates Als config Option taugt das m.E. Nicht weil der Client entscheiden sollte ob er das möchte oder nicht, nicht die Installation. Wenns kappt fehlt also auch noch eine Anpassung im Logger. Viele Grüße, Andreas Am 11.07.2014 um 17:22 schrieb Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, ich würde es gerne testen ... allerdings geht es morgen für eine Woche in Urlaub ... und ich bin nicht sicher, ob ich es vorher noch machen soll :-) Aber danach werde ich es direkt ausprobieren! Versprochen :-) Aber noch eine vielleicht dumme Frage: Wie installiere ich die neue Version? Bisher habe ich folgendes gemacht: - dann Backup machen mit cp -a /var/www/volkszaehler.org /var/www/volkszaehler.org.dist - jetzt mit git clone git://github.com/volkszaehler/volkszaehler.org.git /var/www/volkszaehler.org die aktuelle Version holen - und mit chown -R www-data /var/www/volkszaehler.org die Rechte anpassen Wie mache ich das jetzt mit dem anderen Zweig? Einfach den Teil hinter git:// anpassen? Und noch eine blöde Frage: Wird mit diesem Teil nicht nur die middleware auf einen neuen Stand gebracht? Wenn ja, wie bekomme ich das Update von vzlogger? Das liegt ja in einem anderen Verzeichnis? Ist sonst noch was bei einem Test dieser speziellen Version zu beachten? Und warum hast Du das mit dem URL-Parameter gemacht und nicht diesen Parameter in die config-Datei aufgenommen? VG Albert Am 11. Juli 2014 14:05 schrieb Andreas Goetz cpui...@gmail.com: Hallo, jetzt wärs natürlich auch cool wenns mal jemand testen würde :/ https://github.com/andig/volkszaehler.org/tree/ignore-duplicates Ich hab das Verhalten jetzt konfigurierbar gemacht- einfach options=skipduplicates an die URL anhängen, dann werden die ignoriert. zusätzlich wird jetzt immer rows=xyz ausgegeben woran man erkennen kann wieviele Datensätze tatsächlich eingefügt wurden. Prinzipiell nutzen wir jetzt immer plain SQL, es sollte also auch noch schneller werden... vg Andreas 2014-07-08 15:00 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine Variante. Einer muss die Probleme halt aussortieren. Entweder der vzl schaut anhand der Fehlermeldung welcher Timestamp problematisch war (und muss das ggf. mehrfach machen) oder er sagt der MW nimm halt was geht- aber z.B. erst bei einem Retry. Die Variante gefällt mir ganz gut da sie sich auch für vzclient anbieten würde. Muss ich mal recherchieren. noch bei so einer DB-Meldung prüfen, ob sie tatsächlich die gleichen Daten noch mal schreiben will. Da der neue Request vom vzlogger dann alte und neue Daten umfasst, muss man das auch Satzweise prüfen... Ehrm. Genau- gleicher Gedanke ;) Hab leider auch zu wenig Zeit um mich in den SourceCode von vzlogger und MW einzuarbeiten, sonst würde ich da gerne helfen. Mit welchen Tools wird da eigentlich entwickelt? Doch nicht Editor und Make, oder? Kann mir jemand beschreiben, wie ich einen Debugger auf vzlogger bzw. auf die MW ansetze? Vmtl. Rainer? LG Thomas. vg Andreas On Mon, 7 Jul 2014 11:27:55 +0200, Andreas Goetz cpui...@gmail.com wrote: Moin Thomas, 2014-07-07 11:19 GMT+02:00
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Zusammen, ich habe hier mal einen Bastelzweig eröffnet: https://github.com/andig/volkszaehler.org/tree/master-ignore-duplicates Darin gibts zwei wesentliche Änderungen: - statt ORM wird jetzt mittels SQL in die DB geschrieben- das könnte einen Performancezuwachs bringen (nicht getestet) - Duplikate werden bei JSON requests wie der Logger sie macht jetzt immer ignoriert (nicht konfigurierbar) Viel Spass beim Testen! vg Andreas 2014-07-07 12:09 GMT+02:00 Andreas Goetz cpui...@gmail.com: Hi Thomas, 2014-07-07 11:52 GMT+02:00 tho...@gauweiler.org: Hallo Andreas, na, man sollte schon beim ersten Problem anpacken. z.B. sollte man den Timeout des vzloggers größer machen, als den der Middleware beim Bearbeiten eines Request. Klar- aber auch da muss im logger gehandelt werden. Letzlich ist das aber nur Linderung da durch Lastsituationen sowas prinzipiell immer auftreten kann, oder? Dadurch sollte dieser Zustand nicht mehr auftreten, denn wenn die Middleware kein Commit mehr machen kann, sind die Daten nicht drin. (macht die MW eigentlich Masseninsert mit abschliessendem Commit wird jeder Insert einzeln Committed?) Ich vermute vzlogger übergibt die Daten per JSON statt mittels einzelner Requests? Dann gibts auch den Commit nur einmal. Wenns da Befindlichkeiten bzgl. Performance gibt müsste mir jemand mal einen SQL Trace schicken da ich keinen vzlogger habe. Dann hast du aber natürlich recht: nach einem timeout sollte der vzlogger die alten Daten nur unter Vorbehalt noch mal schreiben. Am besten wenn er das der MW im Request mitteilen kann. Dann könnte die MW Das wäre auch eine Variante. Einer muss die Probleme halt aussortieren. Entweder der vzl schaut anhand der Fehlermeldung welcher Timestamp problematisch war (und muss das ggf. mehrfach machen) oder er sagt der MW nimm halt was geht- aber z.B. erst bei einem Retry. Die Variante gefällt mir ganz gut da sie sich auch für vzclient anbieten würde. Muss ich mal recherchieren. noch bei so einer DB-Meldung prüfen, ob sie tatsächlich die gleichen Daten noch mal schreiben will. Da der neue Request vom vzlogger dann alte und neue Daten umfasst, muss man das auch Satzweise prüfen... Ehrm. Genau- gleicher Gedanke ;) Hab leider auch zu wenig Zeit um mich in den SourceCode von vzlogger und MW einzuarbeiten, sonst würde ich da gerne helfen. Mit welchen Tools wird da eigentlich entwickelt? Doch nicht Editor und Make, oder? Kann mir jemand beschreiben, wie ich einen Debugger auf vzlogger bzw. auf die MW ansetze? Vmtl. Rainer? LG Thomas. vg Andreas On Mon, 7 Jul 2014 11:27:55 +0200, Andreas Goetz cpui...@gmail.com wrote: Moin Thomas, 2014-07-07 11:19 GMT+02:00 tho...@gauweiler.org: Das ist doch nur das Folgeproblem. Das eigentliche Problem ist ein Kommunikationsproblem: vzlogger bricht einen HTTP-Request mit timeout ab, während die Middleware den Request noch fertig bearbeitet. Warum auch immer, ja. Jetzt stehen die Daten in der DB aber vzlogger meint, dass sie noch nicht drin sind. Und erst beim nächsten Versuch des vzloggers kommt es dann zur DB-Meldung, dass dieser Zeitstempel schon in der DB steht. Genau. Aber worauf willst Du hinaus? Letzlich kann nur der Logger wissen ob oder dass es safe ist die Daten jetzt zu verwerfen. Einem anderen Client bzw. dem Anwender muss die MW solche Meldungen sehrwohl präsentieren. Grüße, Thomas Oder worin besteht Dein Vorschlag? vg Andreas On Sun, 6 Jul 2014 22:40:50 +0200, Andreas Götz cpui...@gmail.com wrote: Hi, An der Fehlermeldung der MW? Woher soll den umgekehrt die MW wissen welche App problematisch ist so dass sie deren Daten verwerfen soll ohne Fehlermeldung? M.e. Gehört das in den Logger. Viele Grüße, Andreas Am 06.07.2014 um 22:04 schrieb Udo1 u...@gmx.net: Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Das ist doch nur das Folgeproblem. Das eigentliche Problem ist ein Kommunikationsproblem: vzlogger bricht einen HTTP-Request mit timeout ab, während die Middleware den Request noch fertig bearbeitet. Jetzt stehen die Daten in der DB aber vzlogger meint, dass sie noch nicht drin sind. Und erst beim nächsten Versuch des vzloggers kommt es dann zur DB-Meldung, dass dieser Zeitstempel schon in der DB steht. Grüße, Thomas On Sun, 6 Jul 2014 22:40:50 +0200, Andreas Götz cpui...@gmail.com wrote: Hi, An der Fehlermeldung der MW? Woher soll den umgekehrt die MW wissen welche App problematisch ist so dass sie deren Daten verwerfen soll ohne Fehlermeldung? M.e. Gehört das in den Logger. Viele Grüße, Andreas Am 06.07.2014 um 22:04 schrieb Udo1 u...@gmx.net: Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Moin Thomas, 2014-07-07 11:19 GMT+02:00 tho...@gauweiler.org: Das ist doch nur das Folgeproblem. Das eigentliche Problem ist ein Kommunikationsproblem: vzlogger bricht einen HTTP-Request mit timeout ab, während die Middleware den Request noch fertig bearbeitet. Warum auch immer, ja. Jetzt stehen die Daten in der DB aber vzlogger meint, dass sie noch nicht drin sind. Und erst beim nächsten Versuch des vzloggers kommt es dann zur DB-Meldung, dass dieser Zeitstempel schon in der DB steht. Genau. Aber worauf willst Du hinaus? Letzlich kann nur der Logger wissen ob oder dass es safe ist die Daten jetzt zu verwerfen. Einem anderen Client bzw. dem Anwender muss die MW solche Meldungen sehrwohl präsentieren. Grüße, Thomas Oder worin besteht Dein Vorschlag? vg Andreas On Sun, 6 Jul 2014 22:40:50 +0200, Andreas Götz cpui...@gmail.com wrote: Hi, An der Fehlermeldung der MW? Woher soll den umgekehrt die MW wissen welche App problematisch ist so dass sie deren Daten verwerfen soll ohne Fehlermeldung? M.e. Gehört das in den Logger. Viele Grüße, Andreas Am 06.07.2014 um 22:04 schrieb Udo1 u...@gmx.net: Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo, heute schon wieder :-( Gibt es eine Hoffnung die middleware so anzupassen, dass bei duplicate-Problemen der Satz einfach verworfen werden kann? VG Albert Am 2. Juli 2014 21:56 schrieb Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, wie komplex ist es denn dies einzubauen? Und wer kann das eigentlich machen (ich selber sehe mich leider nicht in der Lage)? Viele Grüsse, Albert Am 30. Juni 2014 16:05 schrieb Andreas Götz cpui...@gmail.com: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Viele Grüße, Andreas Am 30.06.2014 um 14:27 schrieb Rainer Gauweiler volkszaeh...@moppl.inka.de: Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: (oom_kill_process+0x2b8/0x438) from [c009dc50] (out_of_memory+0x27c/0x2c8) Liest sich als würde Deinem System der Speicher ausgehen. [Jun 22 00:57:50][chn0] CURL: Timeout was reached Da war Dein Webserver auf der synology nicht erreichbar. [Jun 22 00:58:22][chn1] CURL Error from middleware: 'DBALException': 'An exception occurred while executing 'INSERT INTO data (timestamp, value, channel_id) VALUES (?, ?, ?)' with params [1403391440635, 951536.3, 1]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1-1403391440635' Zu diesem Zeitstempel steht in diesem Channel schon etwas. Ich denke bei Dir passiert folgendes: a) Es tritt irgendeine race condition auf. Webserver nicht erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche Aufräumprozesse laufen die den Webserver kurzfristig ab- und wieder anschalten b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder c) vzlogger bekommt die Daten nicht los und speichert sie im Hauptspeicher - der ist irgendwann voll Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein Muster gefunden? Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Nein! Die Funktion gehört in den Logger... Viele Grüße, Andreas Am 06.07.2014 um 16:24 schrieb Albert Dahmen albert.dah...@gmail.com: Hallo, heute schon wieder :-( Gibt es eine Hoffnung die middleware so anzupassen, dass bei duplicate-Problemen der Satz einfach verworfen werden kann? VG Albert Am 2. Juli 2014 21:56 schrieb Albert Dahmen albert.dah...@gmail.com: Hallo Andreas, wie komplex ist es denn dies einzubauen? Und wer kann das eigentlich machen (ich selber sehe mich leider nicht in der Lage)? Viele Grüsse, Albert Am 30. Juni 2014 16:05 schrieb Andreas Götz cpui...@gmail.com: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Viele Grüße, Andreas Am 30.06.2014 um 14:27 schrieb Rainer Gauweiler volkszaeh...@moppl.inka.de: Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: (oom_kill_process+0x2b8/0x438) from [c009dc50] (out_of_memory+0x27c/0x2c8) Liest sich als würde Deinem System der Speicher ausgehen. [Jun 22 00:57:50][chn0] CURL: Timeout was reached Da war Dein Webserver auf der synology nicht erreichbar. [Jun 22 00:58:22][chn1] CURL Error from middleware: 'DBALException': 'An exception occurred while executing 'INSERT INTO data (timestamp, value, channel_id) VALUES (?, ?, ?)' with params [1403391440635, 951536.3, 1]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1-1403391440635' Zu diesem Zeitstempel steht in diesem Channel schon etwas. Ich denke bei Dir passiert folgendes: a) Es tritt irgendeine race condition auf. Webserver nicht erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche Aufräumprozesse laufen die den Webserver kurzfristig ab- und wieder anschalten b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder c) vzlogger bekommt die Daten nicht los und speichert sie im Hauptspeicher - der ist irgendwann voll Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein Muster gefunden? Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hi, An der Fehlermeldung der MW? Woher soll den umgekehrt die MW wissen welche App problematisch ist so dass sie deren Daten verwerfen soll ohne Fehlermeldung? M.e. Gehört das in den Logger. Viele Grüße, Andreas Am 06.07.2014 um 22:04 schrieb Udo1 u...@gmx.net: Am 06.07.2014 16:27, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Wie soll vzlogger solche DB Integrity Constraint Fehler erkennen? Das ist doch ein Datenbank-Problem. Oder sehe ich das falsch? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Andreas, wie komplex ist es denn dies einzubauen? Und wer kann das eigentlich machen (ich selber sehe mich leider nicht in der Lage)? Viele Grüsse, Albert Am 30. Juni 2014 16:05 schrieb Andreas Götz cpui...@gmail.com: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Viele Grüße, Andreas Am 30.06.2014 um 14:27 schrieb Rainer Gauweiler volkszaeh...@moppl.inka.de: Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: (oom_kill_process+0x2b8/0x438) from [c009dc50] (out_of_memory+0x27c/0x2c8) Liest sich als würde Deinem System der Speicher ausgehen. [Jun 22 00:57:50][chn0] CURL: Timeout was reached Da war Dein Webserver auf der synology nicht erreichbar. [Jun 22 00:58:22][chn1] CURL Error from middleware: 'DBALException': 'An exception occurred while executing 'INSERT INTO data (timestamp, value, channel_id) VALUES (?, ?, ?)' with params [1403391440635, 951536.3, 1]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1-1403391440635' Zu diesem Zeitstempel steht in diesem Channel schon etwas. Ich denke bei Dir passiert folgendes: a) Es tritt irgendeine race condition auf. Webserver nicht erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche Aufräumprozesse laufen die den Webserver kurzfristig ab- und wieder anschalten b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder c) vzlogger bekommt die Daten nicht los und speichert sie im Hauptspeicher - der ist irgendwann voll Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein Muster gefunden? Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert! Wenn Frontend und Datenbank auf deiner NAS laufen, warum nutzt du dann nicht auch dort die Middleware? Dann bräuchtest du gar keinen Apache mehr auf dem raspberryPI Schönen Gruß Nils
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: (oom_kill_process+0x2b8/0x438) from [c009dc50] (out_of_memory+0x27c/0x2c8) Liest sich als würde Deinem System der Speicher ausgehen. [Jun 22 00:57:50][chn0] CURL: Timeout was reached Da war Dein Webserver auf der synology nicht erreichbar. [Jun 22 00:58:22][chn1] CURL Error from middleware: 'DBALException': 'An exception occurred while executing 'INSERT INTO data (timestamp, value, channel_id) VALUES (?, ?, ?)' with params [1403391440635, 951536.3, 1]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1-1403391440635' Zu diesem Zeitstempel steht in diesem Channel schon etwas. Ich denke bei Dir passiert folgendes: a) Es tritt irgendeine race condition auf. Webserver nicht erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche Aufräumprozesse laufen die den Webserver kurzfristig ab- und wieder anschalten b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder c) vzlogger bekommt die Daten nicht los und speichert sie im Hauptspeicher - der ist irgendwann voll Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein Muster gefunden? Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo, Am 30.06.2014 16:05, schrieb Andreas Götz: Wäre es evtl sinnvoll vzlogger die Möglichkeit zu geben insbesondere bei DB Integrity Constraint Fehlern eine bestimmte Anzahl von Datensätzen zu verwerfen? Klar, ansonsten kann vzlogger die Daten ja nie los werden. Allerdings ist die Frage woher diese Fehler überhaupt kommen. Bei microtimestamps kann ich mir schwer vorstellen, dass es da einen doppelten Datenpunkt zur selben Zeit gibt. Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Rainer, nein, ein Muster finde ich nicht :-( Jetzt läuft es auch schon wieder seit ein paar Tagen durch. Mit WLAN kann es nicht zusammen hängen, da der PI direkt am Router hängt und da auch direkt die Synology dran ist. Per cron habe ich folgendes eingestellt: * 2 * * * /usr/bin/php /var/www/volkszaehler.org/misc/tools/aggregate.php -m delta -l day aggregate 9 * * * * /usr/bin/php /var/www/volkszaehler.org/misc/tools/aggregate.php -m delta -l hour aggregate 0 3 * * * /usr/bin/php /var/www/volkszaehler.org/misc/tools/vzcompress2.php Vielleicht hängt es ja damit zusammen ... Die Fehler treten immer dann auf, wenn zuvor diverse Male der timeout kommt. Also irgendwie steht das im Zusammenhang ... Aber warum der timeout kommt -- keine Ahnung. Eigentlich ist die Synology 7x24 am Laufen Wenn man per config einstellen könnte, dass doppelte Sätze ignoriert werden sollen (ignore_duplicates mit yes oder no), dann würde es sicher helfen. VG Albert Am 30. Juni 2014 14:27 schrieb Rainer Gauweiler volkszaeh...@moppl.inka.de : Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: (oom_kill_process+0x2b8/0x438) from [c009dc50] (out_of_memory+0x27c/0x2c8) Liest sich als würde Deinem System der Speicher ausgehen. [Jun 22 00:57:50][chn0] CURL: Timeout was reached Da war Dein Webserver auf der synology nicht erreichbar. [Jun 22 00:58:22][chn1] CURL Error from middleware: 'DBALException': 'An exception occurred while executing 'INSERT INTO data (timestamp, value, channel_id) VALUES (?, ?, ?)' with params [1403391440635, 951536.3, 1]: SQLSTATE[23000]: Integrity constraint violation: 1062 Duplicate entry '1-1403391440635' Zu diesem Zeitstempel steht in diesem Channel schon etwas. Ich denke bei Dir passiert folgendes: a) Es tritt irgendeine race condition auf. Webserver nicht erreichbar, weil WLan nachts deaktiviert ist oder irgendwelche Aufräumprozesse laufen die den Webserver kurzfristig ab- und wieder anschalten b) vzlogger kommt aus dem Tritt und fängt sich nicht wieder c) vzlogger bekommt die Daten nicht los und speichert sie im Hauptspeicher - der ist irgendwann voll Inzwischen sind ja schon ein paar Tage vergangen - hast Du ein Muster gefunden? Gruss Rainer
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: Kann es an einem zu schwachen Netzteil liegen? Welches kann mir hier empfohlen werden? Von meiner Seite kann ich nur empfehlen ein Netzteil zu verwenden das 2-2,5A liefern kann, z.B. das hier: http://www.exp-tech.de/Zubehoer/Netzteil/HNP15-050-5V-2-5A-Steckernetzteil-15W.html Das sollte an der kleinen Erweiterung angeschlossen werden und versorgt auch den RPi. Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Kann denn die Stromversorgung damit zusammenhängen, ob vzlogger als daemon korrekt startet? Am 22. Juni 2014 11:38 schrieb Udo1 u...@gmx.net: Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: Kann es an einem zu schwachen Netzteil liegen? Welches kann mir hier empfohlen werden? Von meiner Seite kann ich nur empfehlen ein Netzteil zu verwenden das 2-2,5A liefern kann, z.B. das hier: http://www.exp-tech.de/Zubehoer/Netzteil/HNP15-050- 5V-2-5A-Steckernetzteil-15W.html Das sollte an der kleinen Erweiterung angeschlossen werden und versorgt auch den RPi. Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Moin, 2014-06-22 11:38 GMT+02:00 Udo1 u...@gmx.net: Hallo Albert, Am 22.06.2014 11:18, schrieb Albert Dahmen: Kann es an einem zu schwachen Netzteil liegen? Welches kann mir hier empfohlen werden? Denke das ist ziemlich wahrscheinlich. Es liegt aber nicht unbedingt nur am Netzteil sondern daran wie es angeschlossen ist. Über den Micro USB Anschluss verliert der Raspi einiges an Eingansspannung was- insbesondere wenn noch Erweiterungen oder USB Geräte angeschlossen sind (WLAN Stick?)- schnell dazu führen kann dass die Spannung für stabilen Betrieb nicht ausreicht. Model A ohne Ethernet ist da übrigens etwas genügsamer und der Grund warum ich meinen VZ auf einem Model A mit WLAN Stick und Strom über USB Anschluss betreibe. Der Model B in der gleichen Konfiguration lief nicht stabil. Von meiner Seite kann ich nur empfehlen ein Netzteil zu verwenden das 2-2,5A liefern kann, z.B. das hier: http://www.exp-tech.de/Zubehoer/Netzteil/HNP15-050- 5V-2-5A-Steckernetzteil-15W.html Das sollte an der kleinen Erweiterung angeschlossen werden und versorgt auch den RPi. Das geht letztlich auch ohne Udo's Erweiterung über die richtigen Pins der Pfostenleiste. Aber Achtung- in dem Fall gibts keine Sicherung zwischen Netzteil und Raspi, hier sollte man sich also der Spannung/ Polung sicher sein und wissen was man tut. Gruß Udo vg Andreas
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Am 22.06.2014 12:34, schrieb Albert Dahmen: Kann denn die Stromversorgung damit zusammenhängen, ob vzlogger als daemon korrekt startet? Eine zu schwache Spannungsversorgung kann für alle möglichen und unmöglichen Fehler verantwortlich sein. Was hast du denn bis jetzt daran angeschlossen und wo angeschlossen? Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Am 22.06.2014 12:42, schrieb Andreas Goetz: Das geht letztlich auch ohne Udo's Erweiterung über die richtigen Pins der Pfostenleiste. Das ist richtig. Mein Hinweis bezog sich darauf, dass er ja die kleine Erweiterung hat. Der Spannungsversorgungsanschluss an der kleinen Erweiterung ist gegen Verpolung geschützt. Gruß Udo
Re: [vz-users] Massive Probleme ... vzlogger läuft nicht mehr ...
Hallo Albert, Am 22.06.2014 13:30, schrieb Albert Dahmen: also, ich habe nur den IR-Kopf direkt angeschlossen (ohne HUB) und dann die kleine Erweiterungsplatine (wo dann ein einzelner Reed-Kontakt hängt). Mehr nicht ... Meine Frage bezog sich mehr auf das Netzteil. Wo ist das angeschlossen und um was für ein Netzteil handelt es sich? Wieviel Strom kann das liefern? Gruß Udo
