Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

John Doe Sun, 02 Jun 2019 09:46:42 -0700

Hallo Andreas,

der letzte Tip hat funktioniert:

Nach Installation von php-sqlite3 scheint es durchgelaufen zu sein:

$ /var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.yaml
Creating target schema
Creating tables
Updating schema assets for target platform compatibility: sqlite
table: aggregate
table: data
table: entities
table: entities_in_aggregator
table: properties

Ish schaue mir jetzt mal die Kopie an und versuche evtl mal eine Rücksicherung.

Bis hierhin danke für Deine Geduld !

Grüße,

JD.

Sent: Sunday, June 02, 2019 at 6:22 PM
From: "Andreas Goetz" <cpui...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

Deinem PHP fehlt das richtige Modul:

In AbstractSQLiteDriver.php line 70:

An exception occurred in driver: could not find driver

Aktuell keine Idee woher wenn:

apt-get update

apt-get install php-sqlite3 (oder php-sqlite)

nicht funktioniert.

Sorry :(

On 2. Jun 2019, at 18:18, John Doe <john...@null.net> wrote:
Hallo Andreas,

die dbcopy.yaml habe ich, bis auf die User-Daten, erst mal so gelassen:
# DATABASE DEFINITION
source:
driver: pdo_mysql
host: localhost
user: vz
password: demo
dbname: volkszaehler

target:
driver: pdo_sqlite
host: localhost
user: root
password: raspberry
dbname: volkszaehler_backup
path: sqlite.db3              # path is only used if driver = pdo_sqlite

# influxdb target database connection
influx:
dsn: influxdb://localhost:8086
dbname: volkszaehler
measurement: data

# DATABASE DEFINITION
source:
driver: pdo_mysql
host: localhost
user: vz
password: demo
dbname: volkszaehler

target:
driver: pdo_sqlite
host: localhost
user: root
password: raspberry
dbname: volkszaehler_backup
path: sqlite.db3              # path is only used if driver = pdo_sqlite

# influxdb target database connection
influx:
dsn: influxdb://localhost:8086
dbname: volkszaehler
measurement: data

# TABLE DEFINITION
# ----------------
# tables will be processed in the order they are mentioned:
#               - foreign keys on target will be dropped
#               - if a table is not listed here, it will not be touched
# transfer mode
#               skip:           table will not be copied
#               copy:

Der analoge Aufruf endet wie vorher:

pi@raspberrypi:~ $ /var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.yaml
Creating target schema
Creating tables
Updating schema assets for target platform compatibility: sqlite
table: aggregate
table: data
table: entities
table: entities_in_aggregator
table: properties
CREATE TABLE aggregate (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, type SMALLINT NOT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, count INTEGER NOT NULL, CONSTRAINT FK_B77949FF72F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX aggregate_unique ON aggregate (channel_id, type, timestamp)
CREATE INDEX IDX_B77949FF72F5A1AA ON aggregate (channel_id)
CREATE TABLE data (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, CONSTRAINT FK_ADF3F36372F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX data_unique ON data (channel_id, timestamp)
CREATE INDEX IDX_ADF3F36372F5A1AA ON data (channel_id)
CREATE TABLE entities (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, uuid VARCHAR(36) NOT NULL, type VARCHAR(255) NOT NULL, class VARCHAR(255) NOT NULL)
CREATE UNIQUE INDEX UNIQ_50EC64E5D17F50A6 ON entities (uuid)
CREATE TABLE entities_in_aggregator (parent_id INTEGER NOT NULL, child_id INTEGER NOT NULL, PRIMARY KEY(parent_id, child_id), CONSTRAINT FK_2BD88468727ACA70 FOREIGN KEY (parent_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE, CONSTRAINT FK_2BD88468DD62C21B FOREIGN KEY (child_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE INDEX IDX_2BD88468DD62C21B ON entities_in_aggregator (child_id)
CREATE INDEX IDX_2BD88468727ACA70 ON entities_in_aggregator (parent_id)
CREATE TABLE properties (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, entity_id INTEGER DEFAULT NULL, pkey VARCHAR(255) NOT NULL, value CLOB NOT NULL, CONSTRAINT FK_87C331C781257D5D FOREIGN KEY (entity_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX property_unique ON properties (entity_id, pkey)
CREATE INDEX IDX_87C331C781257D5D ON properties (entity_id)
In AbstractSQLiteDriver.php line 70:

An exception occurred in driver: could not find driver

In PDOConnection.php line 31:

could not find driver

In PDOConnection.php line 27:

could not find driver

create [-c|--config CONFIG]

Grüße,

JD.
Sent: Sunday, June 02, 2019 at 5:59 PM
From: "Andreas Goetz" <cpui...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?
Genau da wo Du die .json gefunden hast- vorausgesetzt es ist ein aktuellen vz/dbcopy.

Diese etc/dbcopy.dist.yaml kopierst Du nach etc/dbcopy.yaml (oder wohin Du willst) und passt die dann Deinen Bedürfnissen an.

Viele Grüße,

Andreas
PS.: dass aktuelles dbcopy keine .json Konfigurationen mehr kann hatte ich ich vorher schonmal geschrieben ;)
On 2. Jun 2019, at 17:57, John Doe <john...@null.net> wrote:
Hallo Andreas,

ich rufe dbcopy so auf, wie es im wiki steht:

/var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.json

Wo finde ich die yaml-Datei ?

Grüße,

JD.
Sent: Sunday, June 02, 2019 at 5:42 PM
From: "Andreas Goetz" <cpui...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?
Bevor es hektisch wird: hast Du sichergestellt, dass Dein aktuelles (?) dbcopy eine aktuelle Konfigurationsdatei im yaml Format hat?

Wie sieht die aus und wie rufst Du’s auf?

Viele Grüße, Andreas
On 2. Jun 2019, at 15:21, John Doe <john...@null.net> wrote:
Hallo Andreas,

wie ich weiter oben schrieb, habe ich das funktionierende Image benutzt.

das phpmyAdmin dort nicht enthalten ist, wußte ich nicht.

Was kann ich denn noch versuchen, um eine funktionierende Kopie der DB analog zum wiki zu erstellen ?

Die Suche nach dem Paket php-sqlite ergibt das hier:

sudo apt-get install php-sqlite
Reading package lists... Done
Building dependency tree
Reading state information... Done
Package php-sqlite is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'php-sqlite' has no installation candidate

Falls ich phpmyadmin nachinstalliere: Welchen Webserver soll ich wählen ? Was muß ich konfigurieren ?

Grüße,

JD.
Sent: Sunday, June 02, 2019 at 2:48 PM
From: "Andreas Götz" <cpui...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?
Welche Url versucht das Frontend da zu öffnen? Siehst Du in der Debug Konsole des Browsers

Viele Grüße,
Andreas

Ps.: warum bei Neustart nicht einfach das- funktionierende- Image nehmen?

Am 02.06.2019 um 13:36 schrieb John Doe <john...@null.net>:
Hallo zusammen,

noch etwas ist mir bei der Neuinstallation aufgefallen: das phpMaAdmin-WebIF ist nicht erreichbar, Firefox zeit lediglich
{"version":"0.3","exception":{"message":"Missing format","type":"Exception","code":0}}
 

Hat jemand einen Tip, was ich da tun könnte ?

 

Grüße,

 

JD.
Sent: Sunday, June 02, 2019 at 12:05 PM
From: "Andreas Goetz" <cpui...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

Die Meldung ist ziemlich eindeutig: deinem PHP scheint das Modul für SQlite zu fehlen. DU musst aber auch nicht zwingend SQlite nehmen. Genauso kannst DU auch ein Backup in eine andere MySQL DB machen (z.B. auf einen Server).

Achtung: in aktuellen Versionen ist aus dbcopy.json ein dbcopy.yaml geworden, findest Du im etc Ordner.

Viele Grüße,

Andreas

On 2. Jun 2019, at 11:43, John Doe <john...@null.net> wrote:

Hallo zusammen,

nach dem bekannten Crash habe ich nun meinen VZ mit dem letzten Image (https://demo.volkszaehler.org/downloads/volkszaehler_latest.zip) neu aufgesetzt. Schade, aber passiert. Alles läuft soweit. Damit das ursächliche Problem nicht wieder, oder zumindest nicht weider so auftritt, aheb ich mich mit dem Wiki zum Thema dbcopy (https://wiki.volkszaehler.org/software/tools/dbcopy) beschäftigt. Wenn ich ein

/var/www/volkszaehler.org/vendor/bin/dbcopy create -c /etc/dbcopy.json

anstoße, mündet dies in Folgendem:

Creating target schema
Creating tables
Updating schema assets for target platform compatibility: sqlite
table: aggregate
table: data
table: entities
table: entities_in_aggregator
table: properties
CREATE TABLE aggregate (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, type SMALLINT NOT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, count INTEGER NOT NULL, CONSTRAINT FK_B77949FF72F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX aggregate_unique ON aggregate (channel_id, type, timestamp)
CREATE INDEX IDX_B77949FF72F5A1AA ON aggregate (channel_id)
CREATE TABLE data (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, channel_id INTEGER DEFAULT NULL, timestamp BIGINT NOT NULL, value DOUBLE PRECISION NOT NULL, CONSTRAINT FK_ADF3F36372F5A1AA FOREIGN KEY (channel_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX data_unique ON data (channel_id, timestamp)
CREATE INDEX IDX_ADF3F36372F5A1AA ON data (channel_id)
CREATE TABLE entities (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, uuid VARCHAR(36) NOT NULL, type VARCHAR(255) NOT NULL, class VARCHAR(255) NOT NULL)
CREATE UNIQUE INDEX UNIQ_50EC64E5D17F50A6 ON entities (uuid)
CREATE TABLE entities_in_aggregator (parent_id INTEGER NOT NULL, child_id INTEGER NOT NULL, PRIMARY KEY(parent_id, child_id), CONSTRAINT FK_2BD88468727ACA70 FOREIGN KEY (parent_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE, CONSTRAINT FK_2BD88468DD62C21B FOREIGN KEY (child_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE INDEX IDX_2BD88468727ACA70 ON entities_in_aggregator (parent_id)
CREATE INDEX IDX_2BD88468DD62C21B ON entities_in_aggregator (child_id)
CREATE TABLE properties (id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, entity_id INTEGER DEFAULT NULL, pkey VARCHAR(255) NOT NULL, value CLOB NOT NULL, CONSTRAINT FK_87C331C781257D5D FOREIGN KEY (entity_id) REFERENCES entities (id) NOT DEFERRABLE INITIALLY IMMEDIATE)
CREATE UNIQUE INDEX property_unique ON properties (entity_id, pkey)
CREATE INDEX IDX_87C331C781257D5D ON properties (entity_id)
In AbstractSQLiteDriver.php line 70:

An exception occurred in driver: could not find driver

In PDOConnection.php line 31:

could not find driver

In PDOConnection.php line 27:

could not find driver

create [-c|--config CONFIG]

Hat jemand eine Idee, woran das liegen kann ?

Grüße,

JD.

Sent: Sunday, June 02, 2019 at 12:04 AM
From: "Frank Richter" <frank.richte...@gmail.com>
To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

Das MW-Update rührt die DB nicht an. Zu dem Zeitpunkt hätten wir dir noch helfen können, das ganze wieder zum Laufen zu bringen. Jetzt wohl leider nicht mehr.

Grüße

Frank

John Doe <john...@null.net> schrieb am Sa., 1. Juni 2019, 23:49:

Hallo Frank,

ich habe den Zustand der Karte vor dem Wiedereinspielen des Images leider nicht gesichert.
Und ich glaube doch, dass das middleware-Update das ursprüngliche Problem war - danach ist das Webfrontend schon nicht mehr gelaufen.
Grüße,

JD.

> Sent: Saturday, June 01, 2019 at 11:24 PM
> From: "Frank Richter" <frank.richte...@gmail.com>
> To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org>
> Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?
>
> Hi,
>
> das Middleware-Update hat deine DB sehr sicher nicht zerstört, das ist erst
> passiert als du dein kaputtes Image zurückgespielt hast. Wahrscheinlich
> hättest du nach dem Update nur die Datenbank-Config anpassen müssen (das
> Configfile heißt jetzt anders).
>
> Du hast den Zustand der Speicherkarte vor Wiederherstellung des Images
> nicht zufällig gesichert, oder?!
>
> Viele Grüße
> Frank
>
> John Doe <john...@null.net> schrieb am Sa., 1. Juni 2019 23:03:
>
> > Hallo Andreas,
> >
> > gibt es irgendeine Möglichkeit, per Konsole die Integrität der DB zu
> > überprüfen? Per phpmyadmin kann ich ja bekanntermaßen auch nicht
> > anmelden...
> > Hätte ich die Ursache, nämlich meinen Updateversuch der middleware,
> > vermeiden können?
> > Grüße,
> >
> > JD.
> >
> > > Sent: Saturday, June 01, 2019 at 10:46 PM
> > > From: "Andreas Götz" <cpui...@gmail.com>
> > > To: "volkszaehler.org - users" <volkszaehler-users@demo.volkszaehler.org
> > >
> > > Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu
> > Retten ?
> > >
> > > Leider keine Idee. Der Matsch sollte Klartext sein. Ich fürchte Du hast
> > keine guten Karten.
> > >
> > > Mir bleibt nur der Tipp mit dbcopy für künftige Backups- tut mir leid :/
> > >
> > > Viele Grüße,
> > > Andreas
> > >
> > > > Am 01.06.2019 um 20:01 schrieb John Doe <john...@null.net>:
> > > >
> > > > Hallo Andreas,
> > > >
> > > > vielen Dank für Deine Antwort.
> > > >
> > > > Unter /var/log/ befindet sich bei mir keine mysql.log, unter
> > /var/log/mysql/ befindet sich eine error.log. Wie komme ich an die Einträge
> > ? Ein
> > > >
> > > > cat /var/log/mysql/error.log ergibt nur "Matsch" ...
> > > >
> > > > Sent: Saturday, June 01, 2019 at 7:45 PM
> > > > From: "Andreas Götz" <cpui...@gmail.com>
> > > > To: "volkszaehler.org - users" <
> > volkszaehler-users@demo.volkszaehler.org>
> > > > Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu
> > Retten ?
> > > > Deine Datenbank ist vmtl tot. Schau mal ins mysql log.
> > > >
> > > > Viele Grüße,
> > > > Andreas
> > > >
> > > > Ps.: Ich glaube dd aus einem Livesystem ist ein no go.
> > > >
> > > > Am 01.06.2019 um 19:30 schrieb John Doe <john...@null.net>:
> > > >
> > > > Hallo zusammen,
> > > >
> > > > noch mal ein kleines Update:
> > > >
> > > > Meine vzlogger.conf ist noch da und sieht so aus:
> > > >
> > > >
> > > > "retry": 0,
> > > > "daemon": true,
> > > > "verbosity": 0,
> > > > "log": "/var/log/vzlogger.log",
> > > > "local": {
> > > > "enabled": false,
> > > > "port": 8080,
> > > > "index": false,
> > > > "timeout": 0,
> > > > "buffer": 0
> > > > },
> > > > "meters": [
> > > > {
> > > > "enabled": true,
> > > > "allowskip": false,
> > > > "interval": -1,
> > > > "aggtime": 30,
> > > > "aggfixedinterval": false,
> > > > "channels": [
> > > > {
> > > > "uuid": "07b54520-1d9d-11e8-981e-27a436381559",
> > > > "identifier": "1-0:1.8.1*255",
> > > > "api": "volkszaehler",
> > > > "middleware": "http://localhost/middleware.php",
> > > > "secretKey": "",
> > > > "type": "device",
> > > > "scaler": 1,
> > > >
> > > > Grüße,
> > > >
> > > > JD:
> > > >
> > > > Sent: Saturday, June 01, 2019 at 7:07 PM
> > > > From: "John Doe" <john...@null.net>
> > > > To: volkszaehler-users@demo.volkszaehler.org
> > > > Cc: volkszaehler-users@demo.volkszaehler.org
> > > > Subject: Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu
> > Retten ?
> > > > Hallo Community,
> > > >
> > > > noch ein kleines Update:
> > > >
> > > > Nach Aufruf des Webfrontends erscheint eine Fehlermeldung im separaten
> > Fenster:
> > > >
> > > > " middleware.php/entity.json?unique=1559401473030:
> > > >
> > > > An exception occured in driver: SQLSTATE[HY000] [2002] Connection
> > refused "
> > > >
> > > > Kann ich noch weitere Infos liefern ? Wo befindet sich die DB ? Wie
> > kann ich meine UIDs der Zähler noch retten ?
> > > >
> > > > Besten Dank im Voraus,
> > > >
> > > > JD.
> > > >
> > > > Sent: Saturday, June 01, 2019 at 7:00 PM
> > > > From: "John Doe" <john...@null.net>
> > > > To: volkszaehler-users@demo.volkszaehler.org
> > > > Cc: "volkszaehler.org - users" <
> > volkszaehler-users@demo.volkszaehler.org>
> > > > Subject: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?
> > > > Hallo zusammen,
> > > >
> > > > nach einem Update-Versuch der Middleware analog zum wiki hat mir das
> > > >
> > > > composer update
> > > > zunächst ein paar Meldungen bezüglich fehlendem php 7.1 geliefert. Ein
> > Aufruf des Webfrontends endete da schon mit verlorenen Kanälen.
> > > > Nun habe ich (ja ich weiß, bitte keine Maßregelung) ein vom laufenden
> > System mittels dd erstelltes Image zurückgespielt. Das System läuft, aber
> > leider sind immer noch meine beiden Kanäle weg.
> > > >
> > > > Gibt es eine Möglichkeit, die auf der Karte evtl. noch vorhandenen
> > Reste der DB wieder zu reaktivieren ?
> > > > Vielen Dank im Voraus,
> > > >
> > > > JD.
> > >
> >
>

Re: [vz-users] SD-Kartencrash nach Update - noch etwas zu Retten ?

Antwort per Email an