Re: [Wikitech-l] How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

2018-10-15 Thread Daniel Kinzler 
Am 15.10.2018 um 12:45 schrieb Eran Rosenthal:
> I'm not sure Wikidata/Wikibase is the right platform for real-time/near
> real time data or such raw data from sensors.

Indeed. This is a very common misunderstanding. I wonder how it can be avoided.

Perhaps it would help to present Wikidata more directly as a collaborative
semantic modeling tool, rather than a data collection.

In my mind, the collaborative modeling is the important and novel thing in
Wikidata. There are better tools for collecting bulk data.

-- 
Daniel Kinzler
Principal Software Engineer, Core Platform
Wikimedia Foundation

___
Wikitech-l mailing list
Wikitech-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikitech-l

Re: [Wikitech-l] How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

2018-10-15 Thread Lydia Pintscher 
On Mon, Oct 15, 2018 at 12:46 PM Eran Rosenthal  wrote:
> I'm not sure Wikidata/Wikibase is the right platform for real-time/near
> real time data or such raw data from sensors.
>
> Dependening on the usage I think the following should be considered:
> * What resultion (time resolution/spatial resolution) is really needed for
> readers? (Probably averaging/down sampling is required anyway)
> * Consider whether Wikibase is the right platform for it, or maybe Commons
> (see Help:Map_Data
>  
> and
> Help:Tabular_Data
> 
>  )

Yes. I agree with what Eran said. This seems like a case where you'd
not be very happy with Wikibase for all the data - but maybe a
meaningful subset of it.


Cheers
Lydia

-- 
Lydia Pintscher - http://about.me/lydia.pintscher
Product Manager for Wikidata

Wikimedia Deutschland e.V.
Tempelhofer Ufer 23-24
10963 Berlin
www.wikimedia.de

Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.

Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.

___
Wikitech-l mailing list
Wikitech-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikitech-l

Re: [Wikitech-l] How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

2018-10-15 Thread Eran Rosenthal 
I'm not sure Wikidata/Wikibase is the right platform for real-time/near
real time data or such raw data from sensors.

Dependening on the usage I think the following should be considered:
* What resultion (time resolution/spatial resolution) is really needed for
readers? (Probably averaging/down sampling is required anyway)
* Consider whether Wikibase is the right platform for it, or maybe Commons
(see Help:Map_Data
 and
Help:Tabular_Data

 )

Regards,
Eran






On Mon, Oct 15, 2018 at 12:21 PM Mathieu Lovato Stumpf Guntz <
psychosl...@culture-libre.org> wrote:

> Hello,
>
> That might not be the most appropriate canal for this question, but I
> didn't have a better idea, so please let me know if you have better
> suggestion for my future demands.
>
> So, if you read French you can read the thread bellow, but basically to
> give some context to my question, we are looking at possible partnership
> with spatial agencies to feed the Wikimedia world with data. Depending
> on what we ask and achieve to make as agreement, the volume they could
> provide would be possibly really huge, with a given example of
> 1Go/minute for a single satellite.
>
> So my question is how much data should we aim at collecting, and
> depending on the volume, what transfer process should we use?
>
> Cheers
>
>
>
>  Message transféré 
> Sujet : Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES
> Date :  Sun, 8 Apr 2018 13:06:00 +0200
> De :Sébastien Dinot 
> Répondre à :Sébastien Dinot 
> Pour :  Xavier Cailleau 
> Copie à :   g...@lists.wikimedia.fr, toulo...@lists.wikimedia.fr,
> Liste
> OSM Toulouse ,
> c...@listes.openstreetmap.fr, wikid...@lists.wikimedia.fr,
> pa...@lists.wikimedia.fr
>
>
>
> Sébastien Dinot a écrit :
> > Je dois pouvoir me libérer une demi-journée :
>
> Il est sans doute utile de préciser que je connais le projet Wikipédia
> depuis
> fort longtemps mais que mes contributions y sont fort modestes (quelques
> corrections d'articles et quelques photos) car on ne peut pas être sur tous
> les fronts à la fois (je suis un militant du logiciel libre depuis 1998
> et un
> militant de l'open data depuis 2009, mais essentiellement dans le périmètre
> utile à la cartographie).
>
> En outre, je ne connais pas grand chose au climat et je peux manquer de
> pertinence sur le sujet.
>
> Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être
> utile
> par ma connaissance du CNES et des licences, mais il me semble nécessaire
> d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et
> les projets connexes.
>
> Quels sont les objectifs de la fondation ? Obtenir des échantillons de
> données
> permettant d'illustrer des articles, des couvertures globales de l'Europe
> ou
> des terres émergées, de longues séries temporelles ? Quel volume de données
> est-il raisonnable d'envisager (dans le spatial, les volumes de données
> produits sont impressionnants : à ma connaissance, un seul satellite
> sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).
>
> Sébastien
>
> --
> Sébastien Dinot, sebastien.di...@free.fr
> http://sebastien.dinot.free.fr/
> Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !
>
> ___
> Wikitech-l mailing list
> Wikitech-l@lists.wikimedia.org
> https://lists.wikimedia.org/mailman/listinfo/wikitech-l
___
Wikitech-l mailing list
Wikitech-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikitech-l

[Wikitech-l] How much data can we plan to upload on Wikidata infrastructure? [Was: Fwd: Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES]

2018-10-15 Thread Mathieu Lovato Stumpf Guntz 

Hello,

That might not be the most appropriate canal for this question, but I 
didn't have a better idea, so please let me know if you have better 
suggestion for my future demands.


So, if you read French you can read the thread bellow, but basically to 
give some context to my question, we are looking at possible partnership 
with spatial agencies to feed the Wikimedia world with data. Depending 
on what we ask and achieve to make as agreement, the volume they could 
provide would be possibly really huge, with a given example of 
1Go/minute for a single satellite.


So my question is how much data should we aim at collecting, and 
depending on the volume, what transfer process should we use?


Cheers



 Message transféré 
Sujet : Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES
Date :  Sun, 8 Apr 2018 13:06:00 +0200
De :Sébastien Dinot 
Répondre à :Sébastien Dinot 
Pour :  Xavier Cailleau 
Copie à : 	g...@lists.wikimedia.fr, toulo...@lists.wikimedia.fr, Liste 
OSM Toulouse , 
c...@listes.openstreetmap.fr, wikid...@lists.wikimedia.fr, 
pa...@lists.wikimedia.fr




Sébastien Dinot a écrit :

Je dois pouvoir me libérer une demi-journée :


Il est sans doute utile de préciser que je connais le projet Wikipédia 
depuis

fort longtemps mais que mes contributions y sont fort modestes (quelques
corrections d'articles et quelques photos) car on ne peut pas être sur tous
les fronts à la fois (je suis un militant du logiciel libre depuis 1998 
et un

militant de l'open data depuis 2009, mais essentiellement dans le périmètre
utile à la cartographie).

En outre, je ne connais pas grand chose au climat et je peux manquer de
pertinence sur le sujet.

Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être 
utile

par ma connaissance du CNES et des licences, mais il me semble nécessaire
d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et
les projets connexes.

Quels sont les objectifs de la fondation ? Obtenir des échantillons de 
données

permettant d'illustrer des articles, des couvertures globales de l'Europe ou
des terres émergées, de longues séries temporelles ? Quel volume de données
est-il raisonnable d'envisager (dans le spatial, les volumes de données
produits sont impressionnants : à ma connaissance, un seul satellite
sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).

Sébastien

--
Sébastien Dinot, sebastien.di...@free.fr
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

___
Wikitech-l mailing list
Wikitech-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikitech-l