Re: [R-es] Avro.-

2018-02-03 Por tema José Luis Cañadas
Quizá algún paquete de cloudyr te sirva.
https://github.com/cloudyr

El vie., 2 feb. 2018 16:57, Freddy Omar López Quintero <
freddy.lopez.quint...@gmail.com> escribió:

> Hola.
>
> Espero que estén bien.
>
> Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
> desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
> tener que descargar el archivo.
>
> Como antecedente, descargando el archivo, he utilizado felizmente las
> instrucciones:
>
> Sys.setenv(SPARK_HOME="/opt/apache-spark/")
>
> library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
> "lib")))
>
> sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
> = "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"
>
> dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
> 'com.databricks.spark.avro')
>
> Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
> la cuenta de amazon.
>
> ¡Gracias!
>
> --
> «...homines autem hominum causa esse generatos...»
>
> Cicero
>
> [[alternative HTML version deleted]]
>
> ___
> R-help-es mailing list
> R-help-es@r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es


[R-es] Avro.-

2018-02-02 Por tema Freddy Omar López Quintero
Hola.

Espero que estén bien.

Les cuento. Tengo acceso a unos datos .avro en un s3 de amazon pero estoy
desconcertado con la forma de leerlos desde sparkR (*no sparklyr*) sin
tener que descargar el archivo.

Como antecedente, descargando el archivo, he utilizado felizmente las
instrucciones:

Sys.setenv(SPARK_HOME="/opt/apache-spark/")

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R",
"lib")))

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory
= "2g"), sparkPackages = c("com.databricks:spark-avro_2.11:4.0.0"

dd <- read.df(path="/home/vate01/Descargas/TR_TRN_1.avro", source =
'com.databricks.spark.avro')

Pero quisiera evitar el paso de la descarga, teniendo las credenciales de
la cuenta de amazon.

¡Gracias!

-- 
«...homines autem hominum causa esse generatos...»

Cicero

[[alternative HTML version deleted]]

___
R-help-es mailing list
R-help-es@r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es