Estimada Miriam Alzate
Creo que casi todos pasamos por un problema semejante, por las dudas ¿usted
utiliza alguna librería para realizar el análisis o se encuentra
escribiendo desde cero utilizando matrices? Un matemático puede explicarlo
mucho mejor, pero cuándo yo comencé a ver matrices
Hola Miriam,
Puedes hacer varias cosas para salir al paso:
- El flujo proceso que se suele seguir en este tipo de análisis es el de
cargar todos los documentos a una gran matriz (documento/palabra) sobre la
que luego te quitas muchas palabras "inútiles" (las stopwords). Pues lo que
Me temo que no tengo demasiada experiencia en trabajar con sparse matrix en
R. Definitivamente cuando haces 'as.matrix(x)' estas convirtiendo x en una
matriz normal, no sparse. He visto que existe el paquete slam para trabajar
con ellas (documentación
Muchas gracias Xabier.
He intentaddo trabajar con la sparse matrix pero al pasar tdm a matriz me
dice también que "cannot allocate a vector of size 12 gb".
He hecho tdm<-as.matrix(tdm)
¿Está bien hecho eso para trabajar con la sparse matrix?
Gracias!
El Lun, 10 de Febrero de 2020, 16:15,
La respuesta de Carlos creo que es mucho mas acertada que la mía. Cuando
trabajas con una matriz mayoritariamente con 0s, puedes representar-la en
forma de sparse matrix, y ocupa mucho menos espacio porque no guardas todos
los valores, sino aquellos distintos de 0 y su posición.
Estas
Buenas,
El archivo de R ocupa 33 megas. La matriz que quiero construir cupa 14 gb.
En el disco local (C) tengo 400 gb disponibles de 670.
No estoy muy puesta en trabajar con este tipo de datos. ¿Qué diferencia es
trabajar con data.frame?
Gracias!
El Vie, 7 de Febrero de 2020, 18:07,
Depende de la operació que quieras hacer con la matriz. Si quitas filas y
columnas en algun momento, quiza lo puedes hacer por bloques y luego la
juntas. O quizá puedes cargarlo directamente como data.frame? Quanta RAM
tienes? Cuanto pésan los datos?
El vie., 7 feb. 2020 18:04, escribió:
>
La primera matriz es sparse y la segunda no. Tal vez puedas continuar
dentro del universo de tm eliminando términos irrelevantes antes de
construir una matriz no completa. O tal vez puedas construir una matriz
sparse directamente.
El vie., 7 feb. 2020 17:26, escribió:
> Buenas tardes,
>
> Estoy
Es la primera vez que trabajo con este tipo de datos...No se si se puede
dividir esa matriz. ¿Cómo lo podría hacer?
Muchas gracias!
El Vie, 7 de Febrero de 2020, 17:55, Xavier-Andoni Tibau Alberdi escribió:
> Significa que tus datos són muy grandes y no se pueden guardar en la RAM.
> Tienes
Significa que tus datos són muy grandes y no se pueden guardar en la RAM.
Tienes alternativas para dividir la matriz?
El vie., 7 feb. 2020 17:26, escribió:
> Buenas tardes,
>
> Estoy haciendo un análisis de contenido con el paquete tm. A la hora de
> ejecutar este código:
>
10 matches
Mail list logo
