On 01/02/11 18:28, Jorge Tornero wrote:
Hola Rodrigo y resto del personal,
lo que tú quieres hacer, bajo mi punto de vista, está pidiendo a gritos sed
y/o tr (doy por supuesto que trabajas en GNU/linux). Yo tenía un problema
similar con csv en los que el separador decimal era la coma y lo tenía que
cambiar a punto y con la orden sed o tr apropiada un fichero de 60MB con
350000 registros se lo merienda en cosa de 0.7 segundos (de veras). Además, te
da igual que en los campos de texto no haya comillas, postgresql te los importa
igual, de manera que puedes seguir con el copy (más sencillo, simplemente \copy
data from 'mifichero.csv' with delimiter ';' csv header (o con el comando COPY,
lo que ocurre es que yo uso \copy en psql para evitar rollos de permisos en
directorios, etc...)
Con sed:
sed 's/\"//g'<ficheroentrada>ficherosalida
y con tr:
tr -d \"<ficheroentrada>ficherosalida
(revísalos porque son de medio memorieta)
El resultado es espectacular de veras. Adicionalmente, si trabajas en KDE (no
sé si Gnome lo permite), te puedes hacer un servicemenu de manera que sólo
tendrías que darle al botón derecho del ratón y seleccionar del menú contextual
tu acción (eliminar comillas o algo así, a tu gusto) de manera que te sería
todo mucho más sencillo. Es más, en tu propio script para el servicemenu puedes
incluir la llamada a psql con el comando \copy y ya te haría la importación del
tirón. Pero eso es otra historia...
Un saludo, pruébalo y ya nos cuentas.
[...]
2011/2/1 Rodrigo Ruiz Fuentes<[email protected]>:
Estimad@s,
estoy importando datos desde un archivo CSV con formato definido, los campos
vienen separados por punto y coma (;) y entre comillas dobles ("), estoy
ejecutando:
COPY data FROM '/tmp/archivo.txt' WITH NULL AS '' DELIMITER ';' CSV QUOTE
'"';
Sin embargo, hay unos campos (latitud y longitud) que son tipo 'double
precision', y cuando esos datos vienen vacios (en CSV ""), no reconoce el
tipo de dato y falla la carga, intenté como pueden ver con "NULL AS ''" sin
embargo sigue fallando.
Estoy sobre PostgreSQL 8.4.X, y la pregunta es como puedo hacer para que
esos valores que vienen vacíos ("") los tome como null, en el diseño,
permite valores nulos.
Intentar es una editar directamente el archivo sería muy engorroso, pues
pesa mucho y son como 14 millones de registros semanales, y el archivo llega
cada semana.
Saludos cordiales.-
OK, agradezco tu ayuda, bueno, definitivamente utilicé el comando
entregado con sed (no soy bueno con dicha herramienta) y limpia el
archivo, primero intenté quitando todas las comillas dobles, luego saque
el QUOTE del COPY, pero aún así me arroja errores, luego reemplacé todas
los "" por "\N" para que los considerara como nulos, pero continúa dando
errores.
Definitivamente, he decidido que no me sirve de lada tener un dato nulo
en una longitud o latitud, por lo tanto eliminaré la linea si uno de
dichos campos es vacio ("" especificamente)... como señalé antes no
manejo bien sed ni expresiones regulares, si pudieran ayudarme a hacer
esta operación, estaría agradecido, se que quizás no es la lista
apropiada, de otro modo lanzo la pregunta a una de linux..
El archivo CSV tiene en las posiciones 4 y 5, latitud y longitud
respectivamente, entonces habría que procesar el archivo, buscar en
dichas posiciones valores "" y eliminar la linea... no me sirve buscar
en toda la linea, pues hay campos de texto que si podrían ser "", los
campos estan delimitados por punto y coma (;).
Saludos!
--
Rodrigo Ruiz Fuentes
-
Enviado a la lista de correo pgsql-es-ayuda ([email protected])
Para cambiar tu suscripci�n:
http://www.postgresql.org/mailpref/pgsql-es-ayuda
