Jump to content

Descarregar 500 mil entradas na BD de uma vez


[PT]Devilishly

Recommended Posts

A melhor forma de efectuar um carregamento (loading na terminologia das BDs) desse tipo é através das ferramentas de Bulk Loading/Insert. Todas as BDs (dignas desse nome) costumam ter uma ferramenta que usa as APIs do SGBD para extrair e carregar em "bulk".

Por exemplo, no Oracle tens o SQL*Loader, no SQL Server tens o bcp (se bem que esta cena da MS tem bugs e é necessário algum "cuidado") e por ai adiante.

Usar JDBC ou qualquer outro tipo de estratégia idêntico não conseguem ser tão rápida quanto estas ferramentas, no entanto há outras técnicas, intrinsecas a cada SGBD, que permite boas performances.

No caso do postgresql em particular não me posso pronunciar, pois não conheço, mas aposto que também deve ter uma ferramenta deste tipo.

10 REM Generation 48K!
20 INPUT "URL:", A$
30 IF A$(1 TO 4) = "HTTP" THEN PRINT "400 Bad Request": GOTO 50
40 PRINT "404 Not Found"
50 PRINT "./M6 @ Portugal a Programar."

 

Link to comment
Share on other sites

Tens os dados em ficheiro CSV?  Ou mesmo noutro formato parecido, desde que em texto?

Eu já inseri cerca de 630.000 linhas com 8 colunas via o comando COPY e não tive problema nenhum, correu tudo muito rápido.

Para quê usares o java JDBC?

Já leste o manual em:

http://www.postgresql.org/docs/8.1/interactive/dml.html

que no fim aponta para:

http://www.postgresql.org/docs/8.1/interactive/sql-copy.html

?

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...

Important Information

By using this site you accept our Terms of Use and Privacy Policy. We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.