Gavin 0 Posted March 12 Report Share Posted March 12 Estou precisando fazer o upload de algo próximo a 50 milhões de arquivos (.csv) para o servidor via FTP(filezilla) Cada arquivo contem em cerca de 2Kb a 2MB porém os testes que eu fiz com meio milhão, o upload estava muito lento Já tentei verificar o tempo que demoraria para fazer o upload com estes arquivos compactado, porém ainda continua lento (cerca de 10 dias) Como fazer para fazer este upload mais rápido? Link to post Share on other sites
Rui Carlos 367 Posted March 12 Report Share Posted March 12 Diria que o melhor que podes fazer é dividir os 50M de ficheiros por uns 50 ou 100 ficheiros compactados, e fazer upload destes, possivelmente com algum nível de paralelismo no upload. Pode ser também caso para ouvir os conselhos do Tanenbaum: "Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway." 1 Report Rui Carlos Gonçalves Link to post Share on other sites
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now