Desafio: Programação paralela para clusters

[barao78]

Olá pessoal.

Gostava de propor que fosse levado a debate um assunto que acho deveras interessante, a programação paralela para clusters (linux e macs).

Todos os dias quando saio da faculdade, vejo dezenas e dezenas de pcs que ficam ligados de um dia para o outro, meses a fio gastando apenas electricidade, sem terem qualquer outra utilidade que a de por o ar a circular aquecido nas salas.

No meu curso (uma engenharia não informática) é-nos exigido programar coisas que às vezes podem levar dias e semanas (e até meses nalguns casos mais avançados) a processar num só computador. Então fico a pensar se não seria possível utilizar toda aquela potencia computacional inutilizada daqueles pcs à noite para reduzir os tempos de processamento do que pretendemos. Já estive a ler algo sobre clusters, e parece que o melhor que por aí anda é o Beowolf, só que não basta só ligar tudo em rede e toca a andar. Pelos vistos para se processar em rede há que mudar a maneira de pensar a programação, e fazer o lá está... programação paralela.

Será assim tão difícil fazer um cluster e fazer programação paralela?

Deixo aqui o repto a quem sabe. Penso que seria óptimo juntar o máximo de conhecimento em português sobre temas mais avançados. Ficamos todos a ganhar.

Abraços

António C.

[Rui Carlos]

Desenvolver aplicações paralelas é complicado, principalmente para arquitecturas de memória distribuída (como são os clusters).

Tem havido muita investigação neste campo no sentido de desenvolver linguagens/tecnologias/metodologia para computação paralela/distribuída, mas mesmo assim as coisas continua a ser consideravelmente mais complicadas do que na programação habitual.

Adicionalmente, há o problema de que nem todas as aplicações conseguem tirar partido de correr em várias máquinas. Se as aplicações precisarem de fazer comunicações frequentemente, mesmo com uma boa rede, os ganho são na maior parte das vezes bastante limitados.