API de dados, DataSets

[JASV]

Boa tarde,

Espero ter posto isto no topic correcto.

Estou a pensar em brincar um bocado com dados e com algoritmos de previsões.

Tenho uma mínima experiência na área e gostava de vos perguntar se conhecem fontes de dados.
Podem ser fontes do governo, empresas, seja o que for que tenha grandes quantidades de dados, se pudessem que me apontassem as fontes.

Não estou com uma ideia especifica do que fazer, mas tenho uma ideia geral. Isto é  mais com o intuito de aprender novas formas de fazer previsões e evoluir pessoalmente na área. Estou a pensar em fazer um mestrado e quem sabe, pode surgir um tema para a tese.

Obrigado desde já. Espero haver aqui pessoas com mais poder de pesquisa que eu, ou que já tenham trabalhado com estas fontes 😁.

Para quem também esteja interessado, https://www.reddit.com/r/opendata_pt/

Edited November 24, 2016 at 04:04 PM by JASV
encontrei um link

[HappyHippyHippo]

não se a API do IPMA consegues ver dados passados, mas podes sempre perguntar

[Warrior]

Podes dizer um pouco mais sobre o que procuras?

Conheço várias páginas, mas se fores mais específico sobre o que procuras posso já ter visto em algum lado.

[JASV]

4 minutos atrás, Warrior disse:

Podes dizer um pouco mais sobre o que procuras?

Conheço várias páginas, mas se fores mais específico sobre o que procuras posso já ter visto em algum lado.

Warrior é como digo, não procuro nada em especifico. Podem ser dados de vendas, saúde, afluências de pessoas em instituições publicas e/ou privadas, trânsito, desastres naturais e/ou anomalias da natureza, etc.

Coisas que dê para fazer um bocado de Data Mining, reconhecer padrões e faça sentido tentar fazer previsões para o futuro desses mesmos dados.

Menos meteorologia. Nessa área já há muita coisa.

Edited November 24, 2016 at 03:46 PM by JASV
Menos meteorologia

[JASV]

12 minutos atrás, HappyHippyHippo disse:

não se a API do IPMA consegues ver dados passados, mas podes sempre perguntar

Meteorologia deve ser das poucas coisas em que não tenho interesse  Já há demasiada coisa feita, e provavelmente já esta mais que optimizada :). Mas obrigado.

[JASV]

Encontrei isto,

https://www.reddit.com/r/opendata_pt/

Devia ter pesquisado mais um bocado antes vos incomodar :P.

Mas fica ai o link pode ser que ajude o próximo :).

[Warrior]

Se estás interessado em dados médicos, na HealthData há imensos datasets. Podes filtrar por tipo no lado esquerdo.

Para quem não sabe bem o que procura, o Kaggle costuma ser uma boa fonte. São concursos de machine learning, portanto os dados já estão pré-processados e limpos, pronto a aplicar.

No Konect tens muitas redes, algumas delas têm timestamp nos edges. Dá para fazer trabalhos engraçados com redes temporais.

O departamento de transportes dos EUA publica muitos dados nesta página: RITA (por exemplo, informação sobre todos os voos)

 

Quando souberes algo mais específico volta a passar por aqui que pode ser que consiga ajudar.

Edited November 24, 2016 at 04:14 PM by Warrior

[JASV]

9 minutos atrás, Warrior disse:

Se estás interessado em dados médicos, na HealthData há imensos datasets. Podes filtrar por tipo no lado esquerdo.

Para quem não sabe bem o que procura, o Kaggle costuma ser uma boa fonte. São concursos de machine learning, portanto os dados já estão pré-processados e limpos, pronto a aplicar.

No Konect tens muitas redes, algumas delas têm timestamp nos edges. Dá para fazer trabalhos engraçados com redes temporais.

O departamento de transportes dos EUA publica muitos dados nesta página: RITA (por exemplo, informação sobre todos os voos)

 

Quando souberes algo mais específico volta a passar por aqui que pode ser que consiga ajudar.

Era exatamente isso, vou dar uma vista de olhos. Obrigado.

Encontrei também naquela lista do Reddit open data para o SNS.

https://www.sns.gov.pt/transparencia/

[chesser]

Aqui ficam alguns links. Espero que ajudem.

https://archive.ics.uci.edu/ml/datasets.html

http://www.kdnuggets.com/datasets/index.html

http://lib.stat.cmu.edu/datasets/

http://www.inf.ed.ac.uk/teaching/courses/dme/html/datasets0405.html

http://www.kdd.org/