totalnewbieee Posted September 7, 2022 at 10:42 PM Report Share #627184 Posted September 7, 2022 at 10:42 PM Saudações, estimados programadores! Devo - antecipadamente - pedir desculpa a todos aqui porque me sinto um total inflitrado; A verdade é que não tenho conhecimento suficiente sequer para frequentar este fórum e estou aqui apenas para resolver um problema. Antes de mais, devo dizer que estou disposto a financiar - caso exijam - a solução a este meu problema. Suponho que para pessoas experientes na área como muitos de vocês isto seja um problema relativamente fácil, mas para mim, não é de todo. Estou a tentar extrair parcialmente alguns dados de uma página on-line para uma folha de google sheets. A página é esta . Apenas a tabela com esses dados todos aí debitados. Haverá solução? Antes de mais, muito obrigado pela atenção. (E se eu tiver colocado o post no sub errado, por favor movam) Link to comment Share on other sites More sharing options...
Cerzedelo Posted September 8, 2022 at 07:18 AM Report Share #627185 Posted September 8, 2022 at 07:18 AM 8 horas atrás, totalnewbieee disse: Saudações, estimados programadores! Devo - antecipadamente - pedir desculpa a todos aqui porque me sinto um total inflitrado; A verdade é que não tenho conhecimento suficiente sequer para frequentar este fórum e estou aqui apenas para resolver um problema. Antes de mais, devo dizer que estou disposto a financiar - caso exijam - a solução a este meu problema. Suponho que para pessoas experientes na área como muitos de vocês isto seja um problema relativamente fácil, mas para mim, não é de todo. Estou a tentar extrair parcialmente alguns dados de uma página on-line para uma folha de google sheets. A página é esta . Apenas a tabela com esses dados todos aí debitados. Haverá solução? Antes de mais, muito obrigado pela atenção. (E se eu tiver colocado o post no sub errado, por favor movam) Na página que indicou tem um botão de download, que pressupõe que sirva para descarregar os dados (tem de escrever um tweet com o nome da pagina(!)), e a partir daí pode descarregar em formato Excel. Se a solução anterior não se afigurar possível tem de procurar se essa página possui alguma API onde se possam retirar os dados. Se nenhuma das anteriores funcionarem ou não estiverem disponíveis terá de recorrer ao webscraping da página para extrair os dados. Link to comment Share on other sites More sharing options...
totalnewbieee Posted September 8, 2022 at 11:40 AM Author Report Share #627198 Posted September 8, 2022 at 11:40 AM 4 horas atrás, Cerzedelo disse: Na página que indicou tem um botão de download, que pressupõe que sirva para descarregar os dados (tem de escrever um tweet com o nome da pagina(!)), e a partir daí pode descarregar em formato Excel. Queria que fosse feito de forma automática; isto é: que numa folha ao mudar o nome da empresa (no caso, a Apple) mudassem também os valores, como é óbvio. Citação Se a solução anterior não se afigurar possível tem de procurar se essa página possui alguma API onde se possam retirar os dados. Se nenhuma das anteriores funcionarem ou não estiverem disponíveis terá de recorrer ao webscraping da página para extrair os dados. Pelas pesquisas que fiz, e do pouco conhecimento que tenho, julgo que a solução seria apenas através de webscraping. Mas como já disse não tenho conhecimento suficiente para isso. Alguém? Link to comment Share on other sites More sharing options...
Cerzedelo Posted September 8, 2022 at 06:38 PM Report Share #627203 Posted September 8, 2022 at 06:38 PM 6 horas atrás, totalnewbieee disse: Queria que fosse feito de forma automática; isto é: que numa folha ao mudar o nome da empresa (no caso, a Apple) mudassem também os valores, como é óbvio. Pelas pesquisas que fiz, e do pouco conhecimento que tenho, julgo que a solução seria apenas através de webscraping. Mas como já disse não tenho conhecimento suficiente para isso. Alguém? O webscraping é uma solução plausível, contudo é uma artimanha para se recolher dados, na medida em que a melhor opção é a API, em que os dados são directamente enviados pelo fornecedor para que os programadores os possam usar. A questão é que normalmente as api e essencialmente as financeiras são pagas. Agora depende do fim a que se destinam os dados, se são para uso pessoal ou profissional e aí pode compensar pagar pelo acesso à api. Findo esse considerando e pelo que vi do site em questão, para fazer o webscraping irá dar algum trabalho dada a forma como o site é construido, e pelo que me pode aperceber não dispõe de api e atenção que os dados são para uso pessoal. Para fazer o webscraping pode recorrer à linguagem de programação python e a uma das suas bibliotecas tais como BeautifulSoup ou Scrapy, tem inúmeros tutoriais de como fazer no youtube. Se os dados que lhe interessam sejam referentes aos últimos 4 anos, tem uma biblioteca do python chamada yfinance, que é gratis, que com poucas linhas de código, consegue obter por exemplo o balance sheet de uma empresa cotada e diversas informações financeiras. Essa biblioteca utiliza a api do yahoo finance para buscar os dados. O webscraping apresenta alguns problemas, desde logo, muitos sites não gostam que lhe andem a retirar os dados e em segundo lugar como para identificar na página o elemento a retirar utiliza-se o elemento css ou o xpath, e se no site alterarem essas identificações o webscraping deixa de funcionar. No site que referiu pelo que pode verificar vai buscar as informações ao SEC em https://www.sec.gov/ clicando em company filings consegue aceder aos reports para a empresa escolhida, inclusive podendo importar em formato excel. 1 Report Link to comment Share on other sites More sharing options...
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now