David Pintassilgo Posted May 9, 2006 at 08:41 PM Report #26666 Posted May 9, 2006 at 08:41 PM Boas. Eu pretendia retirar informações que vão estando actualizadas em outros sites de forma a têla num formato mais pratico quer para imprimir, quer para consultar. Ora por exemplo: http://www.continente.pt/ProductsIndexMain.aspx?CategoryName=8&SubCategoryName=80907&CategoryPath=8|809 Queria um script ou uma cena assim para retirar todos os preços/produtos da secção "Vegetais" para uma lista. É possivel de fazer de uma forma relativamente simples? (o relativamente simples entenda-se "Que eu consiga fazer 🙂 ") Que me teem a dizer sobre o assunto? cool stuffs to check. http://blog.zxcoders.com//
deathseeker25 Posted May 9, 2006 at 09:26 PM Report #26674 Posted May 9, 2006 at 09:26 PM Poderias fazer isso se os sites tivessem RSS Feeds. Os que não têm, vais ter de criar um script com funções parecidas ás dos bots do Google. 🙂
joninho Posted May 9, 2006 at 09:28 PM Report #26675 Posted May 9, 2006 at 09:28 PM eu nao sei :S lol talvex um include, nao? :\
David Pintassilgo Posted May 9, 2006 at 09:29 PM Author Report #26676 Posted May 9, 2006 at 09:29 PM A minha ideia inicial seria pegar no codigo da pagina e sacar do sitio certo as informações que pretendo, mas depois nao estou bem a ver como fasso a navegação nas diversas paginas. cool stuffs to check. http://blog.zxcoders.com//
M6 Posted May 10, 2006 at 01:38 PM Report #26730 Posted May 10, 2006 at 01:38 PM A minha ideia inicial seria pegar no codigo da pagina e sacar do sitio certo as informações que pretendo, mas depois nao estou bem a ver como fasso a navegação nas diversas paginas. Creio que deves querer um RSS Reader. Ou isso ou então queres fazer recuperação e prospecção de textos de forma ad hoc... Isso é relativamente simples de fazer usando o www mechanize do perl ou do python. Outra hipótese é, em windows, embeberes o OCX do IE e usá-lo. Podes recolher a informação e guardá-la de forma hierárquia, por exemplo tema - titulo - informação, e apresentá-la numa árvore. Ajudaria se explicasses mais detalhadamente qual é o problema que queres resolver. 10 REM Generation 48K! 20 INPUT "URL:", A$ 30 IF A$(1 TO 4) = "HTTP" THEN PRINT "400 Bad Request": GOTO 50 40 PRINT "404 Not Found" 50 PRINT "./M6 @ Portugal a Programar."
David Pintassilgo Posted May 11, 2006 at 07:22 PM Author Report #26928 Posted May 11, 2006 at 07:22 PM Bom,..concretamente o que eu queria era retirar de uma forma automatizada dos os dados da secção "Frutas" e "Legumes" e respectivas subcategorias em que estão divididas. Melhor ainda depois era de uma forma automatica ás x horas todos os dias , enviar essa informação para um endreço de e-mail. Ou seja, receber por mail todos os dias a contação actualizada de forma automatica. Mais tarde poderia por exemplo ir adicionando a uma BD essas informações para ter um histórial para consulta etc. etc,.. mas isso já não é preciso. cool stuffs to check. http://blog.zxcoders.com//
M6 Posted May 12, 2006 at 08:58 AM Report #27026 Posted May 12, 2006 at 08:58 AM Para fazeres o que queres acoselho-te um script em Python ou Perl com o módulo WWW Mechanizer (se os nomes dos módulos não são iguais em Perl e Python são muito parecidos, tipo num tem www e no outro não). Esse módulo permite-te fazer um robot de navegação de páginas. Depois podes coleccionar os dados para uma base de dados, há também módulos para fazer isso em ambas as linguagens. Numa segunda fase tens de ter uma interface de consulta aos dados, que pode ser feita com uma qualquer aplicação de desktop que leia a informação da BD e até te construa relatórios como gráficos dos preços por semana, dia do mês, evolução anual, etc.. O Delphi e o C++, pelo menos em algumas das suas versões, incluem de raíz componentes que fazem este tipo de gráficos. Mas por certo não vai ser difícil encontrar componentes freeware para essas ou outras linguagens que façam o mesmo. Um ponto interessante poderia ser a exportação dos dados para CSV, que te permite depois usar esses dados numa folha de cálculo. 10 REM Generation 48K! 20 INPUT "URL:", A$ 30 IF A$(1 TO 4) = "HTTP" THEN PRINT "400 Bad Request": GOTO 50 40 PRINT "404 Not Found" 50 PRINT "./M6 @ Portugal a Programar."
pebat Posted May 12, 2006 at 03:02 PM Report #27091 Posted May 12, 2006 at 03:02 PM é pa tenho um ideia... que tenho um programa = mas para um jogo que e o hatrick para procurar jogadores sem andar a mexer no site.. feito em vb.. o vb tem a ferramenta de web browser.. e so meteres isso e editares as tag's da pagina o problema e k men todas as paginas sao = e com codigo da msm maneira... tinhas k fazer varias cenas para os teus varios sites de compras...
M6 Posted May 12, 2006 at 05:22 PM Report #27115 Posted May 12, 2006 at 05:22 PM é pa tenho um ideia... que tenho um programa = mas para um jogo que e o hatrick para procurar jogadores sem andar a mexer no site.. feito em vb.. o vb tem a ferramenta de web browser.. e so meteres isso e editares as tag's da pagina o problema e k men todas as paginas sao = e com codigo da msm maneira... tinhas k fazer varias cenas para os teus varios sites de compras... Ou não... Podes pensar num sistema de prospecção de informação que te faça isso! 😉 Da mesma forma que o Google sabe que páginas têm que informação, também é possível fazer um crawler para saber quais os preços dos produtos. 10 REM Generation 48K! 20 INPUT "URL:", A$ 30 IF A$(1 TO 4) = "HTTP" THEN PRINT "400 Bad Request": GOTO 50 40 PRINT "404 Not Found" 50 PRINT "./M6 @ Portugal a Programar."
David Pintassilgo Posted May 12, 2006 at 07:12 PM Author Report #27123 Posted May 12, 2006 at 07:12 PM Ui Ui!!!! tou a ver que isto é mais complexo que eu estava a pensar. (complexo no sentido em que envolve muitos/quase todos conhecimentos que eu ainda não tenho) :S O ideal seria fazer um robot pra navegar pelas paginas. O que eu tinha mesmo em mente seria 'sacar' o codigo html da pagina e por lá ir buscar as informações que quero, penso que estariam sempre no mesmo sitio. Pelo que já disseram até é capaz de não ser má ideia, né? consigo fazer isso usando php? ou o ideal seria um programa em VB por exemplo a correr na minha maquina? (esta 2ª opcção está-me a parecer interecante) edit: Pensando bem no assunto, era mesmo bom construir um programa que fizese isso e a correr no pc, pelo menos axo que é capaz de ser por ai que me sou capaz de safar... Chego lá por ai, o k? 😉 cool stuffs to check. http://blog.zxcoders.com//
M6 Posted May 13, 2006 at 02:21 PM Report #27232 Posted May 13, 2006 at 02:21 PM Bem, estou a ver que andas um pouco perdido. Dá um passo de cada vez. Aconselho-te Python com o módulo mechanize, fazes um robot facilmente. Quando tiveres isso a funcionar, avisa. 😉 10 REM Generation 48K! 20 INPUT "URL:", A$ 30 IF A$(1 TO 4) = "HTTP" THEN PRINT "400 Bad Request": GOTO 50 40 PRINT "404 Not Found" 50 PRINT "./M6 @ Portugal a Programar."
inginheiiro Posted June 1, 2006 at 04:16 PM Report #30601 Posted June 1, 2006 at 04:16 PM Boas. Eu pretendia retirar informações que vão estando actualizadas em outros sites de forma a têla num formato mais pratico quer para imprimir, quer para consultar. Ora por exemplo: http://www.continente.pt/ProductsIndexMain.aspx?CategoryName=8&SubCategoryName=80907&CategoryPath=8|809 Queria um script ou uma cena assim para retirar todos os preços/produtos da secção "Vegetais" para uma lista. É possivel de fazer de uma forma relativamente simples? (o relativamente simples entenda-se "Que eu consiga fazer 😄 ") Que me teem a dizer sobre o assunto? melhor e mais rapido:perl + modulo LWP. nota: presupoem-se que dominas regexp para depois filtrares o que desejas, mas pode ser feito em VB, C#, Java, Python, etc etc fica aqui um simples exemplo: --------------------------- uset strict; my $url = 'http://url_da_pagina'; use LWP::Simple; my $content = get $url; die "Couldn't get $url" unless defined $content; if($content =~ m/alho/i) { print "encontri a palavra ALHO!\n"; } else { print "nepias sobre alho...\n"; } I used to have a life ... but i bought a programmable machine in 1982 ...
Dabubble Posted June 1, 2006 at 04:46 PM Report #30607 Posted June 1, 2006 at 04:46 PM LoL eu, javista como sempre ja fiz um programa que fazia exactamente isso que pretendes mas para outro site o google.scholar uma cena simples que usa expressoes regulares para retirar determinados campos do HTML. nao sei se es adepto mas se quiseres posso-te mostrar.
skin Posted July 3, 2006 at 06:18 PM Report #36001 Posted July 3, 2006 at 06:18 PM LoL eu, javista como sempre ja fiz um programa que fazia exactamente isso que pretendes mas para outro site o google.scholar uma cena simples que usa expressoes regulares para retirar determinados campos do HTML. nao sei se es adepto mas se quiseres posso-te mostrar. ele pode não crer mas eu quero 😛 se puderes 😛 ! Our lives begin to end the day we become silent about things that matter - Martin Luther King
Ana Beatriz Posted October 6, 2015 at 09:44 PM Report #588670 Posted October 6, 2015 at 09:44 PM Olá Será que podiam dar uma ajuda Queria saber se alguem podia dar uma dica para começar a fazer trabalho para a escola (pap-prova aptidão profissional ) Como se vai buscar isso dos rss feeds, é para fazer uma plataforma de emprego e que vá buscar aos jornais online a informação de empregos disponíveis por Distrito e região
tuga74 Posted January 8, 2016 at 02:23 PM Report #591654 Posted January 8, 2016 at 02:23 PM Vi este topico por acaso ... ja viram este site? Escolhem os vosso interesses favoritos e mostra as noticias dos vosso interesses http://www.nova.news/ atualmente usa os seguintes jornais: Correio da Manhã Público Record Sol A Bola O Jogo Jornal de Negocios Expresso Observador http://www.nova.news Nova aprende automaticamente o que gostas de ler e mostra os conteúdos que te interessam.
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now