Extraindo uma base de dados de um search engine

[SketchDraft]

mas você tem os dados mas eles não estão tratados né ?
tipo o formato de saída não é página html ?

[Alvinho]

você pode escolher o formato de saída. normalmente vai ser csv ou algo do tipo.

[rocksfeller]

mas você tem os dados mas eles não estão tratados né ?
tipo o formato de saída não é página html ?

no caso dessas ferramentas prontas aí não sei como funciona... no caso de vc desenvolver um robo pra isso, quando vc ler dado X, vc insere ele na sua tabela, quando vc ler dado Y, vc insere ele de novo na sua base e assim por diante...

[Alvinho]

web scraping significa exatamente tirar pegar o html das páginas e transformar em dados estruturados.

[SketchDraft]

IMHO eu acho que vocês tão simplificando a parada.
Não sei se é porque tô com sono, mas eu to vendo mais coisa ai onde vocês estão enxergando simplicidade.

Eu vou pedir q o @ekalil, clique em qualquer result e poste a página em HTML aqui só pra me darem uma luz.

[RKint]

@ekalil, basicamente o que eu fiz aqui no MaisEV foi a mesma coisa... li um monte de páginas HTML e tratei elas. Se tiver todas essas infos disponíveis de modo regular (por ex, se a página não for algo do tipo exemplo.com / A6788GhlL09?q312Rty), dá pra fazer sim.

E daí pra armazenar no BD é rapidinho.

edit

Pra ver a viabilidade, dá um search em todas as entradas e mostra o link da primeira e da segunda página.

[Alvinho]

da pra fazer de qualquer jeito, um scraper consegue "navegar" a página numa boa, "clicando" em cada resultado da busca

[RKint]

Sim, dá. To falando do jeito que usei aqui no MaisEV mesmo, que tem um padrão bem regular pras URLs.

[ekalil]

Sim, dá. To falando do jeito que usei aqui no MaisEV mesmo, que tem um padrão bem regular pras URLs.

Se vc estiver com tempo e boa vontade, me add no Skype pra me dar uma dicas de como fazer, please.

"
Ekalil81
"

[Alvinho]

ekalil, posta ae o html plz. abre um contato, clica com o botão direito, exibir código fonte, e cola aqui