Extraindo uma base de dados de um search engine

[Alvinho]

Porra, search sem nada mostra todos? Só rodar um scraper simples então e gg

[ekalil]

Porra, search sem nada mostra todos? Só rodar um scraper simples então e gg

Nao mostrou todos nao. Apareceu a seguinte mensagem:

Your search query resulted in 43138 matches.
Please select the BACK key on your browser and refine your search.

Mas acho que isso eh pq excedou o maximo que matches, sei la.

Se procurar ano a ano acho que vai de boa.

edit: procurei o ano de 2001 aqui e retornou 792 resultados. Tem algum desses scraper pra recomendar @Alvinho?

[Bombado]

O script dos likes que o cara fez procurava em todas as páginas, não é difícil fazer isso aí não.

[ekalil]

@RKint, tem como dar uma lida no OP e ver quao dificil eh fazer isso?

[Alvinho]

quando precisei, há vários anos atrás, usei esse aqui e deu certo:
Web scraping software and services | screen-scraper

lembro que ele só demorava pra pegar tudo (era um script pra entrar na página de cada jogador da NBA e pegar as stats do último jogo), mas como você vai rodar 1x acho que não tem problema.

mas você vai precisar de algum conhecimento de expressões regulares ou então ler os tutoriais todos e tal.

[Preacher]

Dá sim ekalil, mas de longe e com os dados que você postou fica um pouco difícil. Sem manipular a DB de forma, digamos, heterodoxa, procurando um possível sqli ou verificando uma possível outra forma de manipulação da mesma alterando os parâmetros de busca, eu pensaria em como adaptar um crawler alí, usando desde softs já prontos, como o teleportpro (Teleport Pro download - Baixaki) ou caso seja difícil adaptar um programa pronto eu pensaria em um crawler customizado, que um programador pode fazer para você através de um simples script em perl, por exemplo, e "chupar" as informações e mesmo depura-las.

Em suma, as opções:

1- Métodos heterodoxos de manipulação remota de database (pode dar merda caso não se saiba o que se está fazendo);

2- Utilização de programas tipo web-crawler que se adapte ao caso;

3-Feitura de um script dando um trocado para um programador que pode ser conseguido nos meios acadêmicos que você frequenta aí.

Em suma é isto imNho (o not no caso do acrônimo é que eu já utilizei os três métodos para intentos semelhantes em muitas, mas muitas vezes, quando tinha por hobby brincar com servidores mundo afora. Peter Pan, u know hehe).

E dá pra fazer isso pra alimentar uma database própria, a partir de dados de vários sites?

[Fion]

Dá sim ekalil, mas de longe e com os dados que você postou fica um pouco difícil. Sem manipular a DB de forma, digamos, heterodoxa, procurando um possível sqli ou verificando uma possível outra forma de manipulação da mesma alterando os parâmetros de busca, eu pensaria em como adaptar um crawler alí, usando desde softs já prontos, como o teleportpro (Teleport Pro download - Baixaki) ou caso seja difícil adaptar um programa pronto eu pensaria em um crawler customizado, que um programador pode fazer para você através de um simples script em perl, por exemplo, e "chupar" as informações e mesmo depura-las.

Em suma, as opções:

1- Métodos heterodoxos de manipulação remota de database (pode dar merda caso não se saiba o que se está fazendo);

2- Utilização de programas tipo web-crawler que se adapte ao caso;

3-Feitura de um script dando um trocado para um programador que pode ser conseguido nos meios acadêmicos que você frequenta aí.

Em suma é isto imNho (o not no caso do acrônimo é que eu já utilizei os três métodos para intentos semelhantes em muitas, mas muitas vezes, quando tinha por hobby brincar com servidores mundo afora. Peter Pan, u know hehe).

E dá pra fazer isso pra alimentar uma database própria, a partir de dados de vários sites?

Claro que sim. No caso dele ainda dá para fazer um download manager chupar todas as páginas e depois edita-las e limpa-las com um editor de texto simples, basta prática e se faz em poucos movimentos.

[SketchDraft]

Eu não consigo ver essa facilidade toda que estão dizendo ai não, hahahaha.

Web scraping e web crawler são a mesma coisa né?(tô perguntando mesmo, já conhecia a técnica de ler a página, armazenar página mas não conhecia essas significações.)

Se puderem me ajudar a visualizar o que vem depois eu ficaria imensamente grato

1) Pesquisas no banco que abranjam maioria dos nomes, por ano como o @ekalil sugeriu.
2) web scraping neles, beleza.

Mas como transformar isso em banco de dados? Mais script pra dentro?
O caso do @RKint não usa armazenamento em banco de dados, cada pesquisa o aplicativo varre a página né ?

Eu não consigo ver essa facilidade toda não.

ps: eu pensei em sql injection, para pegar o banco de dados mesmo.

[Alvinho]

porra, depois que você tem os dados a coisa mais fácil é colocar num banco de dados neh. ou então já faz o resultado do scraping em sql e gg

quando eu fiz a parada da NBA o scraping já fazia os inserts no banco de dados

[rocksfeller]

ué @SketchDraft, essa não é a parte mais fácil?

a partir do momento que vc já leu o dado, é só inserir numa base de dados que vc criou. não?

edit: o mito foi mais rápido em demonstrar mais um campo de conhecimento que ele domina. vnh mito!