Deep Web - O lado negro da Internet

[Joshua]

@alvinho então qual é o critério? Como tu sabe? Tu é usuário da deep web? pergunta honesta!

[heroniac]

Content Coverage and Type Analysis

Content coverage was analyzed across all 17,000 search sites in the qualified deep Web pool (results shown in Table 6); the type of deep Web site was determined from the 700 hand-characterized sites (results shown in Figure 6).
Broad content coverage for the entire pool was determined by issuing queries for twenty top-level domains against the entire pool. Because of topic overlaps, total occurrences exceeded the number of sites in the pool; this total was used to adjust all categories back to a 100% basis.
Hand characterization by search-database type resulted in assigning each site to one of twelve arbitrary categories that captured the diversity of database types. These twelve categories are:

1. Topic Databases — subject-specific aggregations of information, such as SEC corporate filings, medical databases, patent records, etc.
2. Internal site — searchable databases for the internal pages of large sites that are dynamically created, such as the knowledge base on the Microsoft site.
3. Publications — searchable databases for current and archived articles.
4. Shopping/Auction.
5. Classifieds.
6. Portals — broader sites that included more than one of these other categories in searchable databases.
7. Library — searchable internal holdings, mostly for university libraries.
8. Yellow and White Pages — people and business finders.
9. Calculators — while not strictly databases, many do include an internal data component for calculating results. Mortgage calculators, dictionary look-ups, and translators between languages are examples.
10. Jobs — job and resume postings.
11. Message or Chat .
12. General Search — searchable databases most often relevant to Internet search topics and information.

These 700 sites were also characterized as to whether they were public or subject to subscription or fee access.

Link: White Paper: The Deep Web: Surfacing Hidden Value

[Godofredo]

Eu não sou reg e nem especialista nesse assunto, mas creio que esse "portal do aluno" e outras coisas similares NÃO fazem parte da deep web, justamente pelo fato de que tu consegue utilizar um navegador normal para acessá-lo...

Outra coisa, depois de anos usando a internet, descobrir que tem um "universo paralelo" debaixo do meu nariz é, no mínimo, frustante...

HAHA. Tenho essa msm impressão. Parece que nos deixaram do lado de fora da "festa".

[heroniac]

O artigo que postei ali 'e interessante. Vejam a tabela 6 no artigo, 'e bem legal, apesar de ser de 2001. Partindo do ponto de vista que eles tracaram, realmente a "deep web" provavelmente era 498.000 vezes maior que a nossa modica Internet! Hoje entao ..

[Alvinho]

@alvinho então qual é o critério? Como tu sabe? Tu é usuário da deep web? pergunta honesta!

ueh, o critério é o que eu expliquei, o que o google consegue indexar. é assim por definição po.

[Godofredo]

Exemplificando:

Imaginemos um prédio comercial, que no caso é a internet. Esse prédio comporta várias salas de empresas famos que todos sabem que tem escritório nesse prédio, essa é a superfície da internet. Algumas salas, somente algumas pessoas sabem da existência, e por isso caso perguntem na rua quase ninguém saberia informar da sua existência, essa é DeepWeb. E por fim, há algumas salas usadas por bandidos que discretamente comercializam armas, drogas. Essas somente que está no meio conhecem, esse é o tipo que o Joshuard nos informou.

Meio por ae ?

[Alvinho]

não. a grande maioria dos sites da Deep Web são públicos.

uma analogia melhor seria tipo "Algumas salas não estão listadas no catálogo, essa é DeepWeb."

[Nacht]

le navegando tranquilo na deep web

oh wait...

FUUUU!!!

eu não devia ter feito isso! (carinha na escuridão com dentes trincados)

[brenob]

não sei pq tanto espanto. não tem nada que rola na deep web que não aconteça no interior do goias.

Voce é de onde Brenob ?

brasília. falei isso mais pra zuar com goias mesmo. mas quis dizer que rola muita coisa bizarra por todo canto, tem muito doente por aí.

[cpinheiro]

Cara vocês tão viajando pesado IMHO. Se baseando em pesquisas de 1999 e 2000 que indicavam que o conteúdo da Deep Web era 500x maior que o conteúdo da rede normal. Se naquela época era 500x maior, ÓBVIO que hoje é muito menor que isso.

A própria origem da internet vem de uma rede privada. Então é meio óbvio que existiam muito mais coisas "particulares", e que a proporção em relação a parte pública da rede era muito maior. Não sei quem aqui tem idade pra lembrar, mas a internet em 1999/2000 era MUITO diferente do que é hoje, e tinha muito menos conteúdo.

Além disso, acredito que faz parte dessa Deep Web os inúmeros grupos de warez (que existiam na época, hoje não sei como é) cujos sites eram gigantescos (Teras) enquanto o HD comum na época acho que era de 20gb? Então deve ter muita coisa que existem em ambas as redes, mas foi disponibilizado muito antes na Deep Web.

Isso acontece hoje em dia na área de segurança da informação. Um bug é descoberto cerca de 1 ano antes de ser publicado, entretanto mais tarde vai estar disponível em ambas as redes (se é que se pode dizer assim, seilá quem diabos criou essa nomenclatura sensacionalista)