A Web Invisível é a parte da World Wide Web, que não é indexável pelos motores de pesquisa e, portanto, invisível. Em contraste com a Surface Web, a web invisível consiste em dados e informações que não podem ser pesquisadas com mecanismos de pesquisa por vários motivos. Os usuários não podem acessar essas informações usando mecanismos de pesquisa tradicionais. Sites, aplicativos e recursos não indexados incluem informações protegidas nas áreas de E-mail, banco on-line, bancos de dados especializados e outros serviços pagos, por exemplo, por meio de um paywall. Além disso, existem sites não vinculados e protegidos por senha, bem como tipos de mídia e arquivos que não podem ser rastreados com a tecnologia atual do mecanismo de pesquisa.
Informações Gerais
os diferentes nomes para a World Wide Web são frequentemente confundidos. Termos como Dark Web, Deep Web, Invisible / Visible Web ou o chamado Darknet estão sujeitos a demarcações e definições pouco claras. O estudo empírico mais importante sobre este assunto data de 2001 e provavelmente está desatualizado agora. Embora o tamanho dos vários tipos de Internet tenha sido examinado lá, as definições também foram criadas em um estudo adicional do mesmo ano, que são explicadas no artigo Deep Web. Falar de uma Web invisível só faz sentido se o mecanismo de pesquisa usado também for mencionado. Como os mecanismos de pesquisa tornam os recursos visíveis na Web invisível também e tudo o que ainda não foi indexado pelos mecanismos de pesquisa é, em princípio, invisível para a maioria dos usuários da Internet.
como funciona
a web invisível pode ser vista como uma área da Internet que não (ainda) foi indexada ou foi submetida a várias restrições de acesso. Uma metáfora que é frequentemente usada neste contexto é a do oceano. Em uma seção transversal, as informações que compõem a World Wide Web podem ser representadas como as várias profundidades e camadas do oceano. Um motor de busca como o Google seria então um barco de pesca nas águas rasas. No entanto, há muitas outras informações inacessíveis para o barco de pesca, porque as redes não chegam tão longe. Assim, os seguintes termos são comuns entre os especialistas em TI:
- Surface Web: os recursos de informação são vinculados por hiperlinks. Os mecanismos de pesquisa podem rastrear e indexar essas informações. A maioria dos usuários conhece esse tipo de web como a Internet, que eles usam, por exemplo, em uma pesquisa.
- Shallow Web: the Shallow Web é o fundo de tecnologia da informação de muitas páginas. Isso inclui bancos de dados, servidores e instruções de programação, que são armazenados nos bancos de dados. Por exemplo, os sites são gerados diretamente desses bancos de dados quando são acessados pelos usuários. Isso inclui, em particular, sites com script e dinâmicos que estão vinculados a hiperlinks e criados usando PHP e outras linguagens de programação. Os links atraem mecanismos de pesquisa para esses sites, mas geralmente indexam apenas as versões estáticas desses sites.
- Deep Web ou Hidden Web: essas informações e recursos geralmente estão ocultos e não há links para ele. Para procurar essas informações, mecanismos de pesquisa e tecnologias específicas são necessários para obter acesso. O Navegador Tor é um exemplo dessa tecnologia. Os diretórios da Deep Web atuam como mecanismos de pesquisa específicos que podem ser usados para acessar informações, a menos que estejam sujeitos a outras restrições de acesso (como senhas, criptografia, firewalls).
na terminologia acima, a web invisível é uma combinação da Web superficial e profunda. Para obter o conteúdo e as informações da Web invisível, são necessárias consultas individuais com base nas linguagens de programação usadas ou mecanismos de pesquisa específicos que fornecem um índice. Como uma variedade de bancos de dados de assunto e recursos do servidor são organizados tematicamente e escritos em uma linguagem de programação específica, uma pesquisa dessas informações é quase impossível para mecanismos de pesquisa gerais como Google, Yahoo ou Bing. Nesse sentido, o conteúdo é invisível, mas, em princípio, pode ser alcançado usando mecanismos de pesquisa verticais, tecnologias específicas e as instruções de programação corretas.
exemplos
alguns exemplos da Web invisível:
- bancos de dados a partir dos quais os sites são gerados (sites dinâmicos).
- bases de dados para fins acadêmicos que exigem registro.
- sites não vinculados e protegidos por senha.
- redes restritas de acesso que requerem tecnologias específicas.
relevância para o marketing on-line
embora os links de redes acadêmicas (links.edu) e sites governamentais sejam bastante populares no marketing on-line, recomenda-se cautela com o conteúdo da Web invisível. Cada recurso deve ser avaliado individualmente e o perfil de link de um site deve ser revisado regularmente. Semelhante à Dark Web, certos links podem aparecer no Google como se fossem um bairro ruim. Os Sites Vinculados não têm a confiança dos mecanismos de pesquisa e, portanto, esses links podem impactar negativamente o recurso vinculado.
no entanto, um primeiro link para um site é uma prova de confiança para os motores de busca tradicionais. Por meio desse link, eles geralmente adquirem conhecimento de um novo recurso. Também é aconselhável verificar se o site a ser comercializado está acessível para os mecanismos de pesquisa convencionais. Por exemplo, o arquivo htaccess, meta tags e os robôs.o txt deve ser examinado se concede acesso ao mecanismo de pesquisa ou se o conteúdo está oculto ou invisível. Rastreabilidade e indexabilidade são pré-requisitos centrais para o sucesso na Internet se o marketing on-line for feito para um site.
- documentação técnica: A Deep Web: Pavimentação de Valor Oculto quod.lib.umich.edu. Página visitada em 24 de outubro de 2016
- A Web Invisível: Revelando as Fontes Motores de Busca não Pode Ver ideals.illinois.edu. Página visitada em 24 de outubro de 2016
- O melhor Guia para a Web Invisível oedb.org. Página visitada em outubro 24, 2016
Links da web
- Visão geral da Vertical Motores de Busca para Explorar a Web Invisível