Le Web Invisible est la partie du World Wide Web, qui n’est pas indexable par les moteurs de recherche et est donc invisible. Contrairement au Web de Surface, le Web invisible se compose de données et d’informations qui ne peuvent pas être recherchées par les moteurs de recherche pour diverses raisons. Les utilisateurs ne peuvent pas accéder à ces informations en utilisant les moteurs de recherche traditionnels. Les sites Web, applications et ressources non indexés incluent des informations protégées dans les domaines du courrier électronique, des services bancaires en ligne, des bases de données spécialisées et d’autres services payants, par exemple via un paywall. En outre, il existe des sites Web non liés et protégés par mot de passe, ainsi que des types de médias et des archives qui ne peuvent pas être explorés avec la technologie actuelle des moteurs de recherche.
Informations générales
Les différents noms du World Wide Web sont souvent confondus. Des termes tels que Dark Web, Deep Web, Web Invisible / Visible ou le soi-disant Darknet sont soumis à des délimitations et des définitions peu claires. L’étude empirique la plus importante sur ce sujet date de 2001 et est probablement dépassée aujourd’hui. Bien que la taille des différents types d’Internet y ait été examinée, des définitions ont également été créées dans une étude plus approfondie de la même année qui sont expliquées dans l’article Deep Web. Parler d’un Web invisible n’a de sens que si le moteur de recherche utilisé est également mentionné. Parce que les moteurs de recherche rendent également visibles les ressources du Web invisible et que tout ce qui n’a pas encore été indexé par les moteurs de recherche est, en principe, invisible pour la plupart des internautes.
Fonctionnement
Le Web invisible peut être considéré comme une zone de l’Internet qui n’a pas (encore) été indexée ou qui a été soumise à diverses restrictions d’accès. Une métaphore souvent utilisée dans ce contexte est celle de l’océan. Dans une coupe transversale, les informations qui composent le World Wide Web peuvent être représentées comme les différentes profondeurs et couches de l’océan. Un moteur de recherche comme Google serait alors un bateau de pêche pêchant dans les eaux peu profondes. Cependant, il y a beaucoup d’autres informations qui sont inaccessibles pour le bateau de pêche, car les filets ne descendent pas aussi loin. En conséquence, les termes suivants sont courants parmi les experts en informatique:
- Surface Web : Les ressources d’information sont liées par des hyperliens. Les moteurs de recherche peuvent explorer et indexer ces informations. La plupart des utilisateurs connaissent ce type de Web comme Internet, qu’ils utilisent par exemple dans une recherche.
- Web peu profond: Le Web peu profond est l’arrière-plan des technologies de l’information de nombreuses pages. Cela inclut les bases de données, les serveurs et les instructions de programmation, qui sont stockés dans les bases de données. Par exemple, les sites Web sont générés directement à partir de ces bases de données lorsqu’ils sont accessibles par les utilisateurs. Cela inclut notamment les sites Web scénarisés et dynamiques qui sont liés à des hyperliens et créés à l’aide de PHP et d’autres langages de programmation. Les liens attirent les moteurs de recherche vers ces sites Web, mais ils n’indexent généralement que les versions statiques de ces sites Web.
- Web profond ou Web caché: Ces informations et ressources sont généralement cachées et il n’y a aucun lien vers celles-ci. Pour rechercher ces informations, des moteurs de recherche et des technologies spécifiques sont nécessaires pour y accéder. Le navigateur Tor est un exemple d’une telle technologie. Les annuaires Deep Web agissent comme des moteurs de recherche spécifiques pouvant être utilisés pour accéder à des informations, à moins qu’elles ne soient soumises à d’autres restrictions d’accès (telles que mots de passe, cryptage, pare-feu).
Dans la terminologie ci-dessus, la Toile Invisible est une combinaison de la Toile peu profonde et de la Toile profonde. Pour obtenir le contenu et les informations du Web invisible, des requêtes individuelles basées sur les langages de programmation utilisés ou des moteurs de recherche spécifiques fournissant un index sont nécessaires. Étant donné qu’une variété de bases de données thématiques et de ressources de serveur sont organisées thématiquement et écrites dans un langage de programmation particulier, une recherche de ces informations est presque impossible pour les moteurs de recherche généraux tels que Google, Yahoo ou Bing. En ce sens, le contenu y est invisible, mais peut en principe être atteint à l’aide de moteurs de recherche verticaux, de technologies spécifiques et des instructions de programmation correctes.
Exemples
Quelques exemples de la Toile invisible:
- Bases de données à partir desquelles les sites Web sont générés (sites Web dynamiques).
- Bases de données à vocation académique nécessitant une inscription.
- Sites Web non liés et protégés par mot de passe.
- Réseaux à accès restreint nécessitant des technologies spécifiques.
Pertinence pour le marketing en ligne
Bien que les liens des réseaux universitaires (liens .edu) et des sites Web gouvernementaux soient très populaires dans le marketing en ligne, la prudence est recommandée avec le contenu du Web invisible. Chaque ressource doit être évaluée individuellement et le profil de lien d’un site Web doit être régulièrement revu. Semblable au Dark Web, certains liens peuvent apparaître à Google comme s’ils constituaient un Mauvais quartier. Les sites liés n’ont pas la confiance des moteurs de recherche et, par conséquent, de tels liens peuvent avoir un impact négatif sur la ressource liée.
Cependant, un premier lien vers un site web est une preuve de confiance pour les moteurs de recherche traditionnels. Grâce à ce lien, ils acquièrent souvent la connaissance d’une nouvelle ressource. Il est également conseillé de vérifier si le site à commercialiser est accessible pour les moteurs de recherche classiques. Par exemple, le fichier htaccess, les balises meta et les robots.txt doit être examiné pour savoir s’ils accordent l’accès au moteur de recherche ou si le contenu est caché ou invisible. L’explorabilité et l’indexabilité sont des conditions préalables centrales au succès sur Internet si le marketing en ligne doit être effectué pour un site Web.
- Livre blanc : Le Web profond : Surfaçage de la Valeur cachée quod.lib.umich.edu . Récupéré le 24 octobre 2016
- Le Web Invisible : Découvrir les Sources Que Les Moteurs de Recherche Ne peuvent pas Voir ideals.illinois.edu . Récupéré le 24 octobre 2016
- Le Guide ultime du Web invisible oedb.org . Récupéré en octobre 24, 2016
Liens Web
- Aperçu des Moteurs de Recherche Verticaux pour Explorer le Web Invisible