het Invisible Web is het deel van het World Wide Web, dat niet indexeerbaar is door zoekmachines en daarom onzichtbaar is. In tegenstelling tot het Surface Web bestaat het onzichtbare Web uit gegevens en informatie die om verschillende redenen niet met zoekmachines kunnen worden doorzocht. Gebruikers hebben geen toegang tot deze informatie met behulp van traditionele zoekmachines. Niet-geïndexeerde websites, apps en bronnen bevatten beschermde informatie op het gebied van e-mail, online bankieren, gespecialiseerde databases en andere betaalde diensten, bijvoorbeeld via een paywall. Daarnaast zijn er niet-gelinkte en met een wachtwoord beveiligde websites, evenals mediatypen en archieven die niet kunnen worden gekropen met de huidige zoekmachinetechnologie.

Algemene informatie

de verschillende namen voor het World Wide Web zijn vaak verward. Termen als Dark Web, Deep Web, Invisible / Visible Web of het zogenaamde Darknet zijn onderhevig aan onduidelijke afbakening en definities. De belangrijkste empirische studie over dit onderwerp dateert uit 2001 en is nu waarschijnlijk achterhaald. Hoewel de omvang van de verschillende soorten Internet daar werd onderzocht, werden ook definities gecreëerd in een verdere studie van hetzelfde jaar die worden uitgelegd in het artikel Deep Web. Praten over een onzichtbaar Web is alleen zinvol als de zoekmachine gebruikt wordt ook vermeld. Want zoekmachines maken middelen ook zichtbaar in het onzichtbare Web en alles wat nog niet door zoekmachines is geïndexeerd is in principe onzichtbaar voor de meeste internetgebruikers.

hoe het werkt

het onzichtbare Web kan worden gezien als een gebied van het Internet dat (nog) niet is geïndexeerd of onderworpen is aan verschillende toegangsbeperkingen. Een metafoor die in deze context vaak wordt gebruikt is die van de oceaan. In een dwarsdoorsnede kan de informatie waaruit het World Wide Web bestaat worden weergegeven als de verschillende diepten en lagen van de oceaan. Een zoekmachine als Google zou dan een vissersboot zijn die in de ondiepe wateren vist. Er is echter veel andere informatie die voor de vissersboot onbereikbaar is, omdat de netten niet zo ver naar beneden reiken. Daarom zijn de volgende termen gebruikelijk onder IT-deskundigen:

• Surface Web: de informatiebronnen zijn verbonden door hyperlinks. Zoekmachines kunnen deze informatie doorzoeken en indexeren. De meeste gebruikers kennen dit soort web als het Internet, die ze gebruiken bijvoorbeeld in een zoekopdracht.
• ondiep Web: het ondiep Web is de achtergrond van de informatietechnologie van vele pagina ‘ s. Dit omvat databases, servers en programmeerinstructies, die in de databases worden opgeslagen. Websites worden bijvoorbeeld rechtstreeks vanuit deze databases gegenereerd wanneer ze door gebruikers worden geopend. Dit omvat in het bijzonder scripted en dynamische websites die zijn gekoppeld aan hyperlinks en gemaakt met behulp van PHP en andere programmeertalen. De links trekken zoekmachines naar deze websites, maar ze meestal alleen indexeren de statische versies van deze websites.
• Deep Web of Hidden Web: deze informatie en bronnen zijn meestal verborgen en er zijn geen links naar. Om naar deze informatie te zoeken, zijn specifieke zoekmachines en technologieën nodig om toegang te krijgen. De Tor browser is een voorbeeld van een dergelijke technologie. Deep Web directory ‘ s fungeren als specifieke zoekmachines die kunnen worden gebruikt om toegang te krijgen tot informatie, tenzij deze onderworpen is aan andere toegangsbeperkingen (zoals wachtwoorden, encryptie, firewalls).

in de bovenstaande terminologie is het onzichtbare Web een combinatie van het ondiepe en het diepe Web. Om de inhoud en informatie van het onzichtbare Web te bereiken, zijn individuele query ‘ s op basis van de gebruikte programmeertalen of specifieke zoekmachines die een index bieden vereist. Omdat een verscheidenheid aan onderwerpdatabases en serverbronnen thematisch zijn georganiseerd en geschreven in een bepaalde programmeertaal, is het zoeken naar deze informatie bijna onmogelijk voor algemene zoekmachines zoals Google, Yahoo of Bing. In die zin is de inhoud er onzichtbaar, maar in principe kan worden bereikt met behulp van verticale zoekmachines, specifieke technologieën, en de juiste programmeerinstructies.

voorbeelden

enkele voorbeelden van het onzichtbare Web:

• Databases waaruit websites worden gegenereerd (dynamische websites).
• databases voor academische doeleinden waarvoor registratie vereist is.
• niet-gelinkte en met een wachtwoord beveiligde websites.
• voor toegang beperkte netwerken die specifieke technologieën vereisen.

relevantie voor online marketing

hoewel links van academische netwerken (. edu-links) en overheidswebsites vrij populair zijn in online marketing, is voorzichtigheid geboden met inhoud van het onzichtbare Web. Elke bron moet afzonderlijk worden beoordeeld en het linkprofiel van een website moet regelmatig worden herzien. Vergelijkbaar met het Dark Web, bepaalde links kunnen lijken op Google alsof ze een slechte buurt. De gelinkte sites hebben niet het vertrouwen van de zoekmachines en bijgevolg kunnen dergelijke links een negatieve invloed hebben op de gelinkte bron.

een eerste link naar een website is echter een bewijs van vertrouwen voor traditionele zoekmachines. Via deze link krijgen ze vaak kennis van een nieuwe bron. Het is ook raadzaam om te controleren of de te verkopen website toegankelijk is voor conventionele zoekmachines. Bijvoorbeeld, het htaccess bestand, meta tags, en de robots.txt moet worden onderzocht of ze zoekmachine toegang verlenen of dat de inhoud is verborgen of onzichtbaar. Crawlability en indexability zijn centrale voorwaarden voor succes op het Internet als online marketing moet worden gedaan voor een website.

1. White Paper: The Deep Web: Surfacing Hidden Value quod.lib.umich.edu. Geraadpleegd op 24 oktober 2016
2. The Invisible Web: Uncovering Sources zoekmachines kunnen niet zien ideals.illinois.edu Geraadpleegd op 24 oktober 2016
3. The Ultimate Guide to The Invisible Web oedb.org. Retrieved op Oktober 24, 2016

weblinks

• overzicht van verticale zoekmachines om het onzichtbare Web te verkennen