den osynliga webben är den del av World Wide Web, som inte kan indexeras av sökmotorer och därför är osynlig. Till skillnad från Surface Web består den osynliga webben av data och information som inte kan sökas med sökmotorer av olika skäl. Användare kan inte komma åt denna information genom att använda traditionella sökmotorer. Icke-indexerade webbplatser, appar och resurser inkluderar skyddad information inom områdena e-post, internetbank, specialiserade databaser och andra betalda tjänster, till exempel via en betalvägg. Dessutom finns det icke-länkade och lösenordsskyddade webbplatser samt mediatyper och arkiv som inte kan genomsökas med aktuell sökmotorteknik.

allmän information

de olika namnen på World Wide Web är ofta förvirrade. Termer som Dark Web, Deep Web, Invisible / Visible Web eller det så kallade Darknet är föremål för oklara avgränsningar och definitioner. Den viktigaste empiriska studien om detta ämne är från 2001 och är sannolikt föråldrad nu. Även om storleken på de olika typerna av Internet undersöktes där skapades också definitioner i en ytterligare studie samma år som förklaras i artikeln Deep Web. Att prata om en osynlig Webb är endast meningsfull om den använda sökmotorn också nämns. Eftersom sökmotorer också gör resurser synliga på den osynliga webben och allt som ännu inte har indexerats av sökmotorer är i princip osynligt för de flesta Internetanvändare.

hur det fungerar

den osynliga webben kan ses som ett område på Internet som antingen inte (ännu) har indexerats eller har utsatts för olika åtkomstbegränsningar. En metafor som ofta används i detta sammanhang är havets. I ett tvärsnitt kan informationen som utgör World Wide Web representeras som olika djup och lager av havet. En sökmotor som Google skulle då vara en fiskebåt som fiskar i det grunda vattnet. Det finns dock en hel del annan information som är oåtkomlig för fiskebåt, eftersom näten inte når ner så långt. Följaktligen är följande termer vanliga bland IT-experter:

• Surface Web: informationsresurserna är länkade med hyperlänkar. Sökmotorer kan genomsöka och indexera denna information. De flesta användare känner till den här typen av webb som Internet, som de använder till exempel i en sökning.
• Shallow Web: den grunda webben är informationsteknikens bakgrund på många sidor. Detta inkluderar databaser, servrar och programmeringsinstruktioner, som lagras i databaserna. Till exempel genereras webbplatser direkt från dessa databaser när de nås av användare. Detta inkluderar i synnerhet skript och dynamiska webbplatser som är länkade till hyperlänkar och skapade med PHP och andra programmeringsspråk. Länkarna lockar sökmotorer till dessa webbplatser, men de indexerar vanligtvis bara de statiska versionerna av dessa webbplatser.
• Deep Web eller Hidden Web: denna information och resurser är vanligtvis dolda och det finns inga länkar till den. För att söka efter denna information behövs specifika sökmotorer och tekniker för att få tillgång. Tor-webbläsaren är ett exempel på en sådan teknik. Djupa webbkataloger fungerar som specifika sökmotorer som kan användas för att komma åt information, såvida det inte är föremål för andra åtkomstbegränsningar (t.ex. lösenord, kryptering, brandväggar).

i ovanstående terminologi är den osynliga banan en kombination av den grunda och den djupa banan. För att uppnå innehållet och informationen på den osynliga webben krävs antingen enskilda frågor baserade på de programmeringsspråk som används eller specifika sökmotorer som ger ett index. Eftersom en mängd ämnesdatabaser och serverresurser är tematiskt organiserade och skrivna på ett visst programmeringsspråk är en sökning av denna information nästan omöjlig för allmänna sökmotorer som Google, Yahoo eller Bing. I den meningen är innehållet osynligt, men kan i princip nås med hjälp av vertikala sökmotorer, specifik teknik och rätt programmeringsinstruktioner.

exempel

några exempel på den osynliga webben:

• databaser från vilka webbplatser genereras (dynamiska webbplatser).
• akademiska ändamål databaser som kräver registrering.
• icke-länkade och lösenordsskyddade webbplatser.
• Åtkomstbegränsade nätverk som kräver specifik teknik.

relevans för marknadsföring på nätet

medan länkar från akademiska nätverk (.edu-länkar) och statliga webbplatser är ganska populära i marknadsföring på nätet, rekommenderas försiktighet med innehåll från den osynliga webben. Varje resurs bör utvärderas individuellt och länkprofilen på en webbplats bör regelbundet ses över. I likhet med den mörka webben kan vissa länkar visas för Google som om de är ett dåligt grannskap. De länkade webbplatserna har inte sökmotorernas förtroende och följaktligen kan sådana länkar påverka den länkade resursen negativt.

en första länk till en webbplats är dock ett bevis på förtroende för traditionella sökmotorer. Genom denna länk får de ofta kunskap om en ny resurs. Det är också lämpligt att kontrollera om webbplatsen som ska marknadsföras är tillgänglig för konventionella sökmotorer. Till exempel htaccess-filen, metataggar och robotarna.txt bör undersökas om de ger sökmotoråtkomst eller om innehållet är dolt eller osynligt. Genomsökbarhet och indexerbarhet är centrala förutsättningar för framgång på Internet om marknadsföring på nätet ska göras för en webbplats.

1. vitbok: den djupa webben: ytbeläggning Dold värde quod.lib.umich.edu. hämtad den 24 oktober 2016
2. den osynliga webben: Avtäcka källor sökmotorer kan inte se ideals.illinois.edu. hämtad den 24 oktober 2016
3. den ultimata guiden till den osynliga webben oedb.org. hämtad i oktober 24, 2016

webblänkar

• översikt över vertikala sökmotorer för att utforska den osynliga webben