Das Invisible Web ist der Teil des World Wide Web, der von Suchmaschinen nicht indexierbar und somit unsichtbar ist. Im Gegensatz zum Surface Web besteht das Invisible Web aus Daten und Informationen, die mit Suchmaschinen aus verschiedenen Gründen nicht durchsucht werden können. Benutzer können mit herkömmlichen Suchmaschinen nicht auf diese Informationen zugreifen. Nicht indizierte Websites, Apps und Ressourcen umfassen geschützte Informationen in den Bereichen E-Mail, Online-Banking, spezialisierte Datenbanken und andere kostenpflichtige Dienste, beispielsweise über eine Paywall. Hinzu kommen nicht verlinkte und passwortgeschützte Webseiten sowie Medientypen und Archive, die mit der aktuellen Suchmaschinentechnologie nicht gecrawlt werden können.
Allgemeine Informationen
Die verschiedenen Namen für das World Wide Web werden oft verwechselt. Begriffe wie Dark Web, Deep Web, Invisible/Visible Web oder das sogenannte Darknet unterliegen unklaren Abgrenzungen und Definitionen. Die wichtigste empirische Studie zu diesem Thema stammt aus dem Jahr 2001 und ist wahrscheinlich veraltet. Obwohl dort die Größe der verschiedenen Arten des Internets untersucht wurde, wurden in einer weiteren Studie desselben Jahres auch Definitionen erstellt, die im Artikel Deep Web erläutert werden. Von einem unsichtbaren Web zu sprechen, macht nur Sinn, wenn auch die verwendete Suchmaschine erwähnt wird. Denn Suchmaschinen machen Ressourcen auch im unsichtbaren Web sichtbar und alles, was von Suchmaschinen noch nicht indiziert wurde, ist für die meisten Internetnutzer prinzipiell unsichtbar.
Funktionsweise
Das Invisible Web kann als ein Bereich des Internets betrachtet werden, der entweder (noch) nicht indiziert ist oder verschiedenen Zugriffsbeschränkungen unterliegt. Eine Metapher, die in diesem Zusammenhang oft verwendet wird, ist die des Ozeans. In einem Querschnitt können die Informationen, aus denen das World Wide Web besteht, als die verschiedenen Tiefen und Schichten des Ozeans dargestellt werden. Eine Suchmaschine wie Google wäre dann ein Fischerboot, das in den flachen Gewässern fischt. Es gibt jedoch viele andere Informationen, die für das Fischerboot unerreichbar sind, da die Netze nicht so weit nach unten reichen. Dementsprechend sind die folgenden Begriffe unter IT-Experten üblich:
- Surface Web: Die Informationsquellen sind durch Hyperlinks verlinkt. Suchmaschinen können diese Informationen crawlen und indizieren. Die meisten Benutzer kennen diese Art von Web als Internet, das sie beispielsweise für eine Suche verwenden.
- Shallow Web: Das Shallow Web ist der informationstechnologische Hintergrund vieler Seiten. Dazu gehören Datenbanken, Server und Programmieranweisungen, die in den Datenbanken gespeichert sind. Beispielsweise werden Websites direkt aus diesen Datenbanken generiert, wenn Benutzer auf sie zugreifen. Dazu gehören insbesondere skriptbasierte und dynamische Websites, die mit Hyperlinks verknüpft sind und mit PHP und anderen Programmiersprachen erstellt wurden. Die Links ziehen Suchmaschinen auf diese Websites, aber sie indizieren in der Regel nur die statischen Versionen dieser Websites.
- Deep Web oder Verstecktes Web: Diese Informationen und Ressourcen sind normalerweise versteckt und es gibt keine Links dazu. Um nach diesen Informationen zu suchen, sind spezielle Suchmaschinen und Technologien erforderlich, um Zugriff zu erhalten. Der Tor-Browser ist ein Beispiel für eine solche Technologie. Deep Web Directories fungieren als spezifische Suchmaschinen, mit denen auf Informationen zugegriffen werden kann, es sei denn, sie unterliegen anderen Zugriffsbeschränkungen (z. B. Kennwörter, Verschlüsselung, Firewalls).
In der obigen Terminologie ist das unsichtbare Netz eine Kombination aus dem flachen und dem tiefen Netz. Um den Inhalt und die Informationen des Invisible Web zu erreichen, sind entweder einzelne Abfragen basierend auf den verwendeten Programmiersprachen oder spezifische Suchmaschinen erforderlich, die einen Index bereitstellen. Da eine Vielzahl von Fachdatenbanken und Serverressourcen thematisch organisiert und in einer bestimmten Programmiersprache geschrieben sind, ist eine Suche nach diesen Informationen für allgemeine Suchmaschinen wie Google, Yahoo oder Bing nahezu unmöglich. In diesem Sinne ist der Inhalt dort unsichtbar, kann aber grundsätzlich über vertikale Suchmaschinen, spezifische Technologien und die richtigen Programmieranweisungen erreicht werden.
Beispiele
Einige Beispiele für das unsichtbare Netz:
- Datenbanken, aus denen Websites generiert werden (dynamische Websites).
- Datenbanken für akademische Zwecke, für die eine Registrierung erforderlich ist.
- Nicht verlinkte und passwortgeschützte Websites.
- Zugangsbeschränkte Netzwerke, die bestimmte Technologien erfordern.
Relevanz für das Online-Marketing
Während Links aus akademischen Netzwerken (.edu-Links) und Regierungswebsites im Online-Marketing sehr beliebt sind, ist bei Inhalten aus dem Invisible Web Vorsicht geboten. Jede Ressource sollte einzeln bewertet und das Linkprofil einer Website regelmäßig überprüft werden. Ähnlich wie im Dark Web können bestimmte Links für Google so erscheinen, als wären sie eine schlechte Nachbarschaft. Die verlinkten Seiten haben nicht das Vertrauen der Suchmaschinen und dementsprechend können solche Links die verlinkte Ressource negativ beeinflussen.
Ein erster Link zu einer Website ist jedoch ein Vertrauensbeweis für traditionelle Suchmaschinen. Durch diese Verbindung erhalten sie häufig Kenntnisse über eine neue Ressource. Es ist auch ratsam zu prüfen, ob die zu vermarktende Website für herkömmliche Suchmaschinen zugänglich ist. Zum Beispiel die htaccess-Datei, Meta-Tags und die Roboter.txt sollten daraufhin geprüft werden, ob sie Suchmaschinenzugriff gewähren oder ob der Inhalt versteckt oder unsichtbar ist. Crawlability und Indexierbarkeit sind zentrale Voraussetzungen für den Erfolg im Internet, wenn Online-Marketing für eine Website betrieben werden soll.
- White Paper: Das Deep Web: Verborgene Werte entdecken quod.lib.umich.edu . Abgerufen am Oktober 24, 2016
- Das unsichtbare Web: Quellen aufdecken, die Suchmaschinen nicht sehen können ideals.illinois.edu . Abgerufen am 24. Oktober 2016
- Der ultimative Leitfaden für das unsichtbare Web oedb.org . Abgerufen am Oktober 24, 2016
Weblinks
- Überblick über vertikale Suchmaschinen zum Erkunden des unsichtbaren Webs