Wie viele .com-Domainnamen sind ungenutzt? Fakten & Daten

Bei der Suche nach .com-Domains war ich frustriert darüber, wie viele bereits registriert sind, aber anscheinend ungenutzt bleiben. Es kann den Eindruck erwecken, dass Menschen jede aussprechbare Buchstabenkombination in jeder wichtigen Sprache registrieren, sogar die unaussprechbaren kurzen. Gibt es eine weitverbreitete Domain-Spekulation, oder denke ich einfach an dieselben Namen wie alle anderen? Lassen Sie uns die Daten anschauen...

Derzeit sind 137 Millionen .com-Domainnamen registriert.1 Davon werden etwa 1/3 tatsächlich genutzt (Geschäfte, persönliche Webseiten, E-Mail usw.), ein weiteres Drittel scheint ungenutzt zu sein, und das letzte Drittel wird für verschiedene spekulative Zwecke verwendet.

Wie ich diese Zahlen ermittelt habe

Ich begann mit dem Crawlen einer Zufallsstichprobe von Domains aus der Top-Level .com DNS-Zonendatei, bis ich 100.000 gültige Domains erreicht hatte.

Für jede Domain sammelte ich Folgendes:

den WHOIS-Eintrag

alle DNS-Einträge für die Top-Level-Domain und die www-Subdomain

HTTP- und HTTPS-Antworten (Statuscode, Header und Inhalte) für die Startseite der Top-Level-Domain und der www-Subdomain

Screenshots der Startseite, angezeigt durch Mozilla Firefox 64.0 auf Linux

Der Crawl dauerte etwas mehr als 48 Stunden von einem einzelnen Server aus, der sich in einem Rechenzentrum in Singapur befindet. Ich führte einen Folge-Crawl für Domains durch, die keine HTTP- oder HTTPS-Verbindung herstellen konnten (für den Fall von vorübergehenden Fehlern). Schließlich überprüfte ich manuell die 2.188 Domains, die kategorisiert werden mussten, insbesondere jene, die fehlschlugen, um sicherzugehen, dass der Crawler nicht wegen Zeitüberschreitung abgebrochen hatte oder DOM-Ereignisse durch JavaScript blockiert wurden.

Dann schrieb ich ein Skript, das mir half, Websites anhand ihres Screenshots und Inhalts zu kategorisieren. Das Kategorisierungsskript stellt die möglichen Kategorien als Liste von Buttons dar, wobei "Content" die Voreinstellung ist.

Ich nutzte das Skript, um die Domains in den folgenden 2 Tagen zu kategorisieren. In einigen Fällen reichten Screenshot und Inhalt nicht aus, also öffnete ich die Domain manuell in einem Webbrowser zur Inspektion.

Domain-Kategorien

Diese Kategorien entwickelten sich im Laufe meiner Arbeit. Zum Beispiel hatte ich die hohe Anzahl von Glücksspiel-Domains (Aliase) nicht erwartet.

Für die meisten Kategorien habe ich eine Zufallsstichprobe von Screenshots aus dieser Kategorie beigefügt, redundante Screenshots ausgeschlossen.

Inhalt (31 % oder ca. 43 Millionen)

Inhalt ist die Kategorie jeder Domain mit einer Webseite, die einzigartige Inhalte zeigt. Es spielt keine Rolle, was der Inhalt ist, solange er für die Domain einzigartig erscheint und öffentlich zugänglich ist. Wenn ich unsicher war, ordnete ich die Domains standardmäßig dieser Kategorie zu.

Kein Webserver (11 % oder ca. 16 Millionen)

Wenn ich keine Verbindung zu Port 80 oder 443 für die Top-Level-Domain oder die www-Subdomain herstellen konnte oder keine gültige Antwort erhielt und die Domain keine MX-Einträge hatte, ordnete ich die Domain dieser Kategorie zu. Einige dieser Domains haben wahrscheinlich eine andere Nutzung, wie FTP- oder Videospiel-Server, aber ich vermute, dass sie nur einen kleinen Anteil ausmachen. Außerdem war der Crawl-Server nur für IPv4 konfiguriert, sodass IPv6-only-Webseiten hier gruppiert wurden.

Leer (9,2 % oder ca. 13 Millionen)

Eine leere Domain ist eine, bei der ein Webserver Anfragen beantwortet, jedoch leere Seiten, 404-Fehler oder unbefüllte Vorlagen (z. B. Standardinstallationen von WordPress) zurückgibt.

Der Unterschied zwischen einer leeren Domain und einer geparkten Domain ist, dass die leere Domain vermutlich vom Nutzer konfiguriert wurde, aber noch keine Inhalte hinzugefügt wurden.

Zu verkaufen (7,1 % oder ca. 9,8 Millionen)

Viele Domains sind zum Verkauf gelistet, meist von Domaininvestoren, über verschiedene Makler und Marktplätze. Fast die Hälfte dieser Kategorie scheint von HugeDomains verkauft zu werden, obwohl deren Webseite nur „über 200.000“ verfügbare Domains listet (ein Bruchteil ihrer ca. 4 Millionen Domains, sofern die Stichprobe repräsentativ ist). Ich nahm nur Domains von erkennbaren Marktplätzen oder wenn die Kontaktdaten nicht Teil einer Werbeplatzierung waren auf, da Werbenetzwerke und Domainmakler oft fälschlich behaupten, den Domaininhaber zu vertreten (solche Domains kategorisierte ich stattdessen als Werbung).

Fehler (5,7 % oder ca. 7,9 Millionen)

Wenn eine Domain irgendeine Art von Fehler zurückgab, sei es ein HTTP-Fehler oder ein Fehler auf der Seite, gehört sie in diese Kategorie.

Beachten Sie, dass ich einige private Domains möglicherweise als Fehler kategorisiert habe, wenn sie eine Basis-Authentifizierung nutzten, da ich nicht zwischen 403 Forbidden (aufgrund fehlender Basis-Auth-Zugangsdaten) und anderen Fehlern unterschieden habe.

Gepackt (4,8 % oder ca. 6,5 Millionen)

Geparkte Domains sind solche, die eine Seite des Registrars oder Host anzeigen, die erklärt, dass die Domain noch nicht eingerichtet wurde. Um als geparkt zu gelten, musste eine Domain eine Seite ohne externe Werbung ausliefern. Sie konnte eigene Dienstleistungen bewerben, durfte aber keine Werbung von Werbenetzwerken enthalten.

Glücksspiel (3,0 % oder ca. 4 Millionen)

Alle Websites in dieser Kategorie sind auf Chinesisch und arbeiten unter Aliasen, oft kurze Zahlen- oder Konsonantenfolgen (z. B. 17770012 oder tdwhtr). Sie folgen gängigen Vorlagen und enthalten ähnliche Bilder, oft mit automatisch generierten Logos. Ich nehme an, ihr Zweck ist es, Menschen anzuziehen, die glauben, dass die Namen Glück bringen.

Mail (2,6 % oder ca. 3,5 Millionen)

Jede Domain, die in keiner anderen Kategorie ist, aber MX-DNS-Einträge (für E-Mail) besitzt, habe ich als Mail kategorisiert. Ich habe nicht überprüft, ob der Mailserver funktioniert oder eine Zustellung möglich ist. Es ist möglich, dass viele dieser Domains tatsächlich nicht für E-Mail genutzt werden, doch ich gab ihnen den Vorteil des Zweifels.

Weiterleitung (1,1 % oder ca. 1,6 Millionen)

Weiterleitungen umfassen Vanity-Domains, die auf Facebook-Seiten verweisen, alternative Namen für Unternehmen usw.

Privat (0,64 % oder ca. 0,9 Millionen)

Private Domains hatten keinen zugänglichen Inhalt ohne vorherige Anmeldung (oder in einigen Fällen Registrierung).

Pornografie (0,59 % oder ca. 0,8 Millionen)

Ähnlich wie Glücksspiel-Websites operieren viele pornografische Websites unter verschiedenen Aliasen. Die Websites sind überwiegend auf Chinesisch und folgen ähnlichen Namensmustern. Da viele Seiten pornografische Inhalte direkt anzeigen (nicht erst nach einer Warnung), habe ich hier keine Screenshots beigefügt.

Von Christopher Forno bei singapore data company