Crawler

(english version)

Web-Crawler allgemein

Für die Suche nach verwundbaren Software-Installationen verwendet CERT.at einen "Web-Crawler" - analog zu den gängigen Suchmaschinen.
Dieser meldet sich als CERT.at-Crawler/0.9 (+http://www.cert.at/about/crawler/content.html).

Angesichts der großen Anzahl an .at-Domains beschränken wir uns momentan auf die Start-Seite einer Domain. Falls wir das Service weiter ausbauen, kann sich das in Zukunft aber noch ändern.

Wie funktioniert das?

Zur Zeit versucht der Crawler, von allen bekannten Domains unter .at folgendes zu holen:

  • eine robots.txt-Datei, (diese gibt an, was automatische Software wie Crawler holen dürfen, vgl. http://de.wikipedia.org/wiki/Robots.txt)
  • falls nicht verboten, die Index- (Start-) Seite
  • falls vorhanden, eine Sitemap

Übliche Hostnamen wie "www" oder "shop" versucht unser Crawler zu berücksichtigen.

Web-Crawler für MS14-066 (WinShock)

Für die Suche nach verwundbaren Software-Installationen verwendet CERT.at "Web-Crawler" - analog zu den gängigen Suchmaschinen.
Dieser meldet sich als CERT.at-Crawler/1.0 (+http://www.cert.at/about/crawlerms14066/content.html).

Der Suchbereich beschränkt sich hierbei auf IP-Ranges mit Österreich-Bezug.

Wie funktioniert das?

Zur Zeit versucht der Crawler, von allen relevanten (IP-Ranges mit Österreich-Bezug) IP-Adressen folgendes zu holen bzw. zu verifizieren:

  1. (hole) Index-/Start-Seite
  2. (verifiziere) ob Internet Information Services for Windows Server (IIS)
  3. (verifiziere) unterstützte SSL/TLS-Ciphers

Oft gestellte Fragen

Wie kommt der Crawler auf meine Domain, ich habe sie doch gerade erst registriert?

NIC.at, die Registry für .at-Domains, stellt freundlicherweise eine Liste aller .at-Domains zur Verfügung. Wir geben diese Daten selbstverständlich nicht weiter!

Sollte unsere Suche auf Probleme stossen, so werden wir diese mit den bei der Domain-Registrierung angegebenen Ansprechpartnern (z.B.: tech-c) bzw. dem Inhaber klären.

Ich will nicht, dass CERT.at auf meine Domain zugreift, wie kann ich das verhindern?

Am besten, in dem in der robots.txt-Datei ein entsprechender Eintrag gemacht wird, zum Beispiel:

User-agent: CERT.at-Crawler*
Disallow: /

Details siehe zB http://de.wikipedia.org/wiki/Robots.txt.

Es gibt ein technisches Problem mit dem Crawler, Hilfe!

Bitte kontaktieren Sie uns - Details auf unserer Kontakt-Seite.