Eine robots.txt-Datei ist ein Textdokument, das Anweisungen für Suchmaschinen-Crawler enthält. Sie zeigt Suchmaschinen, auf welche Seiten Ihrer Website sie zugreifen dürfen und auf welche nicht.
So fügen Sie Ihrer Website eine robots.txt-Datei hinzu
- Wählen Sie unter Einstellungen die Funktion Einstellungen
- Wählen Sie die Registerkarte Dateien
- Setzen Sie ein Häkchen bei Aktiviere robots.txt
- Fügen Sie Ihr Skript ein und bestätigen Sie mit Übernehmen