imbahub
Menu +
DA
Tal med os
IMBAHUB / Viden og guider

Robots.txt og noindex påvirker forskellige trin.

Robots.txt kan begrænse en søgerobots hentning. Noindex beder en søgemaskine, der understøtter reglen, om at udelade indholdet fra indekset. Robotten skal kunne hente ressourcen og læse reglen. Beslut derfor sidens formål, før du fjerner en blokering.

Fra hentning til søgebeslutning
  1. Kan siden hentes?
  2. Kan reglen læses?
  3. Søgemaskinen vurderer siden

Forenklet forklaring, ikke et løfte om indeksering.

Prøv: robots.txt blokerer en side med noindex

Robotten kan ikke læse sidens noindex, når hentning er blokeret. Afklar den ønskede offentlige status, før reglen ændres.

Beslut, hvad der skal være offentligt

Notér den præcise URL, miljø, ansvarlige og ønskede tilstand. En offentlig ydelsesside, en kvitteringsside og en privat forhåndsvisning har forskellige behov. Få indholdsbeslutningen godkendt, før en udvikler ændrer generelle regler.

Robots.txt og noindex beskytter ikke mod uvedkommende adgang. Kundedokumenter med følsomme oplysninger kræver passende login og adgangsregler. En tilsigtet blokering i et testmiljø er ikke i sig selv en fejl, selv om et SEO-værktøj viser en advarsel.

Læs det svar, serveren faktisk leverer

Hent adressen og registrér tidspunkt, første statuskode, omdirigeringer og slutadresse. Læs robots.txt for det rigtige værtsnavn og den rigtige protokol. Se, hvilken user-agent reglen gælder for; en tilladelse til én robot siger ikke nødvendigvis noget om Googlebot.

Kontrollér både robots-meta i HTML og X-Robots-Tag i HTTP-headeren. En rettet skabelon kan stadig blive leveret med noindex fra serveren. Undersøg selve GET-svaret med indholdet, da HEAD kan give et andet svar. Gem observationerne uden adgangskoder eller andre hemmeligheder.

ObservationMulig betydningNæste kontrol
Disallow rammer adressenHentning kan være blokeretHvilken robot og regel gælder?
Noindex i HTML eller headerIndeksering er fravalgtKan robotten læse direktivet?
Login krævesAdgangen er beskyttetSkal siden være offentlig?
200 uden blokeringEn teknisk forudsætning er opfyldtIndhold, canonical og søgedata

Afprøv konflikten på en tænkt kvitteringsside

I et fiktivt eksempel har /kampagne/tak/ både noindex og en Disallow-regel. Virksomheden vil vise kvitteringen efter formularen, men holde den ude af søgeresultater. En robot, der ikke må hente siden, kan ikke læse noindex. Den blokerede URL kan stadig optræde i søgeresultater uden hentet indhold.

For en offentlig kvittering uden følsomme data kan crawl tillades, så reglen bliver læsbar. En privat kvittering med personoplysninger har derimod brug for adgangsbeskyttelse. Find andre URL'er, som matcher reglen, før du ændrer et fælles mønster.

Ret årsagen og gentest et afgrænset udvalg

Hvis en ydelsesside skal kunne indekseres, retter du den dokumenterede utilsigtede blokering. Kontrollér derefter slutstatus, læsbart indhold, canonical, interne links og sitemap. Tag også en side med, som fortsat skal være beskyttet, så du opdager for brede ændringer.

Gem før- og efterværdier med dato og ansvarlig. Autoriseret adgang til Search Console giver mulighed for at supplere kontrollen med URL-inspektion. En bestået live-test betyder ikke, at siden allerede er indekseret. Følg søgemaskinens status separat, og brug protokollen som grundlag for en teknisk SEO-dialog med ImbaHub.

Kilder og fordybelse

Spørgsmål og svar

Kan robots.txt fjerne en URL fra Google?

Ikke sikkert. En crawlblokering er ikke det samme som fjernelse fra indekset. Noindex på en offentlig side skal kunne læses, og privat indhold kræver adgangsbeskyttelse.

Er det nok at fjerne noindex fra HTML?

Ikke hvis en relevant HTTP-header stadig leverer noindex. Gennemgå begge steder samt robotspecifikke regler.

Hvornår bliver siden indekseret efter rettelsen?

Der er ingen fast frist eller garanti. En teknisk rettelse gør siden mulig at vurdere, men søgemaskinen beslutter selv, hvad den indekserer.

IMBAHUB

Hvad vil du gøre muligt?

Medbring en berørt URL, den ønskede offentlige status og det faktiske HTTP-svar til en teknisk gennemgang.

Tal med os
Produktets brugerflade er indstillet til dansk i et isoleret miljø med fiktivt dansk demoindhold.

Produktets brugerflade er indstillet til dansk i et isoleret miljø med fiktivt dansk demoindhold.