Bestäm vad som ska vara publikt
Skriv ned exakt URL, miljö och önskat läge: publik tjänstesida som får indexeras, publik sida som ska hållas utanför sök eller privat förhandsvisning. Vem får godkänna beslutet? En tacksida kan vara publik utan att behöva synas i sökresultat; en kundfil kan behöva verkligt åtkomstskydd.
Robots.txt och noindex är inte behörighetskontroll. Känsligt material ska skyddas med lämplig autentisering och åtkomstregler. Ta inte bort en testmiljös skydd bara för att ett SEO-verktyg rapporterar blockering.
Kontrollera svaret som faktiskt levereras
Hämta den exakta adressen och notera datum, statuskod, eventuell omdirigering och slutadress. Läs robots.txt på rätt protokoll och värdnamn. Granska regeln för den aktuella roboten; en regel för en annan user-agent bevisar inte vad Googlebot tillåts göra.
Kontrollera både robots-meta i HTML och X-Robots-Tag i HTTP-svaret. En mall kan vara rättad samtidigt som en serverheader fortfarande anger noindex. Spara observationerna i ett protokoll utan inloggningsuppgifter. Ett HEAD-svar kan avvika från ett GET-svar; kontrollera det svar som innehållet faktiskt levereras med.
| Observerat | Tolkning | Nästa kontroll |
|---|---|---|
| Disallow för sidans sökväg | Hämtning kan vara blockerad | Vilken robot och regel gäller? |
| Noindex i HTML eller header | Avsiktlig eller oavsiktlig indexeringsspärr | Kan roboten hämta och läsa regeln? |
| Inloggning krävs | Åtkomstskydd, inte ett SEO-fel i sig | Ska sidan över huvud taget vara publik? |
| 200 utan spärr | Teknisk förutsättning, inget indexeringsbevis | Innehåll, canonical och sökdata |
Prova konflikten på en fiktiv kampanjsida
Anta att /kampanj/tack/ har noindex men också blockeras i robots.txt. Teamet vill att sidan ska kunna öppnas efter formuläret men inte visas i sök. Om roboten inte får läsa sidan kan den inte läsa noindex. En blockerad URL kan fortfarande förekomma i sökresultat utan hämtat innehåll.
Lösningen beror på beslutet: för en offentlig, icke-känslig tacksida kan crawl tillåtas så att noindex blir läsbart. För en privat bekräftelse med personuppgifter behövs åtkomstskydd. Byt inte generella regler innan andra adresser som matchar mönstret har inventerats.
Rätta en avgränsad orsak och följ upp
För en tjänstesida som ska vara indexerbar rättar du först den verifierade oavsiktliga spärren. Kontrollera därefter slutstatus, synlig text, canonical, interna länkar och sitemap. Testa även en adress som avsiktligt ska förbli skyddad så att rättningen inte blir för bred.
Spara före- och eftervärden samt ansvarig och tidpunkt. Med behörig Search Console-åtkomst kan URL-inspektion komplettera det tekniska provet. Ett godkänt live-test bevisar inte att sidan redan är indexerad; följ indexeringsstatus separat. Ta med protokollet till ImbaHub om ni behöver hjälp att prioritera tekniska SEO-åtgärder.