Free Strumento di SearchVector
Pagina Web Free Crawler
Try:
Fetch
Pull the site’s robots.txt.
Parse
Read every crawl directive.
Rules
Match rules per user-agent.
Index
Confirm indexability.
Sitemap
Detect the sitemap.
Report
Show the full verdict.
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
example.com/robots.txt
Crawlable
Response Time
0.42s
Crawl Health
92
Healthy
Indexable Pages
248
+12%
Crawl Access
PATH
ACCESS
Googlebot
/
Allowed
Bingbot
/
Allowed
*
/admin
Blocked
AhrefsBot
/
Blocked
Fetch
Pull the site’s robots.txt.
Parse
Read every crawl directive.
Rules
Match rules per user-agent.
Index
Confirm indexability.
Sitemap
Detect the sitemap.
Report
Show the full verdict.
Utilizza uno strumento di scansione del sito web per verificare se è possibile recuperare un URL, se le regole del robot bloccano l'accesso e quali segnali di scansione esaminare prima di diagnosticare le pagine scansionate ma non indicizzate.
Trova barriere per gattonare prima di indicizzare le bancarelle
Una pagina può essere pubblicata, collegata e sottoposta a scansione una volta, ma non riesce comunque a ottenere la copertura dell'indice se regole robot, reindirizzamenti, ambiguità canonical, risorse bloccate o segnali deboli della pagina creano incertezza.
Utilizza questo strumento di scansione web per un controllo rapido a livello URL. Per una scansione più ampia del sito, controlli pianificati, analisi dei collegamenti interni, copertura della mappa del sito e cronologia dei problemi, continuare il flusso di lavoro in SearchVector.
What you get
04 items
Regole dei robot
01
Verifica se le direttive robots.txt impediscono ai motori di ricerca di recuperare URL.
Segnali di indicizzazione
02
Utilizza lo stato di crawlability come primo controllo prima di esaminare canonical e la qualità dei contenuti.
Recensione di livello URL
03
Controlla una pagina alla volta quando i report di Search Console sono stati scansionati ma non indicizzati.
Trasferimento di audit
04
Trasforma i problemi ripetuti in una scansione completa, nella mappa del sito e nel controllo dei collegamenti interni.
3 Passaggi a Controlla la possibilità di scansione
Analizza prima uno URL, quindi decidi se il problema di indicizzazione è tecnico, canonical o relativo al contenuto.
Inserisci il tuo URL
Incolla la pagina esatta di cui desideri che i motori di ricerca eseguano la scansione, inclusi protocollo e percorso.
Ottieni analisi
Esamina l'accesso robots.txt e i segnali relativi al crawler che potrebbero influire sul rilevamento, sulla recuperabilità o sul follow-up dell'indicizzazione.
Rivedere i risultati
Utilizza il risultato per decidere se il problema riguarda l'accesso alla scansione, la qualità dell'indicizzazione o SEO di natura tecnica più approfondita.
Powerful Features
Tutto ciò di cui hai bisogno per avviare la scansione e il triage di scansione ma non indicizzazione
01
Analizzatore Robots.txt
Fetch robots.txt and highlight directives that can affect common search bots.
02
Controllo multimotore
Esamina l'accesso del crawler dal punto di vista dei principali motori di ricerca.
03
Analisi istantanea
Avvia i controlli di scansione delle pagine web senza attendere lunghe scansioni.
04
Triage scansionato, non indicizzato
Avvia la diagnosi confermando che la pagina può essere recuperata prima di esaminare la qualità e i segnali canonical.
05
Visualizzazione completa del file Robots.txt
Consulta il contenuto completo di robots.txt per la revisione manuale.
06
Free e illimitato
Controlla URL illimitati senza alcuna registrazione richiesta.
Domande frequenti Questions
Tutto quello che devi sapere sulla scansione dei siti web
Cos'è robots.txt?
Robots.txt è un file di testo che indica ai crawler dei motori di ricerca quali pagine o sezioni del tuo sito non devono essere sottoposte a scansione. Si trova nella directory principale del tuo sito web e aiuta a gestire il traffico dei crawler.
Questo strumento di controllo della crawlability è gratuito?
Sì! Web Page Crawler è completamente gratuito e non è richiesta la registrazione. Fa parte del toolkit gratuito SEO di SearchVector. Per un audit tecnico SEO completo, consulta la nostra dashboard.
Perché la scansione è importante per SEO?
Se i motori di ricerca non riescono a recuperare una pagina, non possono valutarla per l'indicizzazione. La crawlability non è l’unico segnale di ranking, ma è la prima condizione tecnica da verificare.
Scansionabile significa indicizzato?
No. Una pagina scansionabile può comunque essere esclusa se Google rileva contenuti deboli, duplicazioni, conflitti canonical, basso valore del collegamento interno o altri problemi di qualità.
Quali altri strumenti SEO offre SearchVector?
SearchVector offre una piattaforma SEO completa che include Keyword Research su piattaforme 5, GSC Analytics, Live Rank Tracker, Sitemap Analyzer, monitoraggio Core Web Vitals, strumenti YouTube SEO e altro ancora nella nostra dashboard.
Cosa succede se il mio sito non ha un file robots.txt?
Se non è presente alcun file robots.txt, i motori di ricerca presuppongono di poter eseguire la scansione di tutte le pagine del tuo sito. Anche se questo va bene per la maggior parte dei siti, avere uno robots.txt ti dà un maggiore controllo sul comportamento del crawler.
Still have questions? Contact support
Pro nto a far crescere il tuo posizionamento nelle ricerche?
Il controllo della crawlability è solo l’inizio. Il dashboard di SearchVector ti offre potenti strumenti SEO: Keyword Research su piattaforme 5, integrazione GSC Analytics, Live Rank Tracker per il monitoraggio SERP in tempo reale, Core Web Vitals Analytics, strumenti di ottimizzazione YouTube e altro ancora. Unisciti a migliaia di esperti di marketing che aumentano il loro traffico organico.
Free to start. No credit card required.