搜尋引擎與 AI 爬蟲工具箱
dev.workers.panda198271.tw-search-seo/search-seo檢查網站爬蟲設定、驗證爬蟲 IP、IndexNow 提交與 YouTube SEO 檢查。
Score: 100/100
Handshake verified by our own probe.
Tools · 14
一次產生 Google、Bing、Yahoo 奇摩、百度、YouTube 的進階搜尋網址(關鍵字、完全符合、排除字、限定網站、檔案類型、時間)。
搜尋指令(site:、filetype:、intitle:、before: 等)在 Google、Bing、Yahoo、百度的支援對照與已失效指令。
產生 robots.txt:allow_all、block_training(封鎖 AI 訓練保留搜尋)、block_all_ai、block_all,可加不抓路徑與 Sitemap。
依 RFC 9309 測試某個 User-Agent 能否抓取某路徑。
檢查網站的 robots.txt、Sitemap、llms.txt,以及 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot 等是否被封鎖,附改善建議。
AI 與搜尋引擎爬蟲 User-Agent 名單:業者、用途、是否遵守 robots.txt、官方 IP 清單。
驗證 IP 是否真的來自 Googlebot、bingbot、GPTBot、ClaudeBot、PerplexityBot、Applebot、Baiduspider 等(官方 IP 清單+反查 DNS)。
預覽 Google 搜尋結果標題與描述,估算中文像素寬度與截斷位置。
產生 title、description、canonical、Open Graph、Twitter 卡片與 JSON-LD。
檢查 YouTube 章節時間碼(0:00 起、至少 3 段、每段 10 秒)與標題、說明、標籤、主題標籤數量上限。
用 IndexNow 通知 Bing、Yandex、Naver 等搜尋引擎網址已更新(需先在網站放金鑰檔,最多 100 個網址)。
台灣與全球搜尋引擎市佔率(Google、Bing、Yahoo、百度等,StatCounter 最新月份)。
如何讓 Google、Bing、Yahoo、百度、YouTube、AI 搜尋收錄網站:工具、步驟與 API。
AEO/GEO 引用準備度健檢:檢查網頁能否被 ChatGPT、Perplexity、Google AI 摘要等答案引擎引用(爬蟲可讀、開頭直接回答、問句標題、表格、外部與權威來源、更新日期、JSON-LD citation、llms.txt、Markdown 版、Content-Digest),給分數與優先修正清單。
How to use
Claude Desktop or claude.ai: add a custom connector (Customize → Connectors; on Team and Enterprise plans an owner adds it under Organization settings → Connectors) with this server URL: https://tw-search-seo.panda198271.workers.dev/mcp
Cursor or Cline: add to your MCP config:
{
"mcpServers": {
"\u641c\u5c0b\u5f15\u64ce\u8207_ai_\u722c\u87f2\u5de5\u5177\u7bb1": {
"url": "https://tw-search-seo.panda198271.workers.dev/mcp",
"transport": "streamable-http"
}
}
}