在搜索框里敲「index 搜索引擎」,前几页不是 index.html 模板下载,就是某公司的首页。想找的是搜索引擎里的 index 到底指什么,结果被建站教程淹了。
搜索引擎语境下的 index,指的是倒排索引。爬虫把网页抓回来,切成词,记录每个词出现在哪些页面、什么位置,这张表就是索引。你搜一个词,引擎查的是这张表,不是实时去翻全网。页面被写进这张表,叫做被收录,英文就是 indexed。
查自己的页面有没有被收录
用 site: 语法,site:example.com 后面不加路径,看返回结果数量。只收录了首页说明抓取不深,多半是内链太少或者 robots.txt 挡了。搜 title 里的原句,能搜到自己说明索引正常。
怎么让它进来
提交 sitemap.xml,在 robots.txt 里写上地址。Google Search Console 和 Bing Webmaster Tools 都能手动提交几条URL,等不及收录的时候有用。新站前两周没收录是常态,别反复提交。
不想被收录怎么办
页面头部加 meta name=robots content=noindex,或者响应头带 X-Robots-Tag。注意 noindex 要能被爬虫读到,被 robots.txt 禁止抓取的页面,爬虫看不到这个标签,反而可能因为外链出现在结果里。
收录和排名不是一回事
被收录只代表页面进了库,不代表能排到前面。同一个关键词下,引擎会综合标题、正文、外链和点击行为排序。收录量突然掉一半,先查服务器返回码和 robots.txt,再看有没有被判定成重复内容。
「index」这个词太泛
单独搜它,命中的是无数文件名。想查概念,加限定词,比如倒排索引、搜索引擎收录、inverted index。搜索本身也是个技术活,词选窄一点,结果准得多。