Help > Forum > 搜索引擎 > 为什么一些页面在 robots.txt 文件中被阻止?

为什么一些页面在 robots.txt 文件中被阻止?

我们指定的 robots.txt 文件经过优化,以确保在搜索引擎中排名最高。 它告诉搜索引擎不要索引某些网页,这会对搜索引擎中的位置产生负面影响。 例如,内容很少的页面(如 “撰写新主题” 页面)、指向相同内容稍有不同的 URL(搜索引擎会将其视为重复内容)以及仅交易会员的页面(如关注主题、编辑您的个人资料等)。 这可确保搜索引擎主要查看您论坛中高度相关且内容丰富的页面,从而使其在搜索结果中排名更高的论坛。

robots.txt 文件中列出的其他页面是私人页面,只有登录的成员才能访问。 无论如何,搜索引擎无法访问这些页面。 通过限制它们在 robots.txt 级别,它会提高你的搜索引擎排名,因为它不会一遍又一遍地看到登录页面,认为你的论坛没有太多高质量的内容。 它还减少了搜索引擎爬虫生成的不必要的页面浏览量,最终会花费资金,并且不会导致更好的搜索引擎定位或广告交付(因为搜索引擎爬虫忽略了登录页面)。

上下文广告网络,如 Google Adsense,也更喜欢您不要将内容很少或重复的页面用于上下文广告定位。 我们的 robots.txt 文件确保只有高度相关的页面才用于上下文广告,从而使广告客户更喜欢在您的论坛上进行广告,从而获得更大的长期收入。

您论坛的 robots.txt 文件可以看到 在这里.


If you still need help, please contact us.