Botify:这款搜索引擎爬虫要让 SEO 顾问失业

作者:jcmp      发布时间:2021-04-16      浏览量:0
谷歌搜索引擎的



谷歌搜索引擎的搜索结果排名能决定企业的成败。如果无法出现在最上方的几个搜索结果中,那么你的网站就很难获得持续的流量。


那么,谷歌如何判断,哪些网站应当出现在搜索结果的最上方?谷歌的工具是Googlebot爬虫。这一私有的自动化软件能抓取每家网站并编目,而这将成为搜索结果的基础。不过问题在于,这一自动化软件并不透明,因此网站开发者很难针对 Googlebot 或其他搜索引擎爬虫去优化网站。


Botify瞄准了这一领域。这款基于云计算的爬虫能分析你的网站,并提供可操作、具体的搜索引擎优化 (SEO) 分析结果。这家来自法国的公司在本周的纽约 Disrupt 大会上启动。到目前为止,该公司已融资 720 万美元,知名客户包括 eBay、BlaBlaCar 和 Expedia。


与数百家其他搜索引擎优化公司相比,Botify 有些不同之处。


首先,这款爬虫很强大。Botify 表示,这款爬虫保持着单个网站抓取最多链接的“世界纪录”,即 1.5 亿个。Botify 还支持网站管理员设置扫描速度,例如每秒 10 个或 200 个页面。为何有些网站希望爬虫的扫描速度放慢?这是由于,Botify 的爬虫在快速扫描的情况下会给网站服务器造成压力。


除了强大的爬虫之外,Botify 还能探测,网站中的哪些页面被谷歌抓取。当谷歌的爬虫抓取某网站时,将会在网站的服务器日志中留下记录。如果网站将这些记录提供给 Botify,那么 Botify 可以将其与自主爬虫的分析结果进行对比,了解谷歌是否扫描了某个具体页面。


该公司联合创始人及 CEO 阿德里恩·梅纳德 (Adrien Menard) 表示,如果页面没有被谷歌抓取,那么就无法带来任何流量和收入。而被谷歌忽略的页面有着极大的流量和收入潜力。


因此,Botify 利用爬虫的抓取数据为网站制作独特的建议报告。不过与大部分 SEO 顾问不同,Botify 不会让网站增加更多内容,而是专注于“如何组织网站内容,使其更有效”。


这其中包括如何管理内部链接,如何让谷歌的爬虫抓取特定页面,以及如何优化页面缩短加载时间。


这种程度的 SEO 工作可能更适合大网站,而 Botify 也据此制定了定价结构。价格最低的方案是单个爬虫抓取 500 万链接每月价格 500 美元,而企业套餐价格超过每年 1 万美元。



翻译:维金