让我们找到最好的独享代理IP服务器
代理销售商的私人、ISP、移动代理 - 永远不会被阻止

blank

Crawlbase(前身为 ProxyCrawl)服务是一个用于网络搜刮的完整搜刮包。该服务不仅提供常规的智能代理服务,还提供被称为爬虫 API 和刮刀 API 的代理 API,以及一系列针对网络搜刮器和网络搜刮的服务。在本评论中,我们将重点介绍其爬虫 API、搜刮器 API 和智能代理。

网络抓取全套服务提供商

  • 提供大量网络搜索服务
  • 支持无头浏览器渲染 JavaScript
  • 您只需为成功请求其爬虫和刮板应用程序接口付费
  • 支持地理定位,支持的国家数量众多
  • 池中有 100 多万个 IP 地址
  • 智能轮换 IP 地址
  • 根据成功申请的数量定价
  • 新用户可免费试用该服务


这个平台的名字就体现了它为用户提供的服务。除了提供代理服务外,它还提供重要的网络抓取和刮擦服务。不过,它的代理服务并不像它的抓取和爬行服务那样受欢迎,因为大多数用户都将其用于 API 服务。

这些服务包括爬虫API、Scraper API、爬虫、线索API、截图API,以及用于在云端存储搜刮数据的存储服务。Crawlbase 服务提供的大量服务使其成为网络搜刮的全套服务,很多大企业都在使用他们的服务,其中包括一些财富 500 强企业。

ProxCrawl 概览

事实证明,该服务是代理和搜索 API 的顶级供应商之一,其服务堪称高质量。我喜欢他们的服务的一点是,它可靠、快速、安全,而且你有一个好伙伴。

但是,这并不意味着您应该立即开始使用该工具。你可能有兴趣知道,就像其他任何服务一样,它也有自己的弱点,只有当这些弱点对你来说不是什么大问题时,你才会想使用它。我不喜欢该服务的一点是,它的智能代理服务仅限于企业使用,而且他们的 IP 池只有不到 200 万个 IP。

这项服务是否物有所值?我们将在本评论中讨论这个问题。



Crawlbase 解决方案

如前所述,该服务为用户提供了大量有用的产品,可用于网络搜索、抓取甚至其他形式的自动化。在本节评测中,让我们来看看他们的热门产品及其实用性。

抓取 API:

抓取 API 工具是 Crawlbase 版本,被称为 代理 API.该服务将帮助您处理代理服务器、 验证码和无头浏览器,因此您不必与它们打交道。

它以 API 的形式充当代理服务器。要获取页面内容,只需发送一个简单的 API 请求,就能获得想要的内容,而无需考虑请求被阻止、IP 泄露、代理失败、验证码甚至浏览器崩溃等复杂问题。

Scraper API:

Scraper API 可以说是爬虫 API 的高级版本,因为它建立在爬虫 API 的基础上,但采用了不同的端点。

抓取 API 会向您提供内容,而解析所需内容的工作则由您来完成,与之不同的是,Scraper API 负责解析工作。您可以将其视为一个完整的抓取程序,它不仅处理 HTTP 请求,还负责解析。

它只支持少数网络服务,包括 亚马逊, 在 Facebook 上, 谷歌, 推特, Instagram和 LinkedIn。

智能代理:

其 3rd 最受欢迎的服务是代理服务。他们的代理池混合了 数据中心和住宅 IP 地址您可以用它来完成网络搜索和抓取任务。

您需要知道的一点是,要使用这项服务,您注册时使用的电子邮件地址必须是来自商业域名的专业电子邮件,而不是普通的 Gmail 和 Yahoo 邮件。

20% 关闭
20% 关闭

获取 20% 终身折扣:输入促销代码" "。privateproxyreviews"来查看!


返回菜单 ↑

Crawlbase 的工作原理

就其最基本的系统而言,Crawlbase平台就像一个代理服务器,它位于你的设备和你要搜刮数据的网络服务器之间。不过,你不必将其视为普通的代理服务器,因为它的作用不仅仅是屏蔽你的IP地址。

除了你能看到的它们的智能之外,它们的爬虫和Scraper API服务远不止这些,尽管它们在某些方面仍然充当着代理的角色。三者在工作机制上的区别在于,Crawlbase API 在接收到你的请求后会进行哪些处理。

ProxCrawl 工作

当您使用上述任何一种解决方案时,您的网络请求都不会直接发送到网络服务器。而是通过 Crawlbase 服务器发送。这是因为在HTTP请求中不会直接使用所请求页面的URL,而是将其作为参数附加到Crawlbase API URL中。

当请求到达 Crawlbase 时,它会对 URL 进行解码,然后代表您发送请求,同时注意到您的地理定位选项,并将 IP 地址轮流发送到以下地址 避免阻塞.

它还会处理 Captchas,处理无头浏览器的 JavaScript 渲染,并仅在 Scraper API 的情况下为特定支持的网络服务解析结构化数据。如果请求成功,它就会以 HTML(爬虫 API)或 JSON(Scraper API)的形式向您发送响应。


返回菜单 ↑

定价和功能

只有在预算允许的情况下,您才能使用 Crawlbase 提供的任何服务。一般来说,如果你问我,我会告诉你 Crawlbase 有一个以客户为中心的适中价格体系。

它们的服务没有统一的定价系统。让我们来看看这里考虑的每种产品的定价。

抓取 API 定价

如上图所示,Crawling API 拥有灵活的定价系统,不会强迫您签订长期合同。定价以成功请求为基础,根据您购买的请求数量而有所不同。

对于普通页面,5 万个请求的费用为 $46.40,而 JavaScript 页面的费用为 $139.20。您还可以只为成功的请求付费,并有 1K 个请求供您试用他们的服务。如果您添加付款方式,还可额外免费获得 9K 个请求。

  • Scraper API

Proxcrawl scraper api

Scraper API 的定价更直接、更严格。从上面可以看出,您订购的套餐将决定您可以使用的功能。

例如,入门计划售价为 $29,可为您提供 50K 点数,但仅限 10 个并发线程,而且不支持 JavaScript 渲染、高级代理和地理位置定位。您的支持票据也不会被优先处理。

  • 智能代理

智能代理价格

对于 Smart Proxy,我必须承认,与其他功能更先进的提供商相比,它的定价可以说是物有所值。更何况它还提供免费试用。目前,它可以让你在超过 45 个国家匿名抓取和搜索网站,覆盖了世界上最有影响力的国家。因此,你可以在谷歌、亚马逊和 LinkedIn 上使用他们的智能代理服务。

Crawlbase 平台的特点

  • 帮你解决与网络搜索和抓取相关的大部分复杂问题,包括 IP 屏蔽、浏览器崩溃、JavaScript 渲染等、 验证码甚至解析。
  • 支持全球选定地点的地理定位,但这取决于您购买的套餐。
  • 定价以消费者为中心,以成功请求为基础。不过,您需要在使用服务前付款。
  • 为新用户提供免费试用选项,让他们在做出金钱承诺前试用服务。
  • 根据客户订购的套餐,为客户混合使用数据中心代理和住宅代理。
  • 支持不同行业的数百万个网站,包括互联网上的所有热门网站。
  • 便捷的客户支持和易于理解的文档。

返回菜单 ↑

如何使用 Crawlbase?

乍一看,你可能会觉得这项服务很复杂,因为它可以做很多事情,并声称自己是一个用于任何规模的网络搜刮和抓取的一体化平台。

然而,深入研究其文档并实际使用后,你会发现它是最容易使用的工具之一。在本节中,我们将向你展示如何使用其 Crawling API 和 Scraper API 工具。我们不会在此讨论如何使用其智能代理,因为代理的用法非常明显。

  • 如何使用Crawlbase抓取应用程序接口

Crawling API 的工作方式与普通的 Restful API 服务类似,只需发送 HTTP Web 请求,即可获得响应。无需设置代理、处理浏览器、绕过验证码,甚至无需担心 IP 屏蔽。所有 API 调用都以  api.crawlbase.com 作为基本 URL。下面是一个如何发送简单 API 调用以下载维基百科主页的示例。

curl'https://api.crawlbase.com/?token=USER_TOKEN&url=https%3A%2F%2Fwww.amazon.com'

您还可以做更多,但这包括添加参数。您可以进一步了解如何使用 文档中的 Crawlbase 抓取应用程序接口.

  • 如何使用 ProxyCrawl Scraper API

这个 API 与抓取 API 几乎相同,甚至还使用了 https:// api.crawlbase.com 作为 URL,但端点不同 https:// api.crawlbase.com/scraper.让我们来看看最简单的 Scraper API 调用。某种 "Hello World "请求,如 Crawling API 的情况。

curl 'https://api.Crawlbase.com/scraper?
token=USER_TOKEN&url=https%3A%2F%2Fwww.amazon.com%2Fdp%2FB00JITDVD2'

对于 Scraper API,并非所有 URL 都能使用,因为只有选定的网络服务可用。Scraper API 支持一些编程语言,包括 Node、Ruby、Python、PHP 和 Go。您可以了解有关 此处的 Scraper API 文档.

验证:

Crawlbase平台并非免费工具,因此您需要通过身份验证来证明您已激活订阅。在Crawlbase平台上,唯一的认证方式是API密钥认证,即USER_TOKEN。

Proxcrawl 验证

如果您已登录,并访问了文档页面,就会看到您的 USER_TOKEN。使用 USER_TOKEN 时,如果页面要求您渲染 JavaScript,则使用 JavaScript 标记;如果页面不要求渲染 JavaScript,则使用普通标记。

地理定位:

Proxcrawl 服务支持从特定地点选择代理,但遗憾的是,并非所有用户都能使用。如果要使用地理定位选项,您需要购买特定的套餐和计划。


返回菜单 ↑

Crawlbase IP 是否是住宅 IP?

毫无疑问,住宅 IP 比数据中心 IP 更好,因为住宅 IP 由互联网服务提供商 (ISP) 分配,供住宅区的互联网用户使用。数据中心 IP 是主机 IP,与垃圾邮件有关。

如果你想使用住宅 IP,那么你需要知道 Crawlbase 会混合使用住宅 IP 和数据中心 IP,以降低成本。对于小型套餐,包括入门级和高级套餐,只使用数据中心代理。为了更安全起见,请速与客户代理联系,告诉他们您只需要住宅 IP,但前提是您愿意支付更多费用。


返回菜单 ↑

我们的结论

综上所述,我们可以看出Crawlbase的某些服务值得推荐,而有些服务则不值得推荐。对于他们的Scraper API和Crawling API来说,它们相当有效,只需为你所需的服务付费,并能让你的工作变得更轻松。

对于这两款产品(Crawling 和 Scraper API),尽管还有改进的余地,但我们还是推荐使用。但对于他们的智能代理,我们完全不推荐,除非你是高级用户,可以付费按照自己的方式完成任务。

Proxcrawl 高级用户

因为如果您的电子邮件地址不是商业域名电子邮件,您甚至无法使用智能代理服务。与其他价格更优惠的提供商相比,代理池也很小。

更新 - 24.07.2021
9.3 总分
优秀

ProxyCrawl 评论住宅 P2P 代理网络。

价格与价值
9.5
网络性能
9.2
代理功能
8.8
客户支持
9.6
添加您的评论

我们很高兴听到您的想法

发表回复

您的总分

blank网络搜索代理 - 永远不会被阻止

在 Pinterest 上 Pin It

zh_CNChinese
私人代理评论