如何在 Puppeteer 上设置代理
Puppeteer 和其他同类工具一样支持代理服务器。对于 Puppeteer 来说,只要你知道自己在做什么,设置代理就非常简单。你只需将其作为参数添加到启动方法中即可。下面是一个小脚本,演示如何使用 Puppeteer 的代理。
严格使用"; const puppeteer = require('puppeteer'); (async() => { const browser = await puppeteer.launch({ args: [ '--proxy-server=http://10.10.10.10:8000' ] ) }); const page = await browser.newPage(); await page.goto('http://toscrape.com'); await browser.close(); })();
如上所示,为 Puppeteer 设置代理只需几步。上面使用的代理是单一代理,不需要用户名和密码验证。如果需要轮换 IP,并且需要使用用户名和密码验证,那么语法将有所改变。
什么是 Puppeteer?
Puppeteer 是一个 NodeJS 库,它提供了一个高级 API,用于通过 DevTools 协议控制 Chrome 或 Chromium。你可以将它与 Selenium 相提并论,只是它只能自动控制 Chrome 浏览器,而且只面向 NodeJS 开发人员。
有了 Puppeteer,你就可以开发自动化工具,在网上执行重复的工作流程--至于如何利用这种能力,则取决于你自己。有人用它来开发网络刮擦工具,有人用它来提交表单、进行搜索引擎优化,还有更多其他用途。Puppeteer 非常易于使用,让 NodeJS 开发人员轻松开发网络自动化工具。
- 获取最佳代理 ZennoPoster
使用代理是否违法?
合法性由您所在地区的法律决定。不过,我们知道,对于世界上大多数地区来说,代理服务器都被视为合法的,除非你试图将其用于非法任务。不过,也有少数国家规定使用代理服务器是非法的,尤其是在使用未经政府批准的代理服务器时。
因此,就代理服务器的合法性问题向所在地区的专业法律人士咨询非常重要,以免触犯法律。遗憾的是,尽管代理服务器在大多数地区都是合法的,但大多数网站都不允许使用代理服务器,这也是我们强调使用无法检测的代理服务器的原因。
旋转代理与专用代理专用代理--哪种代理最适合 Puppeteer?
Puppeteer 的最佳代理取决于项目要求和目标站点。有些项目,如 网页爬取 要求您在短时间内发送过多请求的项目,因此需要 旋转代理 以避免受阻。
另一方面,有些项目要求您在一段时间内保持会话,因此也要求您保持相同的 IP。对于这些类型的项目,需要使用专用代理,因为过快地更换 IP 会让大多数项目产生怀疑,尤其是在登录时。