跳到主要内容

采集监控

AI 训练数据采集 住宅IP

采集公开网页做训练语料时,用动态住宅 IP 按页面所在国家打开。

业务介绍

要把公开网页收成训练语料时,用动态住宅 IP 从页面所在国家打开,读到的是那个国家的公开内容。页面一多就换一个出口,不登录任何要长期使用的账号。

痛点

  • 没有目标国家的住宅 IP,采到的不是那个国家的公开页面。
  • IP 不干净,或很多页面挤在同一个 IP 上,页面被拦。
  • 登着要长期使用的账号去采网页,这个账号的 IP 变得不固定,账号被封。

解决方案

按网页所在国家使用动态住宅 IP 打开公开页,不登录。这个场景用动态家庭住宅 IP。

适用产品

使用方法

程序使用动态账密或 API,只请求公开页面。

  1. 1.购买动态流量,指定这批网页所在的国家。
  2. 2.只请求公开页面,不登录。
  3. 3.换一个国家时改国家参数。

字段和截图以文档为准:动态住宅 · 账密模式、动态住宅 · API 提取模式。

使用注意

  • 动态住宅 IP 不保证页面一定能打开,也不保证采到的内容可以直接用于训练。
  • 要长期登录的账号不要和这条动态线路放在同一次会话里。
  • 若您在中国大陆境内,需要自行准备海外网络环境。IPmart 的所有住宅 IP 产品,须海外网络环境下使用。

购买前先看

为什么训练语料不用静态?

要按国家打开很多公开页。静态只有一个固定地址。

和电商数据采集有什么差别?

这一页收的是训练用的公开网页。商品、评论、评分和榜单在电商数据采集。

可以登录后再采吗?

不要。公开页保持未登录。登录中的账号走它自己的静态环境。

要指定城市吗?

页面按国家变化时指定国家。不要无故缩到城市。

按这个场景开始

先注册,再购买动态住宅流量,按国家采集公开网页。

客服