URL列表,请尝试URL请求3次,如果有条件,请移至下一个URL

我有一个可供抓取的URL列表。如果状态码不是200,我想再尝试2次。如果状态码在3次中不是200,我希望它移到列表中的下一个URL。

例如,这就是我想的代码

url_list = [url1,url2,url3,url4,url5]

for url in url_list:
    requests.get(url)
    if requests.status_code == 200:
       do scraping

    if requests.status_code != 200:
       try url again 2 more times then move on to next url in list

我尝试定义一个函数,范围,添加i = 0,然后将i = + 1作为循环并引发异常

kdokdokdop 回答:URL列表,请尝试URL请求3次,如果有条件,请移至下一个URL

也许有更好的方法,但本质上是只是背弃您的想法,做类似的事情:

<plugin>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>${maven-surefire-plugin.version}</version>
    <configuration>
        <forkCount>0</forkCount>
        <argLine>-Xmx1024m -XX:MaxPermSize=256m</argLine>
        <systemPropertyVariables>
          <useSystemClassLoader>false</useSystemClassLoader>
          <concordion.output.dir>target/concordion</concordion.output.dir>
        </systemPropertyVariables>
    </configuration>
</plugin>
本文链接:https://www.f2er.com/3165919.html

大家都在问