cURL PHP 多个动态请求 URL （循环未知时间）

Question

我是 cURL 的新手，我正在尝试从动态 URL 中检索数据。我只成功地从 1 页检索数据，但我想要的是从所有页面检索数据。这里的问题是页面是可变的；我不知道代码应该循环多少次才能遍历所有页面。即页数因情况而异，一个好的程序是在尽可能多的情况下工作的程序。因此，将链接放在一个数组中并循环遍历它们并不是解决此问题的正确方法。

这里是对 URL 我正在尝试从中检索数据的快速解释：

https://link-search.api.cj.com/v2/link-search?website-id=[Your-ID]&link-type=banner
&advertiser-ids=1513033&records-per-page=100&page-number=' . $num

你注意到最后一个变量 $num 了吗？那应该代表从中检索数据的页面的编号。在某些情况下，它可能只有 1，而在其他一些情况下，它可能是 10、12 或 15（有所不同），具体取决于我选择的参数，无论我是想查看所有内容还是过滤一些信息。

问题来了。只要请求 returns 数据，如何动态增加该数字？如果不是，cURL 应该停止运行?

代码如下：

<?php

$num = 1;


$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, "XGET");
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, "GET");
curl_setopt($curl, CURLOPT_ENCODING, "UTF-8");

curl_setopt($curl, CURLOPT_URL, 'https://link-search.api.cj.com/v2/link-search?website-id=[Your-ID]&link-type=banner&advertiser-ids=1513033&records-per-page=100&page-number=' . $num);


curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_COOKIE,true);


$result = curl_exec($curl);

$xml = simplexml_load_string($result) or die("Error: Cannot create object");

if (curl_errno($curl)) {
    echo 'Error:' . curl_error($curl);
}


curl_close($curl);

?>

Answer 1

您可以在函数内定义您的 curl 请求并像这样调用该函数：

<?php
$GLOBALS['num'] = 1;

function curlRequest()
{

    // HERE DEFINE YOUR CURL REQUEST
    // https://yourUrl.com?$GLOBALS['num']

    if (curl_errno($curl)) {
        echo 'Error:' . curl_error($curl);
        // Exit from function in case there is no output
        return;
    } else {
        $GLOBALS['num']++;
        // Call the function to fetch NEXT page
        curlRequest();
    }
}

// Call the function for first time

curlRequest();

假设如果页码不存在，curl 将触发错误，或者您可以根据得到的结果实施 if 条件。希望你能从中得到一些启发。

这里的主要部分是if & else。您应该在获得的输出上实现 if 条件，如果页面不存在，则输出将不同，因此在这种情况下您可以简单地从函数中 return。

cURL PHP 多个动态请求 URL （循环未知时间）

cURL PHP multiple requests for a dynamic URL (Looping Unknown Times)

php

curl

libcurl

pycurl

php-curl