如何抓取运行 Javascript 在显示主要内容之前使用 cookie 检查的网页

Question

我正在尝试抓取和解析以下 RSS 提要： http://english.alarabiya.net/.mrss/en/sports.xml

当我在浏览器中打开它时，它会提供我想要解析的普通 RSS 提要。但是当我在 Java 中下载它时，它会显示以下内容：

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta http-equiv="Content-Script-Type" content="text/javascript">
<script type="text/javascript">
function getCookie(c_name) { // Local function for getting a cookie value
    if (document.cookie.length > 0) {
        c_start = document.cookie.indexOf(c_name + "=");
        if (c_start!=-1) {
        c_start=c_start + c_name.length + 1;
        c_end=document.cookie.indexOf(";", c_start);

        if (c_end==-1) 
            c_end = document.cookie.length;

        return unescape(document.cookie.substring(c_start,c_end));
        }
    }
    return "";
}
function setCookie(c_name, value, expiredays) { // Local function for setting a value of a cookie
    var exdate = new Date();
    exdate.setDate(exdate.getDate()+expiredays);
    document.cookie = c_name + "=" + escape(value) + ((expiredays==null) ? "" : ";expires=" + exdate.toGMTString()) + ";path=/";
}
function getHostUri() {
    var loc = document.location;
    return loc.toString();
}
setCookie('YPF8827340282Jdskjhfiw_928937459182JAX666', '105.183.123.12', 10);
try {  
    location.reload(true);  
} catch (err1) {  
    try {  
        location.reload();  
    } catch (err2) {  
        location.href = getHostUri();  
    }  
}
</script>
</head>
<body>
<noscript>This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.</noscript>
</body>
</html>

我正在使用简单的流读取，这是我的代码：

     try {
            URL url = new URL("http://english.alarabiya.net/.mrss/en/sports.xml");
            BufferedReader in = new BufferedReader(
                    new InputStreamReader(url.openStream()));

            String inputLine;
            while ((inputLine = in.readLine()) != null)
                System.out.println(inputLine);
            in.close();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

有没有人知道如何解析主要的 RSS 内容并使用 cookie 绕过 Javascript 部分？或者有什么想法？

P.S.: 我正在使用 Rome 库来抓取 RSS 提要，但我认为问题超出了它的范围。

Answer 1

尝试 HtmlUnit 库并在那里使用 setJavascriptEnabled(true)

你的问题与this一个类似

如何抓取运行 Javascript 在显示主要内容之前使用 cookie 检查的网页

How to crawl web page which run Javascript with cookies check before showing main content

javascript

java

xml

rss

web-crawler

如何抓取 运行 Javascript 在显示主要内容之前使用 cookie 检查的网页

How to crawl web page which run Javascript with cookies check before showing main content

javascript

java

xml

rss

web-crawler

如何抓取运行 Javascript 在显示主要内容之前使用 cookie 检查的网页