爬虫–HtmlUnit

最新推荐文章于 2024-08-12 20:21:42 发布

panda-star

最新推荐文章于 2024-08-12 20:21:42 发布

阅读量336

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.csdn.net/chinabestchina/article/details/104809468

爬虫专栏收录该内容

8 篇文章

订阅专栏

HtmlUnit是一个开源的网页分析工具，它能模仿浏览器行为，支持css和js执行。虽然速度较慢且对某些库支持不佳，但可用于网页抓取。通过添加maven依赖并编写代码实例，我们可以实现网页的自动化操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫–HtmlUnit

文章目录

爬虫--HtmlUnit

一、HtmlUnit简介

HtmlUnit是开源的网页分析工具，它模仿浏览器的运行，可以用于网页的抓取。

二、特点

优点：

模仿浏览器运行，可以click相关网页操作；
支持css、js运行；
有相应的文档解析方法；

缺点：

速度慢，需要页面渲染等各种操作；
对jquery等的支持不是很理想；

三、实例

3.1、添加maven依赖

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.24</version>
</dependency>

3.2、代码实例

public class HtmlUnitCrawlerMain {
    public static void main(String[] args) throws Exception {
        htmlunitCrawler();
    }

    static void htmlunitCrawler() throws Exception {
        String url = "http://www.ifeng.com/";

        WebClient webClient = new WebClient(BrowserVersion.CHROME);
        WebClientOptions options = webClient.getOptions();
        options.setTimeout(5000);
        options.setThrowExceptionOnScriptError(false);
        options.setCssEnabled(false);

        HtmlPage page = webClient.getPage(url);
        List<HtmlElement> eles = (List<HtmlElement>) page.getByXPath("//*[@id=\"headLineDefault\"]/h1/a");

        if(Objects.nonNull(eles) && eles.size()>0){
            String result = eles.get(0).asText();
            System.out.println("ifeng headline is : " + result);
        }
    }
}