爬虫--Jsoup

最新推荐文章于 2022-10-02 00:03:17 发布

panda-star

最新推荐文章于 2022-10-02 00:03:17 发布

阅读量173

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.csdn.net/chinabestchina/article/details/104809410

爬虫专栏收录该内容

8 篇文章

订阅专栏

爬虫–Jsoup

文章目录

爬虫--Jsoup

一、Jsoup简介

Jsoup是另一种抓取网页的方式，相比httpclient，它的功能更丰富些。

二、特点

优点：

可以根据抓取的网页生成DOM树，可以将抓取的网页规范化，如补全有开始没结束的标签；
可以根据css选择器查找、取出数据；
提供类似jquery方式提取数据；
抓取速度也很快；

缺点：

不支持javascript

三、实例

3.1 添加maven依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.2</version>
</dependency>

3.2 代码实例

public class JsoupCrawlerMain {
    public static void main(String[] args) throws Exception {
        jsoupCrawler();
    }
    static void jsoupCrawler() throws Exception {
        String url = "http://www.ifeng.com/";
        Document doc = Jsoup.connect(url)
                .timeout(5000)
                .get();
        Elements eles = doc.select("#headLineDefault > h1 > a");
        if(Objects.nonNull(eles)){
            String result = eles.text().trim();
            System.out.println("ifeng headline is : " + result);
        }
    }
}