《Java 爬虫按关键字搜索京东商品实战指南》

最新推荐文章于 2025-09-12 18:08:49 发布

原创最新推荐文章于 2025-09-12 18:08:49 发布 · 276 阅读

CC 4.0 BY-SA版权

文章标签：

在电商领域，京东作为国内知名的电商平台，拥有海量的商品数据。通过 Java 爬虫技术，我们可以高效地按关键字搜索京东商品，并获取其详细信息。这些信息对于市场分析、选品上架、库存管理和价格策略制定等方面具有重要价值。以下是一个详细的实战指南，包括代码示例。

一、准备工作

（一）Java 开发环境

确保你的 Java 开发环境已经安装了以下必要的库：

Jsoup：用于解析 HTML 页面。
HttpClient：用于发送 HTTP 请求。

可以通过 Maven 来管理这些依赖。在你的 pom.xml 文件中添加以下依赖：

xml

<dependencies>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.13.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
</dependencies>

（二）目标网站分析

在开始爬虫之前，需要对目标网站（京东商品搜索结果页）进行分析，了解页面结构和数据存储方式。打开浏览器的开发者工具（F12），查看商品搜索结果页的 HTML 结构，确定需要提取的数据字段，如商品标题、价格、描述、销量等。

二、编写爬虫代码

（一）发送 HTTP 请求并解析 HTML

使用 Jsoup 库发送 HTTP 请求，获取商品详情页的 HTML 内容。然后使用 Jsoup 解析 HTML，提取商品详情数据。

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JDProductCrawler {
    public static Document getHtml(String url) {
        try {
            return Jsoup.connect(url)
                    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
                    .get();
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }
}

（二）解析搜索结果

解析搜索结果页面，提取商品标题、价格和链接。

java

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.util.ArrayList;
import java.util.List;

public class JDProductParser {
    public static List<Product> parseHtml(Document doc) {
        List<Product> products = new ArrayList<>();
        Elements items = doc.select("li.gl-item");
        for (Element item : items) {
            String title = item.select("div.p-name").text();
            String price = item.select("div.p-price").text();
            String link = item.select("a").attr("href");
            products.add(new Product(title, link, price, ""));
        }
        return products;
    }
}

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取多页搜索结果的 HTML 内容。

java

import java.io.IOException;
import java.util.List;

public class JDProductSearch {
    public static List<Product> searchProducts(String keyword, int maxPages) {
        List<Product> allProducts = new ArrayList<>();
        String baseUrl = "https://search.jd.com/Search?keyword=" + keyword + "&enc=utf-8&wq=" + keyword;
        for (int page = 1; page <= maxPages; page++) {
            String url = baseUrl + "&page=" + page;
            try {
                Document doc = JDProductCrawler.getHtml(url);
                List<Product> products = JDProductParser.parseHtml(doc);
                allProducts.addAll(products);
                Thread.sleep(2000); // 避免请求过于频繁
            } catch (IOException | InterruptedException e) {
                e.printStackTrace();
            }
        }
        return allProducts;
    }
}

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序。

java

import java.util.List;

public class Main {
    public static void main(String[] args) {
        String keyword = "耳机";
        int maxPages = 3;
        List<Product> products = JDProductSearch.searchProducts(keyword, maxPages);
        for (Product product : products) {
            System.out.println(product);
        }
    }
}

（五）Product 类

定义一个简单的 Product 类来存储商品信息。

java

public class Product {
    private String title;
    private String img;
    private String price;
    private String shop;

    public Product(String title, String img, String price, String shop) {
        this.title = title;
        this.img = img;
        this.price = price;
        this.shop = shop;
    }

    @Override
    public String toString() {
        return "Product{" +
                "title='" + title + '\'' +
                ", img='" + img + '\'' +
                ", price='" + price + '\'' +
                ", shop='" + shop + '\'' +
                '}';
    }
}