×

1688 PHP

PHP 爬虫实战指南:获取 1688 商品详情

万邦-Jason 万邦-Jason 发表于2025-07-31 16:21:05 浏览271 评论0

抢沙发发表评论

在电商领域,1688 作为国内领先的 B2B 电商平台,提供了丰富的商品资源。通过 PHP 爬虫技术,我们可以高效地获取 1688 商品的详细信息,包括商品名称、价格、图片、描述等。本文将详细介绍如何利用 PHP 爬虫按关键字搜索 1688 商品详情,并提供完整的代码示例

一、准备工作

(一)PHP 开发环境

确保你的服务器上安装了 PHP 环境,并且启用了 cURL 扩展,用于发送 HTTP 请求

(二)安装必要的库

安装 GuzzleHttp 库,用于发送 HTTP 请求。可以通过 Composer 安装

bash

composer require guzzlehttp/guzzle


二、编写爬虫代码

(一)发送 HTTP 请求

使用 GuzzleHttp 库发送 GET 请求,获取商品页面的 HTML 内容

php

<?phprequire 'vendor/autoload.php';use GuzzleHttp\Client;function get_html($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);
    return $response->getBody()->getContents();}?>


(二)解析 HTML 内容

使用 DOMDocumentDOMXPath 解析 HTML 内容,提取商品详情

php

<?phpfunction parse_html($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $xpath = new DOMXPath($dom);
    $products = [];
    $productItems = $xpath->query("//div[@class='sm-offer-item']");
    foreach ($productItems as $item) {
        $title = $xpath->evaluate("string(.//a[@class='offer-title'])", $item);
        $price = $xpath->evaluate("string(.//span[@class='price'])", $item);
        $description = $xpath->evaluate("string(.//div[@class='desc'])", $item);
        $sales = $xpath->evaluate("string(.//span[@class='sales'])", $item);
        $products[] = [
            'title' => $title,
            'price' => $price,
            'description' => $description,
            'sales' => $sales
        ];
    }
    return $products;}?>


(三)按关键字搜索商品

根据关键字构建搜索 URL,并获取搜索结果页面的 HTML 内容

php

<?phpfunction search_products($keyword, $page = 1) {
    $baseUrl = "https://s.1688.com/selloffer/offer_search.htm";
    $url = $baseUrl . "?keywords=" . urlencode($keyword) . "&pageno=" . $page;
    $html = get_html($url);
    return parse_html($html);}?>


(四)整合代码

将上述功能整合到主程序中,实现完整的爬虫程序

php

<?php$keyword = "女装";$products = search_products($keyword);foreach ($products as $product) {
    echo "商品名称: " . $product['title'] . "\n";
    echo "商品价格: " . $product['price'] . "\n";
    echo "商品描述: " . $product['description'] . "\n";
    echo "商品销量: " . $product['sales'] . "\n";
    echo "----------------------\n";}?>


三、注意事项和建议

(一)遵守网站规则

在爬取数据时,务必遵守 1688 的 robots.txt 文件规定和使用条款,不要频繁发送请求,以免对网站造成负担或被封禁

(二)处理异常情况

在编写爬虫程序时,要考虑到可能出现的异常情况,如请求失败、页面结构变化等。可以通过捕获异常和设置重试机制来提高程序的稳定性

(三)数据存储

获取到的商品信息可以存储到文件或数据库中,以便后续分析和使用

(四)合理设置请求频率

避免高频率请求,合理设置请求间隔时间,例如每次请求间隔几秒到几十秒,以降低被封禁的风险

四、总结

通过上述步骤和代码示例,你可以轻松地使用 PHP 爬虫获取 1688 商品的详细信息。希望这个教程能为你提供一些启发和帮助。如果你对爬虫开发有更多兴趣,可以尝试探索更复杂的功能,如多线程爬取、数据可视化等.                                                                                                                                                                                    

群贤毕至

访客