D-Studio

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

# 指定のURLをブラウザで開く
# メルカリの検索一覧は取得できるのか？
# seleniumのインストールとchromedriverのdlで対応

from bs4 import BeautifulSoup
from selenium import webdriver
import time
import os
from selenium.webdriver.chrome.options import Options

#-------------------------------------------------
## main ###
#-------------------------------------------------
if __name__=='__main__':

    BASE_URL = 'https://www.mercari.com'
    next_page_num = 2

    # 100ランク取得
    load_url = "https://www.mercari.com/jp/search/?keyword="
    item = "ルースイソンブラ"

    load_url = load_url + item

    result_array = [['item_name','item_price','url']]

    while True:
      try:
        # Chrome設定
        options = Options()
        options.add_argument('--headless')

        # 対象URLにリクエスト
        driver = webdriver.Chrome("./chromedriver", options=options)
        driver.get(load_url)
        time.sleep(5)

        # 文字コードをUTF-8に変換し、html取得
        html = driver.page_source.encode('utf-8')
        soup = BeautifulSoup(html, "html.parser")

        # tagとclassを指定して要素を取り出す
        item_name = soup.find('div', class_='items-box-content clearfix').find_all('h3', class_='items-box-name font-2')
        item_price = soup.find('div', class_='items-box-content clearfix').find_all('div',class_='items-box-price font-5')
        item_url = soup.find('div', class_='items-box-content clearfix').find_all('a')

        pager = soup.find('ul', class_='pager').find_all('a')

        item_num = len(item_name)

        for i in range(0, item_num):
            result_array.append([item_name[i].text,
                                 int(item_price[i].text.replace('¥', '').replace(',', '')),
                                 BASE_URL + item_url[i].get('href')])

　　　　　　　#結果表示
        print(result_array)


        for x in pager:
            if x.text == str(next_page_num):
                next_url = BASE_URL + x.get('href')

        if next_url == '':
            break

        next_page_num += 1
        load_url = next_url
        next_url = ''

        print('nextpagenum:' + str(next_page_num))

        # デバッグなので1ページ目のみで抜ける。
        if next_page_num == 3:
            break


      except Exception as e:
        message = "[例外発生]" + os.path.basename(__file__) + "\n" + "type:{0}".format(type(e)) + "\n" + "args:{0}".format(
                e.args)
        print(message)

      finally:
        # 起動したChromeを閉じる
        driver.close()
        driver.quit()