【Python】netkeibaから競馬データをスクレイピングする方法

#ライブラリのインポート
import pandas as pd

url_cal = 'https://nar.netkeiba.com/top/calendar.html?jyo_cd=48'
df_cal = pd.read_html(url_cal)[0]

list_cal = [str(a) for a in sum(df_cal.values.tolist(),[])]

df_cal.values.tolist()
--> [[nan, nan, '1', '2', '3', 4.0, 5.0], [6.0, '7 名古屋 重', '8 名古屋', '9 名古屋', '10 名古屋', 11.0, 12.0], [13.0, '14', '15', '16', '17', 18.0, 19.0], [20.0, '21 名古屋', '22 名古屋', '23 名古屋 重', '24 名古屋', 25.0, 26.0], [27.0, '28', '29', '30', nan, nan, nan]]

sum(df_cal.values.tolist(),[])
--> [nan, nan, '1', '2', '3', 4.0, 5.0, 6.0, '7 名古屋 重', '8 名古屋', '9 名古屋', '10 名古屋', 11.0, 12.0, 13.0, '14', '15', '16', '17', 18.0, 19.0, 20.0, '21 名古屋', '22 名古屋', '23 名古屋 重', '24 名古屋', 25.0, 26.0, 27.0, '28', '29', '30', nan, nan, nan]

list_cal = [str(a) for a in sum(df_cal.values.tolist(),[])]
list_cal
--> ['nan', 'nan', '1', '2', '3', '4.0', '5.0', '6.0', '7 名古屋 重', '8 名古屋', '9 名古屋', '10 名古屋', '11.0', '12.0', '13.0', '14', '15', '16', '17', '18.0', '19.0', '20.0', '21 名古屋', '22 名古屋', '23 名古屋 重', '24 名古屋', '25.0', '26.0', '27.0', '28', '29', '30', 'nan', 'nan', 'nan']

list_day = [i.split()[0].zfill(2) for i in list_cal if '名古屋' in i]

list_day
--> ['07', '08', '09', '10', '21', '22', '23', '24']

url_result = 'https://nar.netkeiba.com/race/result.html?race_id=202248060701&rf=race_list'

df_result = pd.read_html(url_result)[0]

df_result
-->
   着順  枠  馬番         馬名  性齢    斤量     騎手     タイム   着差  人気  単勝オッズ   後3F      厩舎  馬体重(増減)
0   1  8   9  ラインストライカー  牡3  56.0   大畑雅章  1:37.6  NaN   2    5.3  40.5  愛知安部幸夫  485(-5)
1   2  1   1  フォートウィリアム  牡3  56.0    岡部誠  1:37.7   クビ   1    1.2  40.7  愛知安部幸夫  515(-2)
2   3  2   2   ウマイウマスギル  牡3  55.0  ☆細川智史  1:39.5    9   3   10.4  41.4  愛知坂口義幸  418(-3)
3   4  4   4        ゼアル  牝3  52.0    宮下瞳  1:39.5   ハナ   4   16.8  42.1  愛知藤ヶ崎一  421(+2)
4   5  7   7    ワイジーコマチ  牝3  54.0   加藤聡一  1:39.9    2   6  104.5  41.5   愛知榎屋充  449(+7)
5   6  5   5   エイシンルーキー  牡3  56.0    柿原翔  1:40.9    5   5   21.3  43.1  愛知藤ヶ崎一  484(+2)
6   7  6   6   エイシンウクラン  牝3  54.0   加藤利征  1:41.9    5   9  169.5  43.3  愛知錦見勇夫  356(+3)
7   8  8   8   アップモンスター  牝3  54.0   友森翔太  1:42.8    4   8  129.8  45.3  愛知井手上慎  450(+4)
8   9  3   3    レディウィット  牝3  53.0  ☆浅野皓大  1:43.0    1   7  120.2  43.6  愛知今津勝之   398(0)

import requests
from bs4 import BeautifulSoup
import re

r = requests.get(url_result)
soup = BeautifulSoup(r.content, 'html.parser')
data1 = soup.find('div', class_='RaceData01').text
#距離
dis = re.findall(r'\d+', data1)[2]
#フィールド
field = data1[data1.find('/')+2 : data1.find('/')+3]
#馬場
condition = data1[data1.find('馬場')+3 : data1.find('馬場')+4]

dis
--> 1500

field
--> ダ

condition
--> 重

url_past = 'https://nar.netkeiba.com/race/shutuba_past.html?race_id=202248060701&rf=race_list'

df_past = pd.read_html(url_past)[0]

df_result_past = pd.merge(df_result, df_past, on='馬番')
df_result_past['距離'] = dis
df_result_past['フィールド'] = field
df_result_past['馬場'] = condition
df_result_past['レースID'] = '202248060701'

#ライブラリのインポート
import pandas as pd
import requests
from bs4 import BeautifulSoup
import re

df_shutuba = pd.DataFrame()

for year in range(2015,2022):
    for month in range(1,13):
        url_cal = 'https://nar.netkeiba.com/top/calendar.html?year={}&month={}&jyo_cd=48'.format(str(year),str(month))

        df_cal = pd.read_html(url_cal)[0]
        list_cal = [str(a) for a in sum(df_cal.values.tolist(), [])]
        list_day = [i.split()[0].zfill(2) for i in list_cal if '名古屋' in i]


        for day in list_day:
            for race_no in range(1,13):
                race_id = '{}48{}{}{}'.format(str(year), str(month).zfill(2), day, str(race_no).zfill(2))
                url_race = 'https://nar.netkeiba.com/race/result.html?race_id={}&rf=race_list'.format(race_id)
                url_past = 'https://nar.netkeiba.com/race/shutuba_past.html?race_id={}&rf=shutuba_submenu'.format(race_id)
                print(url_race)
                try:
                    df_result = pd.read_html(url_race)[0]
                    df_past = pd.read_html(url_past)[0]
                    df_result_past = pd.merge(df_result, df_past, on='馬番')
                    
                    r = requests.get(url_race)
                    soup = BeautifulSoup(r.content, 'html.parser')
                    data1 = soup.find('div', class_='RaceData01').text
                    df_result_past['距離'] = re.findall(r'\d+', data1)[2]
                    df_result_past['フィールド'] = data1[data1.find('/')+2: data1.find('/')+3]
                    df_result_past['馬場'] = data1[data1.find('馬場')+3: data1.find('馬場')+4]
                except:
                    continue
                df_result_past['レースID'] = race_id
                df_shutuba= pd.concat([df_shutuba, df_result_past])