Answer a question

I am trying to scrape storytel.in. In the website after selecting any 1 of the categories we can see set of books. In that page you only have book name mentioned. I want to fetch author, narrator, rating, category, bookid from the website which can be inspected by opening the individual book in new tab. Below is my code

response = get('https://www.storytel.com/in/en/categories/8-History?pageNumber=1', headers = headers)
soup = BeautifulSoup(response.text,"html.parser")
books_div = soup.find_all('div', class_='gridItem')
for container in books_div:
    name = container.find('div',class_='gridBookTitle').a.text
    titles.append(name)

    b_id = container.div.find('a').get('href')
    b_id = b_id[-6:-1]
    book_id.append(b_id)

    for i,t in zip(book_id,titles):
        response1 = get('https://www.storytel.com/in/en/books/'+i+'-'+t, headers = headers)
        soup = BeautifulSoup(response1.text,"html.parser")
        tab_div = soup.find('div', class_='bookDetailDesc')
        a_name = tab_div.find('span', class_:'expandAuthorName').text
        author.append(a_name)
        b_rating = tab_div.find('span', id='dennisBookRating').text
        rating.append(b_rating) 

I am getting error while executing this.Any leads on how this can be done. Thanks in advance.

Answers

This script will get from the link all book URLs and from each URL get information about Author, Detail, Rating and BookID:

import requests
from bs4 import BeautifulSoup


def get_book_info(url):
    soup = BeautifulSoup(requests.get(url).content, 'html.parser')

    detail = soup.select_one('[itemprop="description"]').get_text(strip=True, separator='\n')
    name = soup.select_one('.expandAuthorName').get_text(strip=True)
    rating = soup.select_one('#dennisBookRating').get_text(strip=True)
    book_id = soup.select_one('div[bookid]')['bookid']

    return name, rating, book_id, detail


url = 'https://www.storytel.com/in/en/categories/8-History?pageNumber=1'
soup = BeautifulSoup(requests.get(url).content, 'html.parser')

all_data = []
for a in soup.select('.gridBookTitle a'):
    book_url = 'https://www.storytel.com' + a['href']
    print('Processing {}'.format(book_url))
    all_data.append( get_book_info(book_url) )


# print data to screen:
from textwrap import shorten
for name, rating, book_id, detail in all_data:
    print('{:<35}{:<10}{:<10}{:<150}'.format(name, rating, book_id, shorten(detail, 150)))

Prints:

Yuval Noah Harari                  4.32      113557    New York Times Bestseller A Summer Reading Pick for President Barack Obama, Bill Gates, and Mark Zuckerberg From a renowned historian comes a [...]   
Ranjeet Desai                      4.11      869277    छत्रपती शिवरायांना दिलेल्या वचनासाठी आपल्या प्राणांची बाजी लावून लढणा-या वीर बाजीप्रभू देशपांडे यांच्या बलिदानाने पावन झालेली पावनखिंड.... [...]      
Kalki                              4.66      1280402   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Kalki                              4.62      1280428   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Kalki                              4.8       1280400   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Kalki                              4.62      1280442   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Kalki                              4.73      1280430   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Avinash Dharmadhikari              4.67      1414836   अविनाश धर्माधिकारी यांनी विलक्षण प्रेरणादायी पद्धतीने सांगितलेला आधुनिक भारताचा इतिहास.                                                               
Kuldeep Nayar                      4.25      1131017   ‘इन सबकी शुरुआत उड़ीसा में 1972 में हुए उप-चुनाव से हुई। लाखों रुपए खर्च कर नंदिनी को राज्य की विधानसभा के लिए चुना गया था। गांधीवादी जयप्रकाश [...]  
Sandilyan                          4.86      1186090   அமரர் சாண்டில்யனின் அற்புதமான புதினம் ஒலி வடிவில் 42 மணி நேரம் ஒலிக்கும் இந்த ஒலிப்புத்தகத்தில் 40க்கும் மேற்பட்ட சிறந்த கலைஞர்கள் [...]              
Avinash Dharmadhikari              4.39      1427231   अविनाश धर्माधिकारी यांनी आपल्या रसाळ शैलीत सांगितलेला आधुनिक भारताचा इतिहास, ब्रिटीशांनी भारत कसा जिंकला.                                             
Hari Narayan Apte                  4.19      146917    'आधी लगीन कोंढाण्याचे मग लगीन रायबाचे', कोंढाणा किल्ला जिंकण्याची जबाबदारी शिवाजी महाराजानी तानाजी मालुसरेला दिली होती. जेव्हा तानाजीला ह्या [...]    
Yuval Noah Harari                  4.44      89508     Yuval Noah Harari, author of the critically-acclaimed New York Times bestseller and international phenomenon Sapiens, returns with an equally [...]   
Avinash Dharmadhikari              4.4       1427239   अविनाश धर्माधिकारी यांनी आपल्या रसाळ शैलीत सांगितलेला आधुनिक भारताचा इतिहास                                                                           
Kalki                              4.5       1147877   A theatre actor writer director for 50 years in Tamil stage Having penned over 20 dramas for TV AIR and Stage He has also acted in over 3000 [...]    
Manu S. Pillai                     4.13      1165903   മനു എസ് പിള്ള എഴുതിയ 'ഐവറി ത്രോൺ' എന്ന പുസ്തകത്തിന്റെ മലയാള വിവർത്തനമാണിത്. തിരുവിതാംകൂറിന്റെ രാജ്യഭരണ ചരിത്രത്തിലെ അവസാനത്തെ റാണിയും, [...]          
Kalki                              4.61      1147825   A theatre actor writer director for 50 years in Tamil stage Having penned over 20 dramas for TV AIR and Stage He has also acted in over 3000 [...]    
Kalki                              4.72      1147875   A theatre actor writer director for 50 years in Tamil stage Having penned over 20 dramas for TV AIR and Stage He has also acted in over 3000 [...]    
Avinash Dharmadhikari              4.33      1427241   अविनाश धर्माधिकारी यांनी आपल्या रसाळ शैलीत सांगितलेला आधुनिक भारताचा इतिहास                                                                           
Vinayak Damodar Savarkar           4.02      148453    1857 चे स्वातंत्र्य समर भाग १ हे हिंदुहृदयसम्राट स्वातंत्र्यवीर सावरकर यांचा तेजस्वी ग्रंथ                                                            
Shivajirao Bhosle                  4.29      130522    शिवाजीराव भोसले यांनी या ऑडीओबुक मध्ये 'महात्मा गांधी आणि त्यांचे विचार' याविषयीचे चिंतन केले आहे .                                                   
Rupert Colley                      4.13      3717      Love history? Know your stuff with History in an Hour. World War One brought with it the world’s first experience of Total War, involving all of [...]
Fanishwarnath Renu                 3.88      123133    ' कितने चोराहे ' एक उपन्यास हैं जिसके रचिता फनिश्वरनाथ रेणु हैं इस उपन्यासमे आज़ादी के ठीक पहलें तथा उसके अंत में आज़ादी के तुरंत बाद के ग्रामीण [...]
Sandilyan                          4.68      1186086   அமரர் சாண்டில்யனின் அற்புதமான புதினம் ஒலி வடிவில் 42 மணி நேரம் ஒலிக்கும் இந்த ஒலிப்புத்தகத்தில் 40க்கும் மேற்பட்ட சிறந்த கலைஞர்கள் [...]              
Kalki                              4.66      1280416   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Avinash Dharmadhikari              4.71      1427245   अविनाश धर्माधिकारी यांनी आपल्या रसाळ शैलीत सांगितलेला आधुनिक भारताचा इतिहास                                                                           
Kalki                              0.0       1328504   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Ra. Ki. Rangarajan                 4.86      1127892   ‘நான்’ என்று சொல்வது போலத் தமிழில் இதுவரை யாரும் சரித்திரக் கதை எழுதவில்லை என்பதால், அது மாதிரி ஒன்று நாமே எழுதினால் என்ன என்ற அசட்டுத் [...]         
Sandilyan                          4.79      1186088   அமரர் சாண்டில்யனின் அற்புதமான புதினம் ஒலி வடிவில் 42 மணி நேரம் ஒலிக்கும் இந்த ஒலிப்புத்தகத்தில் 40க்கும் மேற்பட்ட சிறந்த கலைஞர்கள் [...]              
Sun Tzu                            4.05      121435    The Art of War dates back to the 5th century BC, and is an ancient Chinese military handbook. Attributed to the intelligent military strategist [...] 
B.R. Ambedkar                      4.83      1058502   The classic analysis of the caste system with an extensive introduction by Arundhati Roy. “What the Communist Manifesto is to the capitalist [...]    
Readtrepreneur Publishing          4.68      961847    A Brief History of Time by Stephen Hawking, Book Summary, Readtrepreneur (Disclaimer: This is NOT the original book, but an unofficial summary.) [...]
Vishnubhat Godse                   3.7       628157    "माझा प्रवास - १८५७ च्या बंडाची हकीकत" हा विष्णूभट गोडसे यांनी लिहिलेला मराठी प्रवास आहे. जो पेणच्या जवळच्या वारसाई मधून गेला. त्याच्या [...]         
B.D. Kher                          3.7       858251    दुसरं महायुध्द आणि युध्दापूर्वीची शांतता यामध्ये सामान्य जपानी माणसाला भोगाव्या लागलेल्या यातनांचं दिशादर्शन करणारी ही प्रत्ययकारी कादंबरी [...]      
Bankim Chandra Chattopadhyay       3.97      146906    ‘आनंदमठ’ में 1770 ई. से 1774 ई. तक के बंगाल का चित्र खींचा गया है ! यह उपन्यास या ऐतिहासिक उपन्यास से बढ़कर है ! ऋषि बंकिम ने इसमें उस युग का [...]   
Kalki                              5.0       1328499   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Avinash Dharmadhikari              4.62      1427243   अविनाश धर्माधिकारी यांनी आपल्या रसाळ शैलीत सांगितलेला आधुनिक भारताचा इतिहास                                                                           
Sanjay Sonawani                    3.69      807007    खडकीच्या रानात मल्हारराव होळकर (दुसरे) यांचा तळ पडला होता. ऐन रात्री भर पावसाळ्यात दौलतराव शिंदेंच्या फौजेने मल्हारराव होळकरांच्या बेसावध [...]       
M Mukundan                         4.29      904861    മയ്യഴിയുടെ ചരിത്രം സംസ്കാരം ഭൂമിശാസ്ത്രം തുടങ്ങിയ സർവ്വ ഘടകങ്ങളിലൂടെയും സഞ്ചരിച്ച് മയ്യഴിയുടെ സ്വത്വം തന്നെ തിരയുന്ന ഏകാഗ്രവും സമഗ്രവുമായ ഒരു [...]   
Jemma J. Saunders                  4.16      11357     Love history? Know your stuff with History in an Hour. The Holocaust, in which 11 million people died, was the largest atrocity of the 20th [...]     
Rabindranath Tagore                4.0       916767    গোরা, এই গল্পটির প্রধান চরিত্র, হিন্দু ধর্মে বিশেষ ভাবে বিশ্বাসী এবং এক বিদ্বেষহীন ভারতবর্ষের স্বপ্ন দেখে। সমস্যা বড়ো হয়ে দাঁড়ায়ে যখন [...]       
Shashi Tharoor                     3.84      628264    इस धमाकेदार पुस्तक में लोकप्रिय लेखक शशि थरूर ने प्रामाणिक शोध एवं अपनी चिरपटुता से यह उजागर किया है कि भारत के लिए ब्रिटिश शासन कितना विनाशकरी [...] 
Sandilyan                          0.0       1299380   அமரர் சாண்டில்யனின் அற்புதமான புதினம் ஒலி வடிவில் 42 மணி நேரம் ஒலிக்கும் இந்த ஒலிப்புத்தகத்தில் 40க்கும் மேற்பட்ட சிறந்த கலைஞர்கள் [...]              
Vijay Trivedi                      4.47      905409    There is rarely a moment in history where all political parties give their consent to something without any debate or controversy. There is [...]     
Kalki                              4.25      1299444   1942-ஆம் வருஷத்துப் புரட்சி வீரன் குமாரலிங்கம். போலீஸாரிடம் அகப்படாமலிருக்கும் பொருட்டு சோலைமலைக்குப் போகிறான். அங்கே இடிந்து பாழடைந்து கிடந்த [...]  
Kalki                              4.77      1076726   1942-ஆம் வருஷத்துப் புரட்சி வீரன் குமாரலிங்கம். போலீஸாரிடம் அகப்படாமலிருக்கும் பொருட்டு சோலைமலைக்குப் போகிறான். அங்கே இடிந்து பாழடைந்து கிடந்த [...]  
Kalki                              3.86      1328487   பொன்னியின் செல்வன் அமரர் கல்கி (1899-1954) எழுதிய புகழ் பெற்ற தமிழ் வரலாற்றூப் புதினமாகும். 1950 - 1955 ஆண்டு வரை கல்கி வார இதழில் தொடர்கதையாக [...]  
Ra. Ki. Rangarajan                 4.75      1127744   ‘நான்’ என்று சொல்வது போலத் தமிழில் இதுவரை யாரும் சரித்திரக் கதை எழுதவில்லை என்பதால், அது மாதிரி ஒன்று நாமே எழுதினால் என்ன என்ற அசட்டுத் [...]         
Rupert Colley                      4.09      13787     Love history? Know your stuff with History in an Hour. ‘Il Duce’, Benito Mussolini, was one of the key figures in the creation of fascism. Famed [...]
Rupert Colley                      3.92      3733      Love history? Know your stuff with History in an Hour. Listen to this bite size audiobook about Hitler's experience as a soldier during World [...]