本人小白爬取猫眼top100问题，求指点！

珍惜相遇

刚开始学习爬虫，再网上看到一个爬取猫眼top100的实例，跟着做，但是爬取的结果是' [] '，看了返回的网页，不是top100的源代码，有提到验证

1. import requests
   
2. from requests.exceptions import RequestException
   
3. import re
   
4. 
   
5. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
   
6. 
   
7. def get_one_page(url):
   
8.     try:
   
9.         response = requests.get(url, headers=headers)
   
10.         if response.status_code == 200:
    
11.             return response.text
    
12.         return None
    
13.     except RequestException:
    
14.         return None
    
15. 
    
16. def parse_one_page(html):
    
17.     pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
    
18.                          +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
    
19.                           +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    
20.     items = re.findall(pattern, html)
    
21.     print(items)
    
22. 
    
23. def main():
    
24.     url = "https://maoyan.com/board/4?"
    
25.     html = get_one_page(url)
    
26.     parse_one_page(html)
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()

复制代码

能多

猫眼设置防爬，数据显示前需要美团验证(页面有时会弹出验证，有时不会)我遇到过你的情况(头疼)

川哥玩具

你能发布返回的源代码吗

斌哥哥

可以爬的，使用xpath吧