Selenium 爬取 Youtube 无限流分页页面
原理:通过执行 js 来获取页面可滚动的高度,抓取该高度范围内的数据后,再跳转到底部。 这里获取可滚动高度用的是document.documentElement.scrollHeight 而不是 document.body.scrollHeight,用 body 的时候这个返回值一直是 0。 代码如下: from selenium import webdriver from selenium.webdriver.chrome.options import Options f…