一个全球最大成人网站的爬虫
简介 项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
项目爬的是PornHub.com,结构简单,速度飞快
爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]
开发环境: MacOS系统、4G内存
主要使用 scrapy 爬虫框架
从Cookie池和UA池中随机抽取一个加入到Spider
并支持分页爬取数据,并加入到待爬队列。
使用说明 启动前配置 安装MongoDB,并启动,不需要配置
根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置
第一步:下一个工具(梯,子):
第四步:链接成功,如图
第五步:连上之后就可以打开ins,Google,Pornhub等等了!没有账号可以去注册一个
老司机需要的,可以去看看, 不废话了,我要去坐云霄飞车了
Pornhub,色情影片分享网站。它有可能是网上最大的色情影片分享网站。2007年在魁北克省蒙特利尔市成立。Pornhub在英国伦敦市,美国加利福尼亚州旧金山市,美国得克萨斯州休斯敦市以及美国路易斯安那州新奥尔良市均有分部和服务器。
它是一个免费的,由广告支持的网站。除了专业色情内容,网站也提供业余色情内容。