事情是这样的,朋友和我说现在B站关于考研视频挺受欢迎的,说我会爬虫,可以利用爬虫技术做些考研相关的视频上传到B站,说起爬虫,早在2017年就是因为爬虫才喜欢上了python。当时关于爬虫的教程看了不少,各种html解析库(BeautifulSoup、Xpath、pyquery)都信手拈来,还有scrapy框架,常见的反爬虫套路,以及使用jupyter notebook使用。可是到后面虽然会爬虫,但是总感觉不知道爬什么可好,就算数据爬下来也不知道怎么利用。于是刚好身边有考研的朋友需要复习单词。然后就简单爬了下考研5500单词,同时写了一个html页面来展示单词、音标、释义。利用obsstudio录制成视频。关于视频可见文末。关于爬虫我自己知道自己在逆向解析方面,尤其是手机端逆向和抓包都不会,后面想提高自己在逆向解析与验证码识别方面可以多掌握一点。
厉害
回复