node.js爬虫教程
目前有想法做一套简单的node.js的爬虫教程。
其实这是因为目前node.js的爬虫教程有点少,但是node.js写爬虫其实效果还是非常不错的。所以本着技术共享,共同提升的想法,准备简单的出一套node.js的爬虫教程。
首先其实简单说一下,如果是前端想要学爬虫,我建议学node.js来做爬虫,这是因为node.js是使用的v8引擎,直接用JavaScript代码写就可以了,上手快。
如果是有一定经验的话,也可以学习一下node.js爬虫。
如果是新手入门的话,我其实建议还是使用python来开发爬虫。
目前的想法是简单介绍一下node.js然后直接上实战。
分别使用几个目前我觉得比较好的库进行网站爬取。
网站就不挑难得了,主要是介绍一下这几个库。
- Puppeteer
- Axios
- Request
- Node-fetch
目前是准备介绍一下这4个库。
然后爬取的网站,是分了下面的这几个站。
1 | [http://www.espn.com/nba/salaries] nba薪资 |
目前的想法是每个库都写一个站来做说明。
当然也就是简单的爬个几页,其实就是像前面说的一样,主要是为了介绍,然后提出来这个东西,方便大家共享自己的经验。
已完成录制:
node.js安装 待上传
vscode安装 待上传
待完成:
简单的爬虫
使用puppeteer爬取博客
通过axios爬取美国nba球员薪资
使用request爬取链家二手房
使用node-fetch爬取百度搜索结果,酷我音乐,壁纸
使用puppeteer登录知乎