node.js爬虫教程

目前有想法做一套简单的node.js的爬虫教程。
其实这是因为目前node.js的爬虫教程有点少,但是node.js写爬虫其实效果还是非常不错的。所以本着技术共享,共同提升的想法,准备简单的出一套node.js的爬虫教程。

首先其实简单说一下,如果是前端想要学爬虫,我建议学node.js来做爬虫,这是因为node.js是使用的v8引擎,直接用JavaScript代码写就可以了,上手快。
如果是有一定经验的话,也可以学习一下node.js爬虫。

如果是新手入门的话,我其实建议还是使用python来开发爬虫。

目前的想法是简单介绍一下node.js然后直接上实战。

分别使用几个目前我觉得比较好的库进行网站爬取。

网站就不挑难得了,主要是介绍一下这几个库。

  1. Puppeteer
  2. Axios
  3. Request
  4. Node-fetch

目前是准备介绍一下这4个库。

然后爬取的网站,是分了下面的这几个站。

1
2
3
4
5
6
7
[http://www.espn.com/nba/salaries] nba薪资
[https://www.datehoer.com/] 博客
[https://yt.lianjia.com/ershoufang/] 链家二手房
[https://www.baidu.com/s?wd=美国50年来首次披露UFO影像] 百度搜索
[http://www.kuwo.cn/rankList] 酷我音乐
[https://ss.netnr.com/wallpaper] 壁纸
[https://www.zhihu.com/]知乎登录

目前的想法是每个库都写一个站来做说明。
当然也就是简单的爬个几页,其实就是像前面说的一样,主要是为了介绍,然后提出来这个东西,方便大家共享自己的经验。

已完成录制:
node.js安装 待上传

vscode安装 待上传

待完成:
简单的爬虫
使用puppeteer爬取博客
通过axios爬取美国nba球员薪资
使用request爬取链家二手房
使用node-fetch爬取百度搜索结果,酷我音乐,壁纸
使用puppeteer登录知乎

作者

datehoer

发布于

2022-05-18

更新于

2023-10-19

许可协议

评论