个人介绍
单位：某研究所
职位：爬虫工程师
技术背景
- 编程语言：Python, Node.js, Java
- 框架：Scrapy, Flask, Fastapi, SpringBoot
- 数据库：MySQL, Redis, Mongo
项目经历
数据采集
- 境外论坛社区采集：
对红迪、Quora等平台进行相关发文以及用户资料的采集。 - 境内社区采集：
对某乎、某瓣、某条、某博、某书、某音等社区进行相关发文以及用户资料的采集。 - 境外热门媒体采集：
对T, Y, I, F, T等媒体进行相关发文以及用户资料的采集。
其余
- 安卓应用平台信息采集：监控20多个不同的安卓应用平台的应用信息。
- 苹果商店信息采集：监控苹果商店的应用信息。
- 热门游戏购买平台游戏信息采集：如steam、epic等平台的所有游戏信息。
- 某企查企业信息采集：监控并采集关注的企业信息。
- 其他网站信息采集：包括一些不太出名的网站的信息采集。
某视频平台监控
- 每分钟对关注的用户发文等信息进行实时监控。
- 基于Flask+Vue+Celery实现的任务下发监控系统。
书籍阅读系统
- 通过Python对某网站的内容进行监控。
- 基于Go+Vue实现的阅读系统。
关于本站
除非特别说明，本站所有文章均为原创。所有内容均遵循 CC BY-NC 协议发布。