数据与自动化

Anthropic API充值 通过野卡付款成功，需要86手机号加支付宝人脸识别，需要16.99刀的开卡费，2年有效期，充值有3.5%的手续费，付款美元美国商家没别的手续费其他有，开卡，充值全支付宝操作。 开卡+邀请链接：https://yeka.ai/i/P18JHFKNhttps://yeka.ai/i/P18JHFKN OpenAI API 通过pay

最近openai推出了o1模型，但是经过使用发现有时候模型不是真实的o1，找了一下检测的方式，可以检测自己的模型是否为真实的模型。当然其实最明显一点就是看有没有思考，有的话大概率就是，没有的话肯定不是。 推理1 联网查找 答案不唯一，也有可能是马里奥，不过易建联肯定错。 代码编写 o1mini可能会出现结果为1 2 1 1 2 3 4 3 2 1 1 2 3

之前写了一篇关于node.js爬虫的文章。想通过几个网站案例教大家用node.js写爬虫，但是一直没抽出时间来写，之后用了下openinterpreter感觉挺好用，而且用来写爬虫的话也不错，挺适合0基础的，于是准备拿之前准备的网站教大家用openinterpreter写爬虫采集数据。 俗话说得好，工欲善其事必先利其器。 所以我们要先做好前期准备： 一台电脑

问题背景 通过官网部署Supabasehttps://supabase.com/docs/guides/selfhosting/docker后，发现无法使用Ai Assistant并且在使用SQL Editor的时候会报Failed to generate title的错误 操作截图。 看了一下报错是没有设置OpenAi的key。由于我没有国外信用卡也不想办

问题记录 pip无法使用，通过conda安装python环境后，使用pip的时候发现报错了。 示例内容 这里通过以下几个方法可以解决，我这里通过重新安装pip来解决的。 1. 重新安装 pip： 如果 pip 损坏，您可能需要重新安装它。您可以通过 Python 来重新安装 pip： 如果您使用的是 Anaconda，也可以通过 Conda 来管理 pip：

问题记录 通过anaconda安装python后使用pip报错。 这里通过python m ensurepip 来重新安装pip即可

时隔近一个月终于将酷安板块关键词监控系统做好了！ 系统文档：SpringBoot+Python实现酷安关键词监控系统 1. 项目概述 目的 本项目是在学习Spring Boot的过程中启动的实践项目，旨在通过构建一个实际的系统来深入理解Spring Boot技术栈。 该系统主要聚焦于实时数据采集、处理，并对特定关键词和产品进行监控。系统的核心功能包括任务下发

问题记录 直接通过pip安装会报错 会报错，解决了好久都没解决成功 后来发现直接下载whl安装即可 查询自己的python版本以及系统支持即可 https://pypi.org/project/opencvpythonheadless/4.5.1.48/files dless/4.5.1.48/files

最近在搞任务下发系统，调用接口传入关键参数，进行爬虫爬取。 初始化 一开始是通过threading+subprocess+fastapi来实现的任务下发。 但是遇到很多的问题，虽然都解决了，但是感觉效果并不理想。 目前是通过sqlite3来存储下发任务的记录，然后利用fastapi搭建接口服务。通过接口接收关键词以及爬虫路径然后将任务存放到fastapi提供

配置说明 国内环境使用https://github.com/KillianLucas/openinterpreter 发现只是修改openai库的api.openai.com为api.openaisb.com不行，还需要修改litellm库中的main文件，将其中的 api.openai.com改为api.openaisb.com。 其次，在使用的时候会遇到

调研记录 亚马逊同样的请求用requests发现无法获取到数据，通过测试发现可能是因为TLS指纹的问题，通过使用curlcffi库进行请求发现可以正常获取数据

实现思路 示例内容 https://tool.lu/coderunner/

操作步骤 希望可以处理一下旧的文本内容，之前文章的数据全都变成了一行，希望可以根据语义进行分段。 这里找到的是spaCy这个库。 https://spacy.io/usage 通过这个网站获取需要使用的命令进行安装即可 设置power shell的代理

前言 在程序开发以及网络通信传输过程中最常见的数据格式就是JSON、XML，或者是一种压缩效率更高的数据格式——Google的ProtoBuf。ProtoBuf在传输过程中是以二进制的格式传输的，测试抓包的时候如果需要查看请求或返回消息中携带的参数信息就需要对它进行解析。小编之前在Windows环境下使用公司童鞋开发的Fiddler插件可以完成解析工作，但小

问题记录 如果利用模拟浏览器等方式通过验证码会遇到验证码每次请求都会变，那么这样就不能直接请求获取到验证码数据了。 所以这里其实直接通过js下载图片就行了。 这里的base64String就是当前验证码的base64地址了

问题记录 配置好各种配置后，发现雷电模拟器无法获取数据包 设置全局代理即可

问题记录 在docker中使用crontab执行写好的shell用来定时同步统计数据，但是发现一只不执行 后来查看日志/var/mail/mail发现是java: not found但是问题是直接运行脚本的话，是不会出现这个问题的。 那么执行以下java version发现确实没有java环境，于是安装了一下java 这样就安装好了，然后再次执行就发现可以正

最近超级火的ChatGPT只能说非常好用。 使用了几天发现真的真的很不错，唯一不好的地方就是不支持大陆使用。 这里附一份注册教程分享给大家。 前几天，OpenAI 推出超神 ChatGPT，非常火爆。但是呢，因为不可抗力原因，大部分人无法体验到。这里我分享一下注册的攻略。 准备 首先能能访问 Google （前置条件，不能明确说，懂得都懂） 你得有一个国外手

问题记录 现在发现最新版的微信抓不到小程序的包了，所以需要将微信降级使用，推荐使用3.6.0.18版本 想通过fiddler抓取一下微信小程序的包，但是发现数据没有办法获取，后来仔细一想，貌似微信可能会把数据缓存到本地，所以才没有办法抓到。 那么现在有两个方法获取数据，一个是解密本地缓存的数据，一个是把缓存的数据清空重新下载。 我目前选择的方法是清空缓存，毕

操作步骤 想用ddddocr识别一下验证码，但是准确率不是非常的高，正好作者提供了dddd\trainer可以进行训练，于是在我的电脑上下载了源码准备训练，然后就发现没有环境。 百度搜索发现可以通过官网安装pytorchhttps://pytorch.org/首先需要看一下自己的CUDA版本，安装的话可以低但是不能高。 使用win+r打开运行输入cmd打开命

首先我一开始是找了个一个英文版的navicat16破解版，但是感觉英文版看着好别扭，所以就想给他改成中文版，但是当时下载的版本并没有更改语言的选择，所以从官网重新下载了一个，之后把安装目录设置到原来的目录下就可以了。 但是换成新的版本就会造成一个问题以前的破解失效了。 所以就需要重新破解，在吾爱上发现可以通过修改注册表来进行重新试用，但是实际操作发现并没有什

实现思路 今天一个兄弟问题，元素的css属性应该怎么获取。 我当时想都没想，直接说getAttribute获取。 但是发现并不可以，他只能获取自己的属性，不能获取css属性。 那么应该怎么获取呢？ 需要通过这个window.getComputedStylex，来获取css属性，当然，还需要对数据进一步处理，因为它会返回这个元素的所有属性，将自己需要的取出来即

安装步骤 安装完成node.js后，我们需要一个编辑器来进行代码的编写。 目前我觉得比较好用的一个是vscode，一个是webstorm。 这两个我比较推荐使用vscode，因为webstorm有一个很致命的问题，就是他的终端不能解析一些编码格式的内容，比如说表情，就会导致非常的难受。 并且vscode免费，而webstorm是付费的，高下立判。 百度搜索v

安装步骤 首先，既然学爬虫，那么其实最重要的一点就是要安装node.js。 这里我用的是Windows系统，重新用虚拟机开了一个全新的windows10系统。 然后我们百度搜一下nvm，然而其实并没有找到直接的下载地址，唯一的一个GitHub是Linux的。 操作截图 所以我们直接打开GitHub，在GitHub上找一下。 不错，找到了windows版本的n

教程说明 目前有想法做一套简单的node.js的爬虫教程。 其实这是因为目前node.js的爬虫教程有点少，但是node.js写爬虫其实效果还是非常不错的。所以本着技术共享，共同提升的想法，准备简单的出一套node.js的爬虫教程。 首先其实简单说一下，如果是前端想要学爬虫，我建议学node.js来做爬虫，这是因为node.js是使用的v8引擎，直接用Jav

实现思路 不得不佩服一下老美。 pyscript顾名思义，就是在web上写python script，当然JavaScript这个冒牌货是不能和pyscript相比的。 示例内容 首先需要在网页上导入这两个文件，应该一个是加载格式，一个是调用python引擎。 然后就是需要有两个标签，其实也就是类似于vue之类的，有自己专属的标签，在里面写的内容是通过专属j

其实这个报错非常恶心人，如果是入库等程序一般不会遇到，但是如果是请求网页的进程，很容易就遇到了，然后就会心跳超时，之后就会重启消费者，重新执行eachMessage函数，但是之前的eachMessage函数依然在执行，会导致eachMessage越来越多然后卡死。 这里是两篇遇到这个问题的文章，第一个解决的方法是 HOW TO RESOLVE THIS IS

1\. cookie获取 1.1 cookie 首先是cookie,这个想必大家都知道,我们登录一个网站后,再次访问如果不需要输入密码的话,那么就是cookie的帮助了.所以我们如果需要上传文件,那么就需要使用cookie. 1.2 获取 既然cookie这么重要,那么应该怎么获取呢?大多数的网站,都是通过客户端发送账号密码到服务器,然后服务器返回setco

最简单的方法就是cd/node\moudle/puppeteer 然后npm run install即可. 千万不要设置环境变量 PUPPETEER\SKIP\DOWNLOAD=true npm install puppeteer 因为你设置了他会跳过,只需要进入puppeteer路径,进行安装就可以了. 再就是安装后可能会报错.需要安装几个包才可以使用.

问题记录 发现服务器上跑的进程进场会卡死，必须要手动重启一下才行，一开始以为是服务器配置不行，但是后来一想，我之前运行的代码一直在跑着也没出什么事情，为啥这次就不行了呢？ 于是仔细地检查了一下，发现了一个问题。 可以持续运行的代码是只执行了一次puppeteer.lanuch，而不可以持续运行的代码是执行一次后关闭重启再执行，这样的话，启动可能会造成资源的浪

问题记录 在用nodejs向MySQL插入数据的时候，获取返回值发现insertid一直是0，然后再获取的时候会获得比最新小1的值，比如说最新插入的值为1122，获取的id就是1121。 后来发现是因为获取id的时候，没有等待query执行完成就获取id了，而我们应该等待query执行完成后再获取id，这样才能获取到当前id。 但是当时给query加上awa

前请提要 逛52论坛的时候，看到有人问为啥谷歌翻译会返回400 自己试了一下发现是因为传值格式才会返回400，下面简单讲一下自己的流程 简单测试 首先先去谷歌翻译的网站，看一下请求的流程 发现上面这个请求就是发送要翻译的内容，然后再获取返回值的请求 然后再看一下参数 之后简单写一个请求 发现返回值是400，很迷 解决 我当时其实以为的是会有什么检测，但是仔细

前情提要 最近加了个学妹，想看看她空间的照片，但是发现她设置的是只能看3天的内容。 不过可以在个人资料里看到图片，那么既然如此的话，我就有了一个大胆的想法，通过 Fiddler 抓包来看看能不能抓到照片的原图。 其实不抓包，只是看她的个人资料的话，也是可以的，截屏放大呗，但是肯定没有我们看原图的清晰不是。 准备 手机一部/安卓模拟器 QQ Fiddler 开

操作步骤 本来其实我是很懒很懒的，所以好久都没有更新网站了，没想到今天白天更新了一下，晚上又发现了一个很好的东西来进行更新，那就是题目。 目前抖音已经上线了网页版，那么我们想要爬取他的视频就不需要钻研安卓了，我们只需要通过 Python，来进行爬取就可以了。 https://www.douyin.com/https://www.douyin.com/ 这个是

实现思路 一开始是想通过 jQuery 来实现验证码功能的。也实现了。 但是发现不能很好的和 PHP 联动，我是想直接用 JavaScript 来判断是否正确而非进行提交，不能很好的达到我想要的效果，当然也可能是我没想到。 代码示例 简单上一下 jQuery 的代码，很简单，但是没有实现我想要的效果，所以放弃来使用 PHP 写。 其实 PHP 的思路和 Ja

实现思路 之前一直用的一个关于百度 API 提交的工具貌似不好用了，所以准备自己写一个。 其实感觉不好用可能是因为我的站点信息里看提交都是0。但大概率是百度自己出了问题，既然如此，那么还是重新写一个工具吧。 我们可以看百度自己的教程和示例： post 推送示例 POST /urls site=www.58.com&token=edk7ychrEZP9pDQD

操作步骤 今天闲的无聊，所以准备看看漫画，但是发现大多数的漫画一页一页翻，可能会来不及加载，但是确实是很想看接下来的内容，慢慢等的话确实有点难受。 所以准备用Python写一个爬虫，来爬取相关的资源，下载到本地，之后用键盘的左右键翻看就好了。大不了在爬取漫画的过程中干点别的。 因为那个网站有点不可描述，所以我就简单说下过程，不贴图了。 首先是分析一下这个漫画

操作步骤 今天发一下我之前写了一会的关于爬取传智播客习题的爬虫。目前来说，其实是因为最近期末，然后想要爬取一下题库里的题，然后做一个题库出来，之所以这样，是因为老师并没有公布答案！ 不过没想到传智播客居然是用 JavaScript 渲染的页面，而非普通的 HTML，难度很大对于初学者。 目前找到了想要的内容但是并不知道该如何爬取。 首先在这里右键查看一下源代

实现思路 没想到进阶版来的这么快，在发布了python爬取知乎盐选文章内容后，没想到居然这么快就要更新新的内容了。 在下午思考第一篇python爬取知乎盐选文章内容的时候，其实就把自动爬取目录内的其他内容的方法想出来了，但是本来没想这么快更新的，哈哈。 不过思来想去还是发出来吧，毕竟要不哪天就忘了。 代码示例 直接上一手代码，讲一下思路，首先先是获取文本内容

实现思路 今天我想分享一些关于SEO优化的基础知识，这些知识几乎每位SEO专业人员都会明白。一种SEO策略是在其他论坛上发布文章，首先发布一些具有技术性的文章，然后再发布自己网站的链接。最近，我在oschina论坛上发布了一些文章，但今天我没有太多新的内容要发布，所以我决定分享一段小代码，用于爬取我的oschina论坛内的链接和标题。这个过程非常简单，非常容

操作步骤 其实本来应该早一点发的，但是我用织梦后台编辑文章的时候，不小心点了网页的x号，于是乎，内容白写了，然后我又开始重新写了。 requests库，是一个第三方的Python库，用来模拟发送HTTP请求。它通常用于爬虫或接口的测试。与urllib等其他的系统库相比，虽然他们的功能相似，但是requests相对来说更简单、方便和高效。 首先我们先把这个re

问题复盘 差不多用了三天的空闲时间，把这个案例看完了一遍，并且实际操作了一下，其实难度确实不高，很适合我们这样的新人去操作。不过其实遇到了许多的问题，但大多都是我的问题，做的我是心态崩了。 今天最后做play按钮的时候，怎么也不出效果，把 gameactive 改为 False 就显示黑屏，而换成 True 显示内容但是没啥卵用，因为不是静态的。当时是真的不

实现记录 本来这篇文章我已经有思路了，并且其实已经写了一些了，但是因为有一些事情要去做，然后忘记这边还写得文章了，没保存直接关闭了。所以现在是我重新写的了！ 最近我是在看《Python从入门到实践》，看的比较快，已经到项目部分了，开始做飞船大战外星人这个基本上入门必学的案例了，但是还是遇到了许多的问题，不过幸好基本上全部解决了了。其实对编程最大的挑战，就是仔

问题排查 今天遇到的小问题！便对着书边敲代码，发现出现错误。python 外星人大战，飞船不移动。这个问题我首先是发去了吾爱，不过后期我自己解决了。如题，边看书边敲的代码，发现飞船不移动。求大佬帮忙看一下！主文件本来发现问题的时候是很慌的，我一开始是以为可能跟书上的内容不太一样，但是后来下了源代码发现确实应该那样。 处理方法 最后还是把书上的内容都复制下来，