全球主机交流论坛

标题: 苹果cms 采集很慢 [打印本页]

作者: sertt 时间: 2024-7-17 11:42
标题: 苹果cms 采集很慢
换了一台cpu跑分高的机器，结果感觉采集更慢了，一页20条，要跑半分钟。

还是直接下载图片到本地，没传图床，也没压缩，不然要更久。

有大佬指点一下吗，学习中

作者: 米尼科技 时间: 2024-7-17 11:42
我用vps都没这个速度几秒切换一页。你这自检一下吧

作者: sertt 时间: 2024-7-17 11:45

米尼科技发表于 2024-7-17 11:42
我用vps都没这个速度几秒切换一页。你这自检一下吧

大佬这个咋检查呀，我各种试也没找到原因。机器资源占用也很低

作者: kucn 时间: 2024-7-17 11:47
跑分高不一定采集快，还有就是资源站不给力，或不要同时采集又下载图片。你可以用自己的电脑采了在上传到小鸡啊。

作者: server0608 时间: 2024-7-17 11:56
我一秒一页

作者: sertt 时间: 2024-7-17 11:58

kucn 发表于 2024-7-17 11:47
跑分高不一定采集快，还有就是资源站不给力，或不要同时采集又下载图片。你可以用自己的电脑采了在上传到小 ...

用火车头吗，那还得自己搞规则和入库吗。还是有现成直接用的方法

作者: sertt 时间: 2024-7-17 12:00

server0608 发表于 2024-7-17 11:56
我一秒一页

vps上吗这么吊，采集的哪家我也试试

作者: 她说吞过他的它 时间: 2024-7-17 12:56

作者: kucn 时间: 2024-7-17 13:33

sertt 发表于 2024-7-17 11:58
用火车头吗，那还得自己搞规则和入库吗。还是有现成直接用的方法

就是CMS自己采啊。

作者: soyeo 时间: 2024-7-17 13:43
采集后再图片本地化

作者: huifukejian 时间: 2024-7-17 15:44
爬虫还是python给力

作者: xiao5 时间: 2024-7-17 15:54
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

作者: ceft 时间: 2024-7-17 16:30

xiao5 发表于 2024-7-17 15:54
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

我也是这么干的一次开20个网页修改 page 后面的参数大概20分钟可以采 3000左右

作者: sertt 时间: 2024-7-17 16:31

xiao5 发表于 2024-7-17 15:54
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

谢谢大佬，我现在不同步图片就快了。图片等后边再同步

作者: sertt 时间: 2024-7-17 16:33

ceft 发表于 2024-7-17 16:30
我也是这么干的一次开20个网页修改 page 后面的参数大概20分钟可以采 3000左右 ...

吊，我开6个 cpu就满了，图就同步失败

作者: ceft 时间: 2024-7-17 16:35

sertt 发表于 2024-7-17 16:33
吊，我开6个 cpu就满了，图就同步失败

先采集资源采集完以后开一台win 慢慢跑图片

作者: llyy 时间: 2024-7-17 16:38
提示: 作者被禁止或删除内容自动屏蔽

作者: sertt 时间: 2024-7-17 16:51

llyy 发表于 2024-7-17 16:38
你们图片都放本地的吗直接用采集站的图不行吗

一个是慢，一个是失效了难受了。我现在放阿里云oss 上，每个月有100G 免费流出。不知道其他人咋搞的

作者: 花菜大魔王 时间: 2024-7-17 18:37
来买我的高清资源

作者: server0608 时间: 2024-7-18 09:34

sertt 发表于 2024-7-17 12:00
vps上吗这么吊，采集的哪家我也试试

付费采集，官解

作者: hins 时间: 2024-7-18 15:09
先别同步图片，等采集完了再同步图片到本地

作者: hins 时间: 2024-7-18 15:10

ceft 发表于 2024-7-17 16:30
我也是这么干的一次开20个网页修改 page 后面的参数大概20分钟可以采 3000左右 ...

线程大容易被资源站封ip

作者: ceft 时间: 2024-7-18 16:02

hins 发表于 2024-7-18 15:10
线程大容易被资源站封ip

三蛋空间随便他封等他发现我差不多都采集完了数据库导出或者找管理解封一下

欢迎光临全球主机交流论坛 (https://hostloc-workers.ikyomon.com/)