| 
经常采集一页两页就停下来了 完整的解决方案如下:  接下来不报502错误了,开始报504错误;继续搜寻在线支持,未找到相关信息只提到了nginx容器可能有问题。其实504错误主要由于nginx超时造成的,修改其配置文件即可
 编辑 /etc/nginx/nginx.conf 在 http 段添加如下代码,如果有这些设置了就更改对应的值 ...
 
 http{
...
fastcgi_connect_timeout 1800;
fastcgi_send_timeout 1800;
fastcgi_read_timeout 1800;
fastcgi_buffer_size 1024k;
fastcgi_buffers 32 1024k;
fastcgi_busy_buffers_size 2048k;
fastcgi_temp_file_write_size 2048k;
...
  至此解决了报错的问题,采用批量采集源方式,手工更新采集 20页*25篇 = 500篇文章正常执行,耗时2个小时。
  |