python-rqワーカーは自動的に閉じます

さて、私は問題を理解しました。ワーカーのタイムアウトが原因でした。

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

したがって、私のコードによれば、各ドメインから200のURLがフェッチされると、次のドメインがデキューされます。ただし、一部のドメインでは、条件を終了するためのURLの数が不十分でした（1つまたは2つのURLのみなど）。

コードはすべての例外をキャッチし、error.txtに追加するため ファイル。 rqタイムアウト例外rq.timeouts.JobTimeoutExceptionでさえ キャッチされ、ファイルに追加されました。したがって、ワーカーをxで待機させる 労働者の解雇につながる時間。