ورّاق

الرئيسية agent-workbench

طابور التنزيل

تنزيل ملفات كثيرة والتحقق منها وتسليمها مع سقف للتخزين المؤقت واستئناف بعد الانقطاع.

awb queue run queue.tsv

الملف TSV، سطر لكل ملف:

https://example.org/a.pdf   1048576 books/a.pdf سبب الإضافة

الأعمدة: الرابط، الحجم (0 إن جُهل)، المسار الهدف (نسبي بلا ..)، السبب.

المراحل#

  1. التنزيل: يعمل عدد من الملفات معًا (jobs) بـ aria2c وعدة اتصالات لكل ملف، ثم curl أو بايثون إن رفض الخادم.
  2. التحقق: الحجم، وبداية الملف (verify_magic = "%PDF")، ونهايته (verify_tail = "%%EOF")، وأمر تحدده (verify_cmd = "pdfinfo {file}").
  3. التسليم: إلى مجلد، أو rclone، أو أمر تحدده (deliver_cmd = "scp {src} host:{dst}")، ويمكن أخذ قفل ملف حول كل تسليم.

سقف التخزين المؤقت stage_gb لا يُتجاوز، وأقل مساحة حرة min_free_gb لا يُنزَل دونها.

الاستئناف#

يُسجَّل المنتهي في .workbench/queue/<اسم>.done والفاشل مع سببه في .failed. أعد تشغيل الأمر نفسه فيتابع من حيث توقف، ولا يعيد ما تمّ.

[queue]
jobs = 12
connections = 8
stage_gb = 6
deliver = "local"
deliver_to = "downloads"
verify_magic = "%PDF"

حرّر هذه الصفحة