طابور التنزيل
تنزيل ملفات كثيرة والتحقق منها وتسليمها مع سقف للتخزين المؤقت واستئناف بعد الانقطاع.
awb queue run queue.tsv
الملف TSV، سطر لكل ملف:
https://example.org/a.pdf 1048576 books/a.pdf سبب الإضافة
الأعمدة: الرابط، الحجم (0 إن جُهل)، المسار الهدف (نسبي بلا ..)، السبب.
المراحل#
- التنزيل: يعمل عدد من الملفات معًا (
jobs) بـaria2cوعدة اتصالات لكل ملف، ثمcurlأو بايثون إن رفض الخادم. - التحقق: الحجم، وبداية الملف (
verify_magic = "%PDF")، ونهايته (verify_tail = "%%EOF")، وأمر تحدده (verify_cmd = "pdfinfo {file}"). - التسليم: إلى مجلد، أو
rclone، أو أمر تحدده (deliver_cmd = "scp {src} host:{dst}")، ويمكن أخذ قفل ملف حول كل تسليم.
سقف التخزين المؤقت stage_gb لا يُتجاوز، وأقل مساحة حرة min_free_gb لا يُنزَل دونها.
الاستئناف#
يُسجَّل المنتهي في .workbench/queue/<اسم>.done والفاشل مع سببه في .failed. أعد تشغيل الأمر نفسه فيتابع من حيث
توقف، ولا يعيد ما تمّ.
[queue]
jobs = 12
connections = 8
stage_gb = 6
deliver = "local"
deliver_to = "downloads"
verify_magic = "%PDF"