توحيد الإملاء للبحث
كيف تجعل «الإمام» و«الامام» و«ﺍﻹﻣﺎﻡ» كلمة واحدة في البحث دون أن تفقد النص الأصلي.
تكتب الفهارس الكلمة الواحدة بصور كثيرة: بالهمزة وبدونها، وبالتاء المربوطة أو الهاء، وبالتشكيل أو مجردة، والنص المنسوخ من ملفات PDF يأتي أحيانًا بـ«الأشكال العرضية» (ﺟﻬﺎﺩ) التي تبدو صحيحة ولا يجدها البحث.
ثلاثة ملفات تعريف#
| الملف | ماذا يفعل | مثال |
|---|---|---|
search |
يوحّد كل الصور للبحث | «الإمامُ أبو حامدٍ» ← «الامام ابو حامد» |
display |
ينظّف للعرض دون أن يغيّر الحروف | «مكتبــة المعارف ،الرباط» ← «مكتبة المعارف، الرباط» |
loose |
كالبحث، ويُسقط «ال» و«و» العطف أول الكلمة | «والكتاب الأول» ← «كتاب اول» |
arabic-bib normalize "الإِمامُ أبو حامدٍ الغزاليّ"
arabic-bib normalize --profile display "مكتبــة المعارف ،الرباط"
ويقرأ الأمر الأسطر من الإدخال القياسي، فيمكن توحيد ملف كامل:
arabic-bib normalize < titles.txt > titles-key.txt
ما الذي يوحّده ملف البحث؟#
يحذف التشكيل والتطويل، ويجعل «أ إ آ ٱ» ألفًا، و«ة» هاءً، و«ى» ياءً، و«ؤ» واوًا، و«ئ» ياءً، ويحذف الهمزة المفردة، ويحوّل الأشكال العرضية والياء والكاف الفارسيتين إلى حروفها العربية، والأرقام الهندية إلى أرقام عربية غربية، ويحذف علامات الاتجاه الخفية.
البحث بالموحَّد والعرض بالأصل#
في بايثون، تعيد normalize_mapped النص الموحَّد ومعه موضع كل حرف في الأصل، فتلوّن نتيجة البحث في الكلمة كما طُبعت:
from arabic_bib import normalize_mapped
m = normalize_mapped("قالَ الإمامُ أبو حامدٍ الغزاليّ")
[m.original[a:b] for a, b in m.find("ابو حامد")] # ['أبو حامدٍ']
مفاتيح الفهرسة ثابتة
الدالتان title_key وauthor_key تبنيان مفتاح العنوان والمؤلف بقاعدة مجمّدة («المفاتيح، الإصدار الأول») لا تتغير
أبدًا، لأن أدوات أخرى تحفظ معرّفات مبنية عليها. أما search_key فقد تتحسن مع الإصدارات.