در مهندسی سیستمهای RAG، انتخاب بین جستجوی دقیق کلمات و درک عمیق مفاهیم، دو رویکرد کاملا متفاوت را به وجود آورده است. در یک سو الگوریتم استاندارد BM25 برای جستجوی لغوی (Lexical) قرار دارد و در سوی دیگر، موتور قدرتمند FAISS برای جستجوی معنایی (Semantic) ایفای نقش میکند. درک تفاوتها و محدودیتهای این دو روش، کلید طراحی یک موتور جستجوی بینقص و کارآمد سازمانی است.
[برگرد بالا]
این الگوریتم که نسخهی تکاملیافته TF-IDF است، متن را بدون درک گرامر و معنا بررسی کرده و صرفا بر اساس احتمالات و آمار تکرار کلمات عمل میکند. قدرت اصلی BM25 در دو ویژگی «اشباع فرکانس» برای جلوگیری از امتیازدهی کاذب به تکرار بیش از حد یک کلمه، و «نرمالسازی طول سند» برای ارزشگذاری بیشتر به کلماتِ یافتشده در متون کوتاهتر نهفته است. این مکانیزمها باعث میشوند تا BM25 برای یافتن دادههای دقیقی مانند کدهای خطا، ایمیلها و شناسههای محصول بینظیر باشد، هرچند که وابستگی شدید آن به دایره لغات کاربر باعث میشود در برابر مترادفها کاملا نابینا عمل کند.
[برگرد بالا]
در رویکرد جستجوی معنایی، متون توسط مدلهای زبانی به بردارهای متراکم ریاضی تبدیل شده و مفاهیم مشابه از نظر هندسی در نزدیکی یکدیگر قرار میگیرند. در این میان، FAISS به عنوان یک کتابخانه بهینهسازی شده (و نه یک مدل هوش مصنوعی)، وظیفهی جستجو و خوشهبندی فوقسریع در میان این بردارهای عظیم را بر عهده دارد. این روش برای پاسخ به سوالات مفهومی و زبان طبیعی عالی است و حتی بدون اشتراک کلمهای، منظور کاربر را میفهمد. اما نقطهی ضعف بزرگ آن ناتوانی در تشخیص تفاوتهای ظریف اعداد و شناسههای دقیق است که میتواند داکیومنتهای نامرتبطِ دارای ساختار مشابه را به اشتباه پیشنهاد دهد.
[برگرد بالا]
از آنجا که نقطهی قوت هر روش، دقیقا ضعف روش دیگر را پوشش میدهد، سیستمهای مدرن به سمت معماری جستجوی ترکیبی یا هیبریدی حرکت کردهاند. در این ساختار، درخواست کاربر همزمان برای هر دو موتور ارسال میشود و چالش اصلی که تفاوت مقیاس امتیازدهی این دو سیستم است، توسط الگوریتم Reciprocal Rank Fusion یا RRF برطرف میگردد. این الگوریتم با تمرکز بر جایگاه و رتبه اسناد به جای امتیاز خام آنها، خروجیها را یکپارچه و نرمالسازی میکند. نتیجه این همافزایی، سیستمی است که هم ظرافت زبان طبیعی را درک میکند و هم در یافتن شناسههای خاص با نهایت دقت و وسواس عمل مینماید.