افزایش قابلیت جستجوی پیام‌های چینی در تلگرام
نتیجه‌گیری
برای بهبود اثربخشی جستجوی پیام‌های چینی در تلگرام، می‌توان با قرار دادن دستی جداکننده‌های نامرئی یا توسعه یک Tokenizer سفارشی به این هدف دست یافت. علاوه بر این، استفاده از فناوری هوش مصنوعی برای جستجوی معنایی نیز می‌تواند دقت جستجو را به طور قابل توجهی افزایش دهد.
نکات کلیدی
- پایگاه داده تلگرام: تلگرام از SQLite به عنوان پایگاه داده خود استفاده می‌کند.
- مکانیزم جستجوی تمام متن: قابلیت جستجوی تمام متن تلگرام، رشته‌ها را با استفاده از Tokenizer به عبارت‌های کوتاه تقسیم می‌کند، مقادیر هش تولید می‌کند و هنگام جستجو آنها را با جدول هش مقایسه می‌کند.
- سازنده Token: سازنده Token برای تقسیم رشته‌ها به جداکننده‌ها و تفکیک‌کننده‌ها وابسته است.
- تعریف Token: محتوای خارج از جداکننده‌ها و تفکیک‌کننده‌ها به عنوان «Token» در نظر گرفته می‌شود و شامل سه نوع است: حروف بزرگ (*)، اعداد (N) و سایر کاراکترها (Co).
- پردازش کاراکترهای CJK: بیشتر کاراکترهای چینی، ژاپنی و کره‌ای (CJK) به عنوان Token شناخته می‌شوند.
به دلیل عدم وجود جداکننده بین کاراکترهای چینی، تلگرام کل رشته کاراکترهای چینی را هش می‌کند که منجر به اثربخشی پایین جستجو می‌شود. این مقاله محدودیت‌های جستجوی پیام‌های چینی در تلگرام را از منظر کد به تفصیل بررسی می‌کند.
پیشنهادهای بهبود
- قرار دادن دستی جداکننده‌ها: جداکننده‌های نامرئی را به صورت دستی بین کاراکترهای چینی اضافه کنید تا اثربخشی جستجو بهبود یابد.
- Tokenizer سفارشی: یک Tokenizer سفارشی توسعه دهید و کلاینت تلگرام را تغییر دهید تا قابلیت جستجو بهبود یابد.
جستجوی معنایی با هوش مصنوعی
علاوه بر روش‌های جستجوی سنتی، معرفی هوش مصنوعی راه‌حل بهتری برای جستجوی معنایی ارائه می‌دهد. پروژه telegram-search از مدل‌های جاسازی (embedding) استفاده می‌کند که به کاربران امکان می‌دهد حتی بدون مطابقت دقیق کلمات کلیدی، محتوای مورد نیاز خود را پیدا کنند. به عنوان مثال، با وارد کردن «آن شخصی که دیشب غذا خورد»، می‌توان «مردی که دیشب با ما غذا خورد» را جستجو کرد.