Подобряване на възможностите за търсене на съобщения на китайски език в Telegram
Заключение
За да се подобри ефективността на търсенето на съобщения на китайски език в Telegram, това може да се постигне чрез ръчно вмъкване на невидими разделители или чрез разработване на персонализиран Tokenizer. Освен това, използването на AI технологии за семантично търсене също може значително да подобри точността на търсенето.
Ключови моменти
- База данни на Telegram: Telegram използва SQLite като своя база данни.
- Механизъм за пълнотекстово търсене: Функцията за пълнотекстово търсене на Telegram използва Tokenizer за разделяне на низове на фрази и генерира хеш стойности, които при търсене се сравняват с хеш таблица.
- Генератор на токени: Генераторът на токени разчита на разделители и ограничители, за да раздели низове.
- Дефиниция на токен: Съдържанието извън разделителите и ограничителите се счита за „токен“, включително три типа: главни букви (*), цифри (N) и други символи (Co).
- Обработка на CJK символи: Повечето CJK символи в Unicode се разпознават като токени.
Тъй като между китайските йероглифи няма разделители, Telegram хешира целия низ от йероглифи, което води до неефективно търсене. Тази статия задълбочено разглежда ограниченията на търсенето на съобщения на китайски език в Telegram от гледна точка на кода.
Препоръки за подобрение
- Ръчно вмъкване на разделители: Ръчно добавяне на невидими разделители между китайските йероглифи за подобряване на ефективността на търсенето.
- Персонализиран Tokenizer: Разработване на персонализиран Tokenizer, модифициращ клиента на Telegram за подобряване на функцията за търсене.
Семантично търсене с AI
Освен традиционните методи за търсене, въвеждането на AI предлага по-добро решение за семантично търсене. Проектът telegram-search използва модел за вграждане, което позволява на потребителите да намират желаното съдържание, дори без точно съвпадащи ключови думи. Например, въвеждайки „昨晚吃饭的那个人“ (човекът, с когото вечеряхме снощи), може да се намери „昨天晚上和我们一起吃饭的男的“ (мъжът, който вечеря с нас снощи).