Amélioration de la recherche de messages en chinois dans Telegram

Conclusion

Pour améliorer l'efficacité de la recherche de messages en chinois dans Telegram, il est possible d'insérer manuellement des séparateurs invisibles ou de développer un analyseur lexical (tokenizer) personnalisé. En outre, l'utilisation de la recherche sémantique basée sur l'IA peut considérablement augmenter la précision des résultats.

Points clés

Base de données Telegram : Telegram utilise SQLite comme base de données.
Mécanisme de recherche plein texte : La fonction de recherche plein texte de Telegram découpe les chaînes de caractères en phrases (ou "tokens") à l'aide d'un analyseur lexical, génère des valeurs de hachage, et les compare à une table de hachage lors de la recherche.
Générateur de jetons (tokenizer) : Le générateur de jetons s'appuie sur des séparateurs et des délimiteurs pour découper les chaînes de caractères.
Définition des jetons : Le contenu en dehors des séparateurs et des délimiteurs est considéré comme un "jeton", incluant trois types : les lettres majuscules ( * ), les chiffres ( N ), et d'autres caractères ( Co ).
Traitement des caractères CJK : La plupart des caractères chinois, japonais et coréens (CJK) appartenant à l'Unicode CJK sont reconnus comme des jetons.

Étant donné l'absence de séparateurs entre les caractères chinois, Telegram hache des chaînes entières d'idéogrammes, ce qui rend la recherche moins efficace. Cet article explore en profondeur les limitations de la recherche de messages en chinois dans Telegram, du point de vue du code.

Suggestions d'amélioration

Insertion manuelle de séparateurs : Ajouter manuellement des séparateurs invisibles entre les caractères chinois pour améliorer l'efficacité de la recherche.
Analyseur lexical personnalisé : Développer un analyseur lexical (tokenizer) personnalisé et modifier le client Telegram pour renforcer la fonctionnalité de recherche.

Recherche sémantique par IA

Outre les méthodes de recherche traditionnelles, l'introduction de l'IA offre une meilleure solution pour la recherche sémantique. Le projet telegram-search utilise des modèles d'intégration (embedding models), permettant aux utilisateurs de trouver le contenu souhaité même sans mots-clés correspondants exacts. Par exemple, la saisie de « la personne qui a dîné hier soir » peut permettre de trouver « l'homme qui a dîné avec nous hier soir ».

Grâce aux méthodes ci-dessus, l'expérience de recherche des messages en chinois dans Telegram peut être considérablement améliorée.