Otimizar a Capacidade de Pesquisa de Mensagens em Chinês no Telegram

Conclusão

Para melhorar o desempenho da pesquisa de mensagens em chinês no Telegram, é possível recorrer à inserção manual de delimitadores invisíveis ou ao desenvolvimento de um "tokenizer" personalizado. Além disso, a utilização de tecnologia de IA para pesquisa semântica pode aumentar significativamente a precisão da pesquisa.

Pontos Chave

Base de Dados do Telegram: O Telegram utiliza SQLite como a sua base de dados.
Mecanismo de Pesquisa de Texto Completo: A funcionalidade de pesquisa de texto completo do Telegram segmenta as "strings" em frases através de um "tokenizer", gera valores de "hash" e compara-os com uma tabela de "hash" durante a pesquisa.
Gerador de "Tokens": O gerador de "tokens" depende de separadores e delimitadores para segmentar as "strings".
Definição de "Token": O conteúdo que não é um separador ou delimitador é considerado um "token", incluindo três tipos: letras maiúsculas (*), números (N) e outros caracteres (Co).
Processamento de Caracteres CJK: A maioria dos caracteres CJK (Chinês, Japonês, Coreano) em Unicode são reconhecidos como "tokens".

Devido à ausência de delimitadores entre os caracteres chineses, o Telegram processa sequências inteiras de caracteres chineses através de "hashing", resultando num desempenho de pesquisa insatisfatório. Este artigo explora em profundidade as limitações da pesquisa de mensagens em chinês no Telegram a partir de uma perspetiva de código.

Sugestões de Melhoria

Inserção Manual de Delimitadores: Adicionar manualmente delimitadores invisíveis entre os caracteres chineses para melhorar o desempenho da pesquisa.
"Tokenizer" Personalizado: Desenvolver um "tokenizer" personalizado e modificar o cliente Telegram para aprimorar a funcionalidade de pesquisa.

Pesquisa Semântica com IA

Além dos métodos de pesquisa tradicionais, a introdução da IA oferece uma solução melhor para a pesquisa semântica. O projeto telegram-search utiliza modelos de incorporação ("embedding models"), permitindo que os utilizadores encontrem o conteúdo desejado mesmo sem corresponderem a palavras-chave exatas. Por exemplo, ao pesquisar por "a pessoa que jantou ontem à noite", é possível encontrar "o homem que jantou connosco ontem à noite".

Através dos métodos acima, a experiência de pesquisa de mensagens em chinês no Telegram pode ser significativamente melhorada.