Você
O que significa “Tokenização”? Explique sem usar palavras técnicas.
Glossáriofundamentos
Tokenização
Processo de dividir texto em unidades menores (tokens) para que o computador possa processar a informação.
Explicação
A tokenização é o primeiro passo de qualquer sistema de inteligência artificial que lida com texto. É o processo de transformar frases em listas de números.
Sem este processo, o computador não teria uma forma de interpretar a linguagem humana, pois os modelos de IA funcionam apenas com dados numéricos.
Exemplo
Quando escreve uma pergunta num assistente, o sistema aplica a tokenização para converter a sua frase num formato que o modelo consegue ler.
Fontes de referência
Como pedir uma explicação sobre “Tokenização”
Uma boa conversa começa com um pedido simples. Depois, peça um exemplo e confirme se percebeu.
Lembre-se: Se o termo aparecer numa decisão importante, confirme o significado e o contexto na fonte indicada nesta página.