Análise léxica

A análise léxica foi feita através da linguagem de programação do JavaCC. Através da classe CompiladorSlothTokenManager criada pelo próprio JavaCC ele vai descobrindo qual é o próximo token de uma cadeia de caracteres.

Antes de declarar os tokens podem ser informados quais caracteres serão ignorados pelo analisador semântico. Eesse caracteres não são ignorados pelos tokens. Esses caracteres são declarados da seguinte maneira:

SKIP:
{
    caractere
}

Na linguagem do JavaCC os Tokens são declarados da segunte maneira:

TOKEN:
{
    <nome: expressaoRegular>
}

Antes do nome é possivel colocar um hash (#) para indicar que este token é privado. Um token privado só pode ser utilizado por outros tokens. Os tokens privados utilizados são tokens que representa o alfabeto da linguagem, tokens como <#LETRA> e <#DIGITO>.