2. Лексический анализ |
||
| Основная задача лексического анализа - разбить входной текст, состоящий из последовательности одиночных символов, на последовательность слов, или лексем, т.е. выделить эти слова из непрерывной последовательности символов. Лексический анализатор иногда называют сканеромю Все символы входной последовательности с этой точки зрения разделяются насимволы, принадлежащие каким-либо лексемам, и символы, разделяющие лексемы (разделители) обычно все лексемы делятся на классы. | ||