| |
Примерами
типов лексем являются числа (целые, восьмеричные,
шестнадцатиричные, действительные и т.д.), идентификаторы,
комментарии, операнды. Отдельно выделяются ключевые слова и
символы пунктуации (иногда их называют символы-ограничители).).
Как правило, ключевые слова - это некоторое конечное
подмножество идентификаторов.Другие типы идентификаторов – имена
переменных. В некоторых языках (например, ПЛ/1) смысл лексемы
может зависеть от ее контекста и невозможно провести лексический
анализ в отрыве от синтаксического. Как приавило строятся
таблицы объектов – идентификаторов, констант, ключевых слов и
т.д . Комментарии выбрасываются.
Работа лексического анализатора описывается с помощью
детерминированных конечных автоматов. Однако непосредственное
описание конечного автомата не всегда удобно, поэтому часто
применяют регулярные выражения.
|
|