Зміст:
Визначення - Що означає лексичний аналіз?
Лексичний аналіз - це поняття, яке застосовується до інформатики дуже схожим чином, що воно застосовується до лінгвістики. По суті, лексичний аналіз означає групування потоку букв чи звуків у набори одиниць, які представляють змістовний синтаксис. У лінгвістиці його називають синтаксичним розбором, а в інформатиці його можна назвати синтаксичним чи токенізуючим.
Техопедія пояснює лексичний аналіз
Ідея лексичного аналізу в інформатиці полягає в тому, що лексичний аналіз розбиває потоки в "лексеми", де лексема являє собою основну одиницю значення. Токени з'єднані таким чином, що компілятор мови повинен повернутися назад та виділити їх, щоб реалізувати правильні інструкції з обчислень. В основному, і люди, і комп'ютери роблять лексичний аналіз, але комп'ютери роблять це інакше, і набагато технічнішим чином. Те, як комп'ютери роблять лексичний аналіз, не потребує прозорості для людини - його просто потрібно запрограмувати в обчислювальну систему. Програми, які роблять лексичний аналіз в інформатиці, часто називають лексемами, токенізаторами або сканерами.
