Wat we geleerd hebbenWe hebben geleerd dat Lex in staat is om willekeurige invoer te lezen, en te bepalen wat ieder onderdeel van de invoer is. Dit wordt `tokenizering' genoemd.