OO-tokenizer implementatie

Crosspost van PHPFreakz.nl:

Ik zit redelijk vaak te werken met de tokenizer van PHP (token_get_all, token_name), en ik erger me steeds mateloos aan dat ik constant moet kijken of het een array is, of het dit of dat is, enzovoorts.

Ik heb dus een simpele uitwerking hiervan gemaakt, compleet Objectgeoriënteerd, zodat ik het ook makkelijk kan gebruiken in mijn eigen kleine projectjes (denk aan een shortifier of beautifier).

Ik heb een (gigantische) uitwerking van de highlighting in PHP erbij gemaakt als voorbeeld, waaruit dus blijkt wat de kracht hiervan is.

De uitvoer daarvan is overigens XHTML Strict-valid, dus mocht je het willen gebruiken (ik raad het af i.v.m. performance, maar het werkt) zal dat dus geen problemen opleveren.

Anyway, genoeg informatie, uitleg staat grotendeels in de code, vragen/complimenten/opmerkingen (graag)/verbeterpunten (nog liever)/hatemail mag natuurlijk altijd.