Programy według ctokenizer.sf.net

CTokenizer akceptuje składnię języka C++ jako dane wejściowe i wyprowadza wektor obiektów CToken, które zawierają ciąg tokenu i typ tokenu a(n wyliczane), który następnie może służyć do analizowania danych wejściowych.