Tokenizer

简介

tokenizer 函数为嵌入在 Zend 引擎中的 PHP tokenizer 提供了接口。使用这些函数，可以编写自己的 PHP 源代码分析或修改工具，而无需在词法级别处理语言规范。

安装/配置
- 安装
预定义常量
示例
PhpToken — The PhpToken class
- PhpToken::__construct — Returns a new PhpToken object
- PhpToken::getTokenName — Returns the name of the token.
- PhpToken::is — Tells whether the token is of given kind.
- PhpToken::isIgnorable — Tells whether the token would be ignored by the PHP parser.
- PhpToken::__toString — Returns the textual content of the token.
- PhpToken::tokenize — Splits given source into PHP tokens, represented by PhpToken objects.
Tokenizer 函数
- token_get_all — 将提供的源码按 PHP 标记进行分割
- token_name — 获取提供的 PHP 解析器代号的符号名称