array ( 0 => 'index.php', 1 => 'PHP Manual', ), 'head' => array ( 0 => 'UTF-8', 1 => 'ja', ), 'this' => array ( 0 => 'book.tokenizer.php', 1 => 'Tokenizer', 2 => 'Tokenizer', ), 'up' => array ( 0 => 'refs.basic.other.php', 1 => 'その他の基本モジュール', ), 'prev' => array ( 0 => 'function.tidy-warning-count.php', 1 => 'tidy_warning_count', ), 'next' => array ( 0 => 'tokenizer.setup.php', 1 => 'インストール/設定', ), 'alternatives' => array ( ), 'source' => array ( 'lang' => 'ja', 'path' => 'reference/tokenizer/book.xml', ), 'history' => array ( ), 'extra_header_links' => array ( 'rel' => 'alternate', 'href' => '/manual/en/feeds/book.tokenizer.atom', 'type' => 'application/atom+xml', ), ); $setup["toc"] = $TOC; $setup["toc_deprecated"] = $TOC_DEPRECATED; $setup["parents"] = $PARENTS; manual_setup($setup); contributors($setup); ?>

Tokenizer

はじめに

tokenizer 関数は、Zend Engine に組み込まれた PHP tokenizer へのインターフェイスを提供します。以下の関数により、 字句解析レベルの言語処理を行うことなく、 PHP ソースを解析/修正するツールを作成することが可能となります。

トークンに関する付録も参照ください。