test_tokenize.py

来自「mallet是自然语言处理、机器学习领域的一个开源项目。」· Python 代码 · 共 10 行

from test_support import verbose, findfile
import tokenize, os, sys

if verbose:
    print 'starting...'
file = open(findfile('tokenize_tests'+os.extsep+'py'))
tokenize.tokenize(file.readline)
if verbose:
    print 'finished'