test.tagged

Hieu Xuan Phan & Minh Le Nguyen 利用CRF统计模型写的可用于英文命名实体识别、英文分词的工具（开放源码）。CRF模型最早由Lafferty提出

w:-2:by #w:-1:the #w:0:death w:1:of w:2:william #ww:-1:0:the:death ww:0:1:death:of p:-2:in #p:-1:dt #p:0:nn p:1:in p:2:nnp pp:-2:-1:in:dt #pp:-1:0:dt:nn pp:0:1:nn:in pp:1:2:in:nnp ppp:-2:-1:0:in:dt:nn ppp:-1:0:1:dt:nn:in pppw:-1:0:1:0:dt:nn:in:death ppp:0:1:2:nn:in:nnp #pw:-1:-1:dt:the #pw:0:0:nn:death #ppw:-1:0:-1:dt:nn:the #ppw:-1:0:0:dt:nn:death #pww:-1:0:-1:the:death:dt #pww:-1:0:0:the:death:nn i-np
w:-2:the #w:-1:death #w:0:of w:1:william w:2:sobey #ww:-1:0:death:of ww:0:1:of:william p:-2:dt #p:-1:nn #p:0:in p:1:nnp p:2:nnp pp:-2:-1:dt:nn #pp:-1:0:nn:in pp:0:1:in:nnp pp:1:2:nnp:nnp ppp:-2:-1:0:dt:nn:in ppp:-1:0:1:nn:in:nnp pppw:-1:0:1:0:nn:in:nnp:of ppp:0:1:2:in:nnp:nnp #pw:-1:-1:nn:death #pw:0:0:in:of #ppw:-1:0:-1:nn:in:death #ppw:-1:0:0:nn:in:of #pww:-1:0:-1:death:of:nn #pww:-1:0:0:death:of:in o
w:-2:death #w:-1:of #w:0:william w:1:sobey w:2:last #ww:-1:0:of:william ww:0:1:william:sobey p:-2:nn #p:-1:in #p:0:nnp p:1:nnp p:2:jj pp:-2:-1:nn:in #pp:-1:0:in:nnp pp:0:1:nnp:nnp pp:1:2:nnp:jj ppp:-2:-1:0:nn:in:nnp ppp:-1:0:1:in:nnp:nnp pppw:-1:0:1:0:in:nnp:nnp:william ppp:0:1:2:nnp:nnp:jj #pw:-1:-1:in:of #pw:0:0:nnp:william #ppw:-1:0:-1:in:nnp:of #ppw:-1:0:0:in:nnp:william #pww:-1:0:-1:of:william:in #pww:-1:0:0:of:william:nnp b-np
w:-2:of #w:-1:william #w:0:sobey w:1:last w:2:may #ww:-1:0:william:sobey ww:0:1:sobey:last p:-2:in #p:-1:nnp #p:0:nnp p:1:jj p:2:nnp pp:-2:-1:in:nnp #pp:-1:0:nnp:nnp pp:0:1:nnp:jj pp:1:2:jj:nnp ppp:-2:-1:0:in:nnp:nnp ppp:-1:0:1:nnp:nnp:jj pppw:-1:0:1:0:nnp:nnp:jj:sobey ppp:0:1:2:nnp:jj:nnp #pw:-1:-1:nnp:william #pw:0:0:nnp:sobey #ppw:-1:0:-1:nnp:nnp:william #ppw:-1:0:0:nnp:nnp:sobey #pww:-1:0:-1:william:sobey:nnp #pww:-1:0:0:william:sobey:nnp i-np
w:-2:william #w:-1:sobey #w:0:last w:1:may w:2:. #ww:-1:0:sobey:last ww:0:1:last:may p:-2:nnp #p:-1:nnp #p:0:jj p:1:nnp p:2:. pp:-2:-1:nnp:nnp #pp:-1:0:nnp:jj pp:0:1:jj:nnp pp:1:2:nnp:. ppp:-2:-1:0:nnp:nnp:jj ppp:-1:0:1:nnp:jj:nnp pppw:-1:0:1:0:nnp:jj:nnp:last ppp:0:1:2:jj:nnp:. #pw:-1:-1:nnp:sobey #pw:0:0:jj:last #ppw:-1:0:-1:nnp:jj:sobey #ppw:-1:0:0:nnp:jj:last #pww:-1:0:-1:sobey:last:nnp #pww:-1:0:0:sobey:last:jj b-np
w:-2:sobey #w:-1:last #w:0:may w:1:. #ww:-1:0:last:may ww:0:1:may:. p:-2:nnp #p:-1:jj #p:0:nnp p:1:. pp:-2:-1:nnp:jj #pp:-1:0:jj:nnp pp:0:1:nnp:. ppp:-2:-1:0:nnp:jj:nnp ppp:-1:0:1:jj:nnp:. pppw:-1:0:1:0:jj:nnp:.:may #pw:-1:-1:jj:last #pw:0:0:nnp:may #ppw:-1:0:-1:jj:nnp:last #ppw:-1:0:0:jj:nnp:may #pww:-1:0:-1:last:may:jj #pww:-1:0:0:last:may:nnp i-np
w:-2:last #w:-1:may #w:0:. #ww:-1:0:may:. p:-2:jj #p:-1:nnp #p:0:. pp:-2:-1:jj:nnp #pp:-1:0:nnp:. ppp:-2:-1:0:jj:nnp:. #pw:-1:-1:nnp:may #pw:0:0:.:. #ppw:-1:0:-1:nnp:.:may #ppw:-1:0:0:nnp:.:. #pww:-1:0:-1:may:.:nnp #pww:-1:0:0:may:.:. o

#w:0:mr. w:1:carlucci w:2:, ww:0:1:mr.:carlucci #p:0:nnp p:1:nnp p:2:, pp:0:1:nnp:nnp pp:1:2:nnp:, ppp:0:1:2:nnp:nnp:, #pw:0:0:nnp:mr. b-np
#w:-1:mr. #w:0:carlucci w:1:, w:2:59 #ww:-1:0:mr.:carlucci ww:0:1:carlucci:, #p:-1:nnp #p:0:nnp p:1:, p:2:cd #pp:-1:0:nnp:nnp pp:0:1:nnp:, pp:1:2:,:cd ppp:-1:0:1:nnp:nnp:, pppw:-1:0:1:0:nnp:nnp:,:carlucci ppp:0:1:2:nnp:,:cd #pw:-1:-1:nnp:mr. #pw:0:0:nnp:carlucci #ppw:-1:0:-1:nnp:nnp:mr. #ppw:-1:0:0:nnp:nnp:carlucci #pww:-1:0:-1:mr.:carlucci:nnp #pww:-1:0:0:mr.:carlucci:nnp i-np
w:-2:mr. #w:-1:carlucci #w:0:, w:1:59 w:2:years #ww:-1:0:carlucci:, ww:0:1:,:59 p:-2:nnp #p:-1:nnp #p:0:, p:1:cd p:2:nns pp:-2:-1:nnp:nnp #pp:-1:0:nnp:, pp:0:1:,:cd pp:1:2:cd:nns ppp:-2:-1:0:nnp:nnp:, ppp:-1:0:1:nnp:,:cd pppw:-1:0:1:0:nnp:,:cd:, ppp:0:1:2:,:cd:nns #pw:-1:-1:nnp:carlucci #pw:0:0:,:, #ppw:-1:0:-1:nnp:,:carlucci #ppw:-1:0:0:nnp:,:, #pww:-1:0:-1:carlucci:,:nnp #pww:-1:0:0:carlucci:,:, o
w:-2:carlucci #w:-1:, #w:0:59 w:1:years w:2:old #ww:-1:0:,:59 ww:0:1:59:years p:-2:nnp #p:-1:, #p:0:cd p:1:nns p:2:jj pp:-2:-1:nnp:, #pp:-1:0:,:cd pp:0:1:cd:nns pp:1:2:nns:jj ppp:-2:-1:0:nnp:,:cd ppp:-1:0:1:,:cd:nns pppw:-1:0:1:0:,:cd:nns:59 ppp:0:1:2:cd:nns:jj #pw:-1:-1:,:, #pw:0:0:cd:59 #ppw:-1:0:-1:,:cd:, #ppw:-1:0:0:,:cd:59 #pww:-1:0:-1:,:59:, #pww:-1:0:0:,:59:cd b-np
w:-2:, #w:-1:59 #w:0:years w:1:old w:2:, #ww:-1:0:59:years ww:0:1:years:old p:-2:, #p:-1:cd #p:0:nns p:1:jj p:2:, pp:-2:-1:,:cd #pp:-1:0:cd:nns pp:0:1:nns:jj pp:1:2:jj:, ppp:-2:-1:0:,:cd:nns ppp:-1:0:1:cd:nns:jj pppw:-1:0:1:0:cd:nns:jj:years ppp:0:1:2:nns:jj:, #pw:-1:-1:cd:59 #pw:0:0:nns:years #ppw:-1:0:-1:cd:nns:59 #ppw:-1:0:0:cd:nns:years #pww:-1:0:-1:59:years:cd #pww:-1:0:0:59:years:nns i-np
w:-2:59 #w:-1:years #w:0:old w:1:, w:2:served #ww:-1:0:years:old ww:0:1:old:, p:-2:cd #p:-1:nns #p:0:jj p:1:, p:2:vbn pp:-2:-1:cd:nns #pp:-1:0:nns:jj pp:0:1:jj:, pp:1:2:,:vbn ppp:-2:-1:0:cd:nns:jj ppp:-1:0:1:nns:jj:, pppw:-1:0:1:0:nns:jj:,:old ppp:0:1:2:jj:,:vbn #pw:-1:-1:nns:years #pw:0:0:jj:old #ppw:-1:0:-1:nns:jj:years #ppw:-1:0:0:nns:jj:old #pww:-1:0:-1:years:old:nns #pww:-1:0:0:years:old:jj o
w:-2:years #w:-1:old #w:0:, w:1:served w:2:as #ww:-1:0:old:, ww:0:1:,:served p:-2:nns #p:-1:jj #p:0:, p:1:vbn p:2:in pp:-2:-1:nns:jj #pp:-1:0:jj:, pp:0:1:,:vbn pp:1:2:vbn:in ppp:-2:-1:0:nns:jj:, ppp:-1:0:1:jj:,:vbn pppw:-1:0:1:0:jj:,:vbn:, ppp:0:1:2:,:vbn:in #pw:-1:-1:jj:old #pw:0:0:,:, #ppw:-1:0:-1:jj:,:old #ppw:-1:0:0:jj:,:, #pww:-1:0:-1:old:,:jj #pww:-1:0:0:old:,:, o
w:-2:old #w:-1:, #w:0:served w:1:as w:2:defense #ww:-1:0:,:served ww:0:1:served:as p:-2:jj #p:-1:, #p:0:vbn p:1:in p:2:nn pp:-2:-1:jj:, #pp:-1:0:,:vbn pp:0:1:vbn:in pp:1:2:in:nn ppp:-2:-1:0:jj:,:vbn ppp:-1:0:1:,:vbn:in pppw:-1:0:1:0:,:vbn:in:served ppp:0:1:2:vbn:in:nn #pw:-1:-1:,:, #pw:0:0:vbn:served #ppw:-1:0:-1:,:vbn:, #ppw:-1:0:0:,:vbn:served #pww:-1:0:-1:,:served:, #pww:-1:0:0:,:served:vbn o
w:-2:, #w:-1:served #w:0:as w:1:defense w:2:secretary #ww:-1:0:served:as ww:0:1:as:defense p:-2:, #p:-1:vbn #p:0:in p:1:nn p:2:nn pp:-2:-1:,:vbn #pp:-1:0:vbn:in pp:0:1:in:nn pp:1:2:nn:nn ppp:-2:-1:0:,:vbn:in ppp:-1:0:1:vbn:in:nn pppw:-1:0:1:0:vbn:in:nn:as ppp:0:1:2:in:nn:nn #pw:-1:-1:vbn:served #pw:0:0:in:as #ppw:-1:0:-1:vbn:in:served #ppw:-1:0:0:vbn:in:as #pww:-1:0:-1:served:as:vbn #pww:-1:0:0:served:as:in o
w:-2:served #w:-1:as #w:0:defense w:1:secretary w:2:in #ww:-1:0:as:defense ww:0:1:defense:secretary p:-2:vbn #p:-1:in #p:0:nn p:1:nn p:2:in pp:-2:-1:vbn:in #pp:-1:0:in:nn pp:0:1:nn:nn pp:1:2:nn:in ppp:-2:-1:0:vbn:in:nn ppp:-1:0:1:in:nn:nn pppw:-1:0:1:0:in:nn:nn:defense ppp:0:1:2:nn:nn:in #pw:-1:-1:in:as #pw:0:0:nn:defense #ppw:-1:0:-1:in:nn:as #ppw:-1:0:0:in:nn:defense #pww:-1:0:-1:as:defense:in #pww:-1:0:0:as:defense:nn b-np
w:-2:as #w:-1:defense #w:0:secretary w:1:in w:2:the #ww:-1:0:defense:secretary ww:0:1:secretary:in p:-2:in #p:-1:nn #p:0:nn p:1:in p:2:dt pp:-2:-1:in:nn #pp:-1:0:nn:nn pp:0:1:nn:in pp:1:2:in:dt ppp:-2:-1:0:in:nn:nn ppp:-1:0:1:nn:nn:in pppw:-1:0:1:0:nn:nn:in:secretary ppp:0:1:2:nn:in:dt #pw:-1:-1:nn:defense #pw:0:0:nn:secretary #ppw:-1:0:-1:nn:nn:defense #ppw:-1:0:0:nn:nn:secretary #pww:-1:0:-1:defense:secretary:nn #pww:-1:0:0:defense:secretary:nn i-np
w:-2:defense #w:-1:secretary #w:0:in w:1:the w:2:reagan #ww:-1:0:secretary:in ww:0:1:in:the p:-2:nn #p:-1:nn #p:0:in p:1:dt p:2:nnp pp:-2:-1:nn:nn #pp:-1:0:nn:in pp:0:1:in:dt pp:1:2:dt:nnp ppp:-2:-1:0:nn:nn:in ppp:-1:0:1:nn:in:dt pppw:-1:0:1:0:nn:in:dt:in ppp:0:1:2:in:dt:nnp #pw:-1:-1:nn:secretary #pw:0:0:in:in #ppw:-1:0:-1:nn:in:secretary #ppw:-1:0:0:nn:in:in #pww:-1:0:-1:secretary:in:nn #pww:-1:0:0:secretary:in:in o
w:-2:secretary #w:-1:in #w:0:the w:1:reagan w:2:administration #ww:-1:0:in:the ww:0:1:the:reagan p:-2:nn #p:-1:in #p:0:dt p:1:nnp p:2:nn pp:-2:-1:nn:in #pp:-1:0:in:dt pp:0:1:dt:nnp pp:1:2:nnp:nn ppp:-2:-1:0:nn:in:dt ppp:-1:0:1:in:dt:nnp pppw:-1:0:1:0:in:dt:nnp:the ppp:0:1:2:dt:nnp:nn #pw:-1:-1:in:in #pw:0:0:dt:the #ppw:-1:0:-1:in:dt:in #ppw:-1:0:0:in:dt:the #pww:-1:0:-1:in:the:in #pww:-1:0:0:in:the:dt b-np
w:-2:in #w:-1:the #w:0:reagan w:1:administration w:2:. #ww:-1:0:the:reagan ww:0:1:reagan:administration p:-2:in #p:-1:dt #p:0:nnp p:1:nn p:2:. pp:-2:-1:in:dt #pp:-1:0:dt:nnp pp:0:1:nnp:nn pp:1:2:nn:. ppp:-2:-1:0:in:dt:nnp ppp:-1:0:1:dt:nnp:nn pppw:-1:0:1:0:dt:nnp:nn:reagan ppp:0:1:2:nnp:nn:. #pw:-1:-1:dt:the #pw:0:0:nnp:reagan #ppw:-1:0:-1:dt:nnp:the #ppw:-1:0:0:dt:nnp:reagan #pww:-1:0:-1:the:reagan:dt #pww:-1:0:0:the:reagan:nnp i-np
w:-2:the #w:-1:reagan #w:0:administration w:1:. #ww:-1:0:reagan:administration ww:0:1:administration:. p:-2:dt #p:-1:nnp #p:0:nn p:1:. pp:-2:-1:dt:nnp #pp:-1:0:nnp:nn pp:0:1:nn:. ppp:-2:-1:0:dt:nnp:nn ppp:-1:0:1:nnp:nn:. pppw:-1:0:1:0:nnp:nn:.:administration #pw:-1:-1:nnp:reagan #pw:0:0:nn:administration #ppw:-1:0:-1:nnp:nn:reagan #ppw:-1:0:0:nnp:nn:administration #pww:-1:0:-1:reagan:administration:nnp #pww:-1:0:0:reagan:administration:nn i-np
w:-2:reagan #w:-1:administration #w:0:. #ww:-1:0:administration:. p:-2:nnp #p:-1:nn #p:0:. pp:-2:-1:nnp:nn #pp:-1:0:nn:. ppp:-2:-1:0:nnp:nn:. #pw:-1:-1:nn:administration #pw:0:0:.:. #ppw:-1:0:-1:nn:.:administration #ppw:-1:0:0:nn:.:. #pww:-1:0:-1:administration:.:nn #pww:-1:0:0:administration:.:. o

#w:0:in w:1:january w:2:, ww:0:1:in:january #p:0:in p:1:nnp p:2:, pp:0:1:in:nnp pp:1:2:nnp:, ppp:0:1:2:in:nnp:, #pw:0:0:in:in o
#w:-1:in #w:0:january w:1:, w:2:he #ww:-1:0:in:january ww:0:1:january:, #p:-1:in #p:0:nnp p:1:, p:2:prp #pp:-1:0:in:nnp pp:0:1:nnp:, pp:1:2:,:prp ppp:-1:0:1:in:nnp:, pppw:-1:0:1:0:in:nnp:,:january ppp:0:1:2:nnp:,:prp #pw:-1:-1:in:in #pw:0:0:nnp:january #ppw:-1:0:-1:in:nnp:in #ppw:-1:0:0:in:nnp:january #pww:-1:0:-1:in:january:in #pww:-1:0:0:in:january:nnp b-np
w:-2:in #w:-1:january #w:0:, w:1:he w:2:accepted #ww:-1:0:january:, ww:0:1:,:he p:-2:in #p:-1:nnp #p:0:, p:1:prp p:2:vbd pp:-2:-1:in:nnp #pp:-1:0:nnp:, pp:0:1:,:prp pp:1:2:prp:vbd ppp:-2:-1:0:in:nnp:, ppp:-1:0:1:nnp:,:prp pppw:-1:0:1:0:nnp:,:prp:, ppp:0:1:2:,:prp:vbd #pw:-1:-1:nnp:january #pw:0:0:,:, #ppw:-1:0:-1:nnp:,:january #ppw:-1:0:0:nnp:,:, #pww:-1:0:-1:january:,:nnp #pww:-1:0:0:january:,:, o
w:-2:january #w:-1:, #w:0:he w:1:accepted w:2:the #ww:-1:0:,:he ww:0:1:he:accepted p:-2:nnp #p:-1:, #p:0:prp p:1:vbd p:2:dt pp:-2:-1:nnp:, #pp:-1:0:,:prp pp:0:1:prp:vbd pp:1:2:vbd:dt ppp:-2:-1:0:nnp:,:prp ppp:-1:0:1:,:prp:vbd pppw:-1:0:1:0:,:prp:vbd:he ppp:0:1:2:prp:vbd:dt #pw:-1:-1:,:, #pw:0:0:prp:he #ppw:-1:0:-1:,:prp:, #ppw:-1:0:0:,:prp:he #pww:-1:0:-1:,:he:, #pww:-1:0:0:,:he:prp b-np
w:-2:, #w:-1:he #w:0:accepted w:1:the w:2:position #ww:-1:0:he:accepted ww:0:1:accepted:the p:-2:, #p:-1:prp #p:0:vbd p:1:dt p:2:nn pp:-2:-1:,:prp #pp:-1:0:prp:vbd pp:0:1:vbd:dt pp:1:2:dt:nn ppp:-2:-1:0:,:prp:vbd ppp:-1:0:1:prp:vbd:dt pppw:-1:0:1:0:prp:vbd:dt:accepted ppp:0:1:2:vbd:dt:nn #pw:-1:-1:prp:he #pw:0:0:vbd:accepted #ppw:-1:0:-1:prp:vbd:he #ppw:-1:0:0:prp:vbd:accepted #pww:-1:0:-1:he:accepted:prp #pww:-1:0:0:he:accepted:vbd o
w:-2:he #w:-1:accepted #w:0:the w:1:position w:2:of #ww:-1:0:accepted:the ww:0:1:the:position p:-2:prp #p:-1:vbd #p:0:dt p:1:nn p:2:in pp:-2:-1:prp:vbd #pp:-1:0:vbd:dt pp:0:1:dt:nn pp:1:2:nn:in ppp:-2:-1:0:prp:vbd:dt ppp:-1:0:1:vbd:dt:nn pppw:-1:0:1:0:vbd:dt:nn:the ppp:0:1:2:dt:nn:in #pw:-1:-1:vbd:accepted #pw:0:0:dt:the #ppw:-1:0:-1:vbd:dt:accepted #ppw:-1:0:0:vbd:dt:the #pww:-1:0:-1:accepted:the:vbd #pw