indoeuropeansentencemodel.java

一个自然语言处理的Java开源工具包。LingPipe目前已有很丰富的功能

        IMPOSSIBLE_PENULTIMATES.add("RVR");
        IMPOSSIBLE_PENULTIMATES.add("SHL");
        IMPOSSIBLE_PENULTIMATES.add("SHLS");
        IMPOSSIBLE_PENULTIMATES.add("SHR");
        IMPOSSIBLE_PENULTIMATES.add("SHRS");
        IMPOSSIBLE_PENULTIMATES.add("SKWY");
        IMPOSSIBLE_PENULTIMATES.add("SMT");
        IMPOSSIBLE_PENULTIMATES.add("SPG");
        IMPOSSIBLE_PENULTIMATES.add("SPGS");
        IMPOSSIBLE_PENULTIMATES.add("SPNG");
        IMPOSSIBLE_PENULTIMATES.add("SQ");
        IMPOSSIBLE_PENULTIMATES.add("SQR");
        IMPOSSIBLE_PENULTIMATES.add("SQRE");
        IMPOSSIBLE_PENULTIMATES.add("SQRS");
        IMPOSSIBLE_PENULTIMATES.add("SQS");
        IMPOSSIBLE_PENULTIMATES.add("SQU");
        IMPOSSIBLE_PENULTIMATES.add("ST");
        IMPOSSIBLE_PENULTIMATES.add("STA");
        IMPOSSIBLE_PENULTIMATES.add("STATN");
        IMPOSSIBLE_PENULTIMATES.add("STN");
        IMPOSSIBLE_PENULTIMATES.add("STR");
        IMPOSSIBLE_PENULTIMATES.add("STRA");
        IMPOSSIBLE_PENULTIMATES.add("STRM");
        IMPOSSIBLE_PENULTIMATES.add("STRT");
        IMPOSSIBLE_PENULTIMATES.add("STRVN");
        IMPOSSIBLE_PENULTIMATES.add("STS");
        IMPOSSIBLE_PENULTIMATES.add("TER");
        IMPOSSIBLE_PENULTIMATES.add("TERR");
        IMPOSSIBLE_PENULTIMATES.add("TPK");
        IMPOSSIBLE_PENULTIMATES.add("TPKE");
        IMPOSSIBLE_PENULTIMATES.add("TR");
        IMPOSSIBLE_PENULTIMATES.add("TRAK");
        IMPOSSIBLE_PENULTIMATES.add("TRCE");
        IMPOSSIBLE_PENULTIMATES.add("TRFY");
        IMPOSSIBLE_PENULTIMATES.add("TRK");
        IMPOSSIBLE_PENULTIMATES.add("TRKS");
        IMPOSSIBLE_PENULTIMATES.add("TRL");
        IMPOSSIBLE_PENULTIMATES.add("TRLS");
        IMPOSSIBLE_PENULTIMATES.add("TRNPK");
        IMPOSSIBLE_PENULTIMATES.add("TRPK");
        IMPOSSIBLE_PENULTIMATES.add("TRWY");
        IMPOSSIBLE_PENULTIMATES.add("TUNL");
        IMPOSSIBLE_PENULTIMATES.add("TUNLS");
        IMPOSSIBLE_PENULTIMATES.add("TUNNL");
        IMPOSSIBLE_PENULTIMATES.add("TURNPK");
        IMPOSSIBLE_PENULTIMATES.add("UN");
        IMPOSSIBLE_PENULTIMATES.add("UNS");
        IMPOSSIBLE_PENULTIMATES.add("UPAS");
        IMPOSSIBLE_PENULTIMATES.add("VDCT");
        IMPOSSIBLE_PENULTIMATES.add("VIA");
        IMPOSSIBLE_PENULTIMATES.add("VILL");
        IMPOSSIBLE_PENULTIMATES.add("VILLE");
        IMPOSSIBLE_PENULTIMATES.add("VILLG");
        IMPOSSIBLE_PENULTIMATES.add("VIS");
        IMPOSSIBLE_PENULTIMATES.add("VIST");
        IMPOSSIBLE_PENULTIMATES.add("VISTA");
        IMPOSSIBLE_PENULTIMATES.add("VL");
        IMPOSSIBLE_PENULTIMATES.add("VLG");
        IMPOSSIBLE_PENULTIMATES.add("VLGS");
        IMPOSSIBLE_PENULTIMATES.add("VLLY");
        IMPOSSIBLE_PENULTIMATES.add("VLY");
        IMPOSSIBLE_PENULTIMATES.add("VLYS");
        IMPOSSIBLE_PENULTIMATES.add("VST");
        IMPOSSIBLE_PENULTIMATES.add("VSTA");
        IMPOSSIBLE_PENULTIMATES.add("VW");
        IMPOSSIBLE_PENULTIMATES.add("VWS");
        IMPOSSIBLE_PENULTIMATES.add("WL");
        IMPOSSIBLE_PENULTIMATES.add("WLS");
        IMPOSSIBLE_PENULTIMATES.add("WY");
        IMPOSSIBLE_PENULTIMATES.add("XING");
        IMPOSSIBLE_PENULTIMATES.add("XRD");

        // corporate designators
        // source: http://www.ldc.upenn.edu/Catalog/CatalogList/LDC2001T02/resources.corp-desigs-ref-list
        IMPOSSIBLE_PENULTIMATES.add("AB");
        IMPOSSIBLE_PENULTIMATES.add("A.B");
        IMPOSSIBLE_PENULTIMATES.add("AE");
        IMPOSSIBLE_PENULTIMATES.add("A.E.");
        IMPOSSIBLE_PENULTIMATES.add("AENP");
        IMPOSSIBLE_PENULTIMATES.add("AG");
        IMPOSSIBLE_PENULTIMATES.add("AG&COKG");
        IMPOSSIBLE_PENULTIMATES.add("AG");
        IMPOSSIBLE_PENULTIMATES.add("Co");
        IMPOSSIBLE_PENULTIMATES.add("KG");
        IMPOSSIBLE_PENULTIMATES.add("AL");
        IMPOSSIBLE_PENULTIMATES.add("A/L");
        IMPOSSIBLE_PENULTIMATES.add("AMBA");
        IMPOSSIBLE_PENULTIMATES.add("A.M.B.A.");
        IMPOSSIBLE_PENULTIMATES.add("AO");
        IMPOSSIBLE_PENULTIMATES.add("A.O");
        IMPOSSIBLE_PENULTIMATES.add("APS");
        IMPOSSIBLE_PENULTIMATES.add("A&P");
        IMPOSSIBLE_PENULTIMATES.add("AS");
        IMPOSSIBLE_PENULTIMATES.add("AS");
        IMPOSSIBLE_PENULTIMATES.add("A.S");
        IMPOSSIBLE_PENULTIMATES.add("AS");
        IMPOSSIBLE_PENULTIMATES.add("A/S");
        IMPOSSIBLE_PENULTIMATES.add("A.S");
        IMPOSSIBLE_PENULTIMATES.add("AY");
        IMPOSSIBLE_PENULTIMATES.add("BA");
        IMPOSSIBLE_PENULTIMATES.add("B.A");
        IMPOSSIBLE_PENULTIMATES.add("BHD");
        IMPOSSIBLE_PENULTIMATES.add("BM");
        IMPOSSIBLE_PENULTIMATES.add("B.M");
        IMPOSSIBLE_PENULTIMATES.add("BSC");
        IMPOSSIBLE_PENULTIMATES.add("BV");
        IMPOSSIBLE_PENULTIMATES.add("B.V");
        IMPOSSIBLE_PENULTIMATES.add("BVBA");
        IMPOSSIBLE_PENULTIMATES.add("B.V.B.A");
        IMPOSSIBLE_PENULTIMATES.add("BVCV");
        IMPOSSIBLE_PENULTIMATES.add("B.V");
        IMPOSSIBLE_PENULTIMATES.add("C.V");
        IMPOSSIBLE_PENULTIMATES.add("B.V./C.V");
        IMPOSSIBLE_PENULTIMATES.add("CA");
        IMPOSSIBLE_PENULTIMATES.add("C.A");
        IMPOSSIBLE_PENULTIMATES.add("CA");
        IMPOSSIBLE_PENULTIMATES.add("Cia.");
        IMPOSSIBLE_PENULTIMATES.add("CDERL");
        IMPOSSIBLE_PENULTIMATES.add("CDERL");
        IMPOSSIBLE_PENULTIMATES.add("CV");
        IMPOSSIBLE_PENULTIMATES.add("C.V");
        IMPOSSIBLE_PENULTIMATES.add("CO");
        IMPOSSIBLE_PENULTIMATES.add("CORP");
        IMPOSSIBLE_PENULTIMATES.add("CPORA");
        IMPOSSIBLE_PENULTIMATES.add("CPT");
        IMPOSSIBLE_PENULTIMATES.add("EC");
        IMPOSSIBLE_PENULTIMATES.add("E.C");
        IMPOSSIBLE_PENULTIMATES.add("EG");
        IMPOSSIBLE_PENULTIMATES.add("EGMBH");
        IMPOSSIBLE_PENULTIMATES.add("EPE");
        IMPOSSIBLE_PENULTIMATES.add("E.P.E");
        IMPOSSIBLE_PENULTIMATES.add("GMBH");
        IMPOSSIBLE_PENULTIMATES.add("Ges.m.b.H");
        IMPOSSIBLE_PENULTIMATES.add("GBR");
        IMPOSSIBLE_PENULTIMATES.add("GGMBH");
        IMPOSSIBLE_PENULTIMATES.add("GGMBH");
        IMPOSSIBLE_PENULTIMATES.add("GMK");
        IMPOSSIBLE_PENULTIMATES.add("GM.K");
        IMPOSSIBLE_PENULTIMATES.add("G.M.B.H");
        IMPOSSIBLE_PENULTIMATES.add("CO,KG");
        IMPOSSIBLE_PENULTIMATES.add("GP");
        IMPOSSIBLE_PENULTIMATES.add("G.P");
        IMPOSSIBLE_PENULTIMATES.add("GSK");
        IMPOSSIBLE_PENULTIMATES.add("HF");
        IMPOSSIBLE_PENULTIMATES.add("H.F");
        IMPOSSIBLE_PENULTIMATES.add("HMIG");
        IMPOSSIBLE_PENULTIMATES.add("H.MIJ");
        IMPOSSIBLE_PENULTIMATES.add("H.MIG");
        IMPOSSIBLE_PENULTIMATES.add("HVER");
        IMPOSSIBLE_PENULTIMATES.add("H.VER");
        IMPOSSIBLE_PENULTIMATES.add("INC");
        // IMPOSSIBLE_PENULTIMATES.add("IS"); // too common
        IMPOSSIBLE_PENULTIMATES.add("I/S");
        IMPOSSIBLE_PENULTIMATES.add("KB");
        IMPOSSIBLE_PENULTIMATES.add("KG");
        IMPOSSIBLE_PENULTIMATES.add("KGAA");
        IMPOSSIBLE_PENULTIMATES.add("K.G.A.A");
        IMPOSSIBLE_PENULTIMATES.add("KK");
        IMPOSSIBLE_PENULTIMATES.add("KS");
        IMPOSSIBLE_PENULTIMATES.add("K/S");
        IMPOSSIBLE_PENULTIMATES.add("KY");
        IMPOSSIBLE_PENULTIMATES.add("LDA");
        IMPOSSIBLE_PENULTIMATES.add("LTD");
        IMPOSSIBLE_PENULTIMATES.add("LTDAPS");
        IMPOSSIBLE_PENULTIMATES.add("LLC");
        IMPOSSIBLE_PENULTIMATES.add("L.L.C");
        IMPOSSIBLE_PENULTIMATES.add("LP");
        IMPOSSIBLE_PENULTIMATES.add("L.P");
        IMPOSSIBLE_PENULTIMATES.add("LTDA");
        IMPOSSIBLE_PENULTIMATES.add("MIJ");
        IMPOSSIBLE_PENULTIMATES.add("NL");
        IMPOSSIBLE_PENULTIMATES.add("N.L");
        IMPOSSIBLE_PENULTIMATES.add("NPL");
        IMPOSSIBLE_PENULTIMATES.add("N.P.L");
        IMPOSSIBLE_PENULTIMATES.add("NV");
        IMPOSSIBLE_PENULTIMATES.add("N.V");
        IMPOSSIBLE_PENULTIMATES.add("OHG");
        IMPOSSIBLE_PENULTIMATES.add("OE");
        IMPOSSIBLE_PENULTIMATES.add("O.E");
        IMPOSSIBLE_PENULTIMATES.add("OY");
        IMPOSSIBLE_PENULTIMATES.add("OYAB");
        IMPOSSIBLE_PENULTIMATES.add("PERJAN");
        IMPOSSIBLE_PENULTIMATES.add("PERSERO");
        IMPOSSIBLE_PENULTIMATES.add("PERUM");
        IMPOSSIBLE_PENULTIMATES.add("PLC");
        IMPOSSIBLE_PENULTIMATES.add("PN");
        IMPOSSIBLE_PENULTIMATES.add("PP");
        IMPOSSIBLE_PENULTIMATES.add("PT");
        IMPOSSIBLE_PENULTIMATES.add("PTY");
        IMPOSSIBLE_PENULTIMATES.add("PTE");
        IMPOSSIBLE_PENULTIMATES.add("PVBA");
        IMPOSSIBLE_PENULTIMATES.add("P.V.B.A");
        IMPOSSIBLE_PENULTIMATES.add("SA");
        IMPOSSIBLE_PENULTIMATES.add("S.A");
        IMPOSSIBLE_PENULTIMATES.add("SA");
        IMPOSSIBLE_PENULTIMATES.add("SA");
        IMPOSSIBLE_PENULTIMATES.add("SAC");
        IMPOSSIBLE_PENULTIMATES.add("S.A.C");
        IMPOSSIBLE_PENULTIMATES.add("SACA");
        IMPOSSIBLE_PENULTIMATES.add("S.A.C.A");
        IMPOSSIBLE_PENULTIMATES.add("SACC");
        IMPOSSIBLE_PENULTIMATES.add("S.Acc");
        IMPOSSIBLE_PENULTIMATES.add("ACC");
        IMPOSSIBLE_PENULTIMATES.add("SACCPA");
        IMPOSSIBLE_PENULTIMATES.add("S.ACC.P.A");
        IMPOSSIBLE_PENULTIMATES.add("ACC.P.A");
        IMPOSSIBLE_PENULTIMATES.add("P.A");
        IMPOSSIBLE_PENULTIMATES.add("SACEI");
        IMPOSSIBLE_PENULTIMATES.add("S.A.");
        IMPOSSIBLE_PENULTIMATES.add("C.E.I");
        IMPOSSIBLE_PENULTIMATES.add("SACIF");
        IMPOSSIBLE_PENULTIMATES.add("S.A.C.I.F");
        IMPOSSIBLE_PENULTIMATES.add("SADECV");
        IMPOSSIBLE_PENULTIMATES.add("S.A.");
        IMPOSSIBLE_PENULTIMATES.add("C.V");
        IMPOSSIBLE_PENULTIMATES.add("SAIC");
        IMPOSSIBLE_PENULTIMATES.add("S.A.I.C");
        IMPOSSIBLE_PENULTIMATES.add("SAICA");
        IMPOSSIBLE_PENULTIMATES.add("S.A.I.C.A");
        IMPOSSIBLE_PENULTIMATES.add("SALC");
        IMPOSSIBLE_PENULTIMATES.add("S.A.L.C");
        IMPOSSIBLE_PENULTIMATES.add("SALC");
        IMPOSSIBLE_PENULTIMATES.add("SANV");
        IMPOSSIBLE_PENULTIMATES.add("S.A.N.V");
        IMPOSSIBLE_PENULTIMATES.add("SARL");
        IMPOSSIBLE_PENULTIMATES.add("S.A.R.L");
        IMPOSSIBLE_PENULTIMATES.add("SAS");
        IMPOSSIBLE_PENULTIMATES.add("S.A.S");
        IMPOSSIBLE_PENULTIMATES.add("SCI");
        IMPOSSIBLE_PENULTIMATES.add("S.C.I");
        IMPOSSIBLE_PENULTIMATES.add("SCl");
        IMPOSSIBLE_PENULTIMATES.add("S.C.L");
        IMPOSSIBLE_PENULTIMATES.add("SCP");
        IMPOSSIBLE_PENULTIMATES.add("S.C.P");
        IMPOSSIBLE_PENULTIMATES.add("SCPA");
        IMPOSSIBLE_PENULTIMATES.add("S.C.p.A");
        IMPOSSIBLE_PENULTIMATES.add("SCPDEG");
        IMPOSSIBLE_PENULTIMATES.add("S.C.P");
        IMPOSSIBLE_PENULTIMATES.add("SCRL");
        IMPOSSIBLE_PENULTIMATES.add("SDERL");
        IMPOSSIBLE_PENULTIMATES.add("R.L");
        IMPOSSIBLE_PENULTIMATES.add("R.L");
        IMPOSSIBLE_PENULTIMATES.add("SDERLDECV");
        IMPOSSIBLE_PENULTIMATES.add("C.V");
        IMPOSSIBLE_PENULTIMATES.add("SENC");
        IMPOSSIBLE_PENULTIMATES.add("SENCPORA");
        IMPOSSIBLE_PENULTIMATES.add("SEND");
        IMPOSSIBLE_PENULTIMATES.add("SICI");
        IMPOSSIBLE_PENULTIMATES.add("S.I.C.I");
        IMPOSSIBLE_PENULTIMATES.add("SL");
        IMPOSSIBLE_PENULTIMATES.add("S.L.");
        IMPOSSIBLE_PENULTIMATES.add("SMA");
        IMPOSSIBLE_PENULTIMATES.add("S.M.A");
        IMPOSSIBLE_PENULTIMATES.add("SMCP");
        IMPOSSIBLE_PENULTIMATES.add("S.M.C.P");
        IMPOSSIBLE_PENULTIMATES.add("SNC");
        IMPOSSIBLE_PENULTIMATES.add("S.N.C");
        IMPOSSIBLE_PENULTIMATES.add("SPA");
        IMPOSSIBLE_PENULTIMATES.add("S.P.A");
        IMPOSSIBLE_PENULTIMATES.add("SPRL");
        IMPOSSIBLE_PENULTIMATES.add("S.P.R.L");
        IMPOSSIBLE_PENULTIMATES.add("SRL");
        IMPOSSIBLE_PENULTIMATES.add("S.R.L");
        IMPOSSIBLE_PENULTIMATES.add("SV");
        IMPOSSIBLE_PENULTIMATES.add("SZRL");
        IMPOSSIBLE_PENULTIMATES.add("S.Z.R.L");
        IMPOSSIBLE_PENULTIMATES.add("TAS");
        IMPOSSIBLE_PENULTIMATES.add("T.A.S");
        IMPOSSIBLE_PENULTIMATES.add("UPA");
        IMPOSSIBLE_PENULTIMATES.add("U.p.a");
        IMPOSSIBLE_PENULTIMATES.add("UNIV");
        IMPOSSIBLE_PENULTIMATES.add("VN");
        IMPOSSIBLE_PENULTIMATES.add("WLL");
        IMPOSSIBLE_PENULTIMATES.add("W.L.L");
    }

    private static final HashSet IMPOSSIBLE_STARTS
        = new HashSet();
    static {
        IMPOSSIBLE_STARTS.add(",");
        IMPOSSIBLE_STARTS.add(")");
        IMPOSSIBLE_STARTS.add("]");
        IMPOSSIBLE_STARTS.add("}");
        IMPOSSIBLE_STARTS.add(">");
        IMPOSSIBLE_STARTS.add("<");
        IMPOSSIBLE_STARTS.add(".");
        IMPOSSIBLE_STARTS.add("!");
        IMPOSSIBLE_STARTS.add("?");
        IMPOSSIBLE_STARTS.add(":");
        IMPOSSIBLE_STARTS.add(";");
        IMPOSSIBLE_STARTS.add("-");
        IMPOSSIBLE_STARTS.add("--");
        IMPOSSIBLE_STARTS.add("---");
        IMPOSSIBLE_STARTS.add("%");
    }

}