icu.cpp

C++的一个好库。。。现在很流行

      { prop_name_table+431, prop_name_table+442, }, // punctuation
      { prop_name_table+442, prop_name_table+444, }, // s*
      { prop_name_table+444, prop_name_table+446, }, // sc
      { prop_name_table+446, prop_name_table+455, }, // separator
      { prop_name_table+455, prop_name_table+457, }, // sk
      { prop_name_table+457, prop_name_table+459, }, // sm
      { prop_name_table+459, prop_name_table+461, }, // so
      { prop_name_table+461, prop_name_table+475, }, // spaceseparator
      { prop_name_table+475, prop_name_table+495, }, // spacingcombiningmark
      { prop_name_table+495, prop_name_table+504, }, // surrogate
      { prop_name_table+504, prop_name_table+510, }, // symbol
      { prop_name_table+510, prop_name_table+519, }, // titlecase
      { prop_name_table+519, prop_name_table+534, }, // titlecaseletter
      { prop_name_table+534, prop_name_table+549, }, // uppercaseletter
      { prop_name_table+549, prop_name_table+551, }, // z*
      { prop_name_table+551, prop_name_table+553, }, // zl
      { prop_name_table+553, prop_name_table+555, }, // zp
      { prop_name_table+555, prop_name_table+557, }, // zs
   };

   static const icu_regex_traits::char_class_type icu_class_map[] = {
      icu_regex_traits::mask_any, // any
      icu_regex_traits::mask_ascii, // ascii
      (0x3FFFFFFFu) & ~(U_GC_CN_MASK), // assigned
      U_GC_C_MASK, // c*
      U_GC_CC_MASK, // cc
      U_GC_CF_MASK, // cf
      U_GC_PE_MASK, // closepunctuation
      U_GC_CN_MASK, // cn
      U_GC_CO_MASK, // co
      U_GC_PC_MASK, // connectorpunctuation
      U_GC_CC_MASK, // control
      U_GC_CS_MASK, // cs
      U_GC_SC_MASK, // currencysymbol
      U_GC_PD_MASK, // dashpunctuation
      U_GC_ND_MASK, // decimaldigitnumber
      U_GC_ME_MASK, // enclosingmark
      U_GC_PF_MASK, // finalpunctuation
      U_GC_CF_MASK, // format
      U_GC_PI_MASK, // initialpunctuation
      U_GC_L_MASK, // l*
      U_GC_L_MASK, // letter
      U_GC_NL_MASK, // letternumber
      U_GC_ZL_MASK, // lineseparator
      U_GC_LL_MASK, // ll
      U_GC_LM_MASK, // lm
      U_GC_LO_MASK, // lo
      U_GC_LL_MASK, // lowercaseletter
      U_GC_LT_MASK, // lt
      U_GC_LU_MASK, // lu
      U_GC_M_MASK, // m*
      U_GC_M_MASK, // mark
      U_GC_SM_MASK, // mathsymbol
      U_GC_MC_MASK, // mc
      U_GC_ME_MASK, // me
      U_GC_MN_MASK, // mn
      U_GC_LM_MASK, // modifierletter
      U_GC_SK_MASK, // modifiersymbol
      U_GC_N_MASK, // n*
      U_GC_ND_MASK, // nd
      U_GC_NL_MASK, // nl
      U_GC_NO_MASK, // no
      U_GC_MN_MASK, // nonspacingmark
      U_GC_CN_MASK, // notassigned
      U_GC_N_MASK, // number
      U_GC_PS_MASK, // openpunctuation
      U_GC_C_MASK, // other
      U_GC_LO_MASK, // otherletter
      U_GC_NO_MASK, // othernumber
      U_GC_PO_MASK, // otherpunctuation
      U_GC_SO_MASK, // othersymbol
      U_GC_P_MASK, // p*
      U_GC_ZP_MASK, // paragraphseparator
      U_GC_PC_MASK, // pc
      U_GC_PD_MASK, // pd
      U_GC_PE_MASK, // pe
      U_GC_PF_MASK, // pf
      U_GC_PI_MASK, // pi
      U_GC_PO_MASK, // po
      U_GC_CO_MASK, // privateuse
      U_GC_PS_MASK, // ps
      U_GC_P_MASK, // punctuation
      U_GC_S_MASK, // s*
      U_GC_SC_MASK, // sc
      U_GC_Z_MASK, // separator
      U_GC_SK_MASK, // sk
      U_GC_SM_MASK, // sm
      U_GC_SO_MASK, // so
      U_GC_ZS_MASK, // spaceseparator
      U_GC_MC_MASK, // spacingcombiningmark
      U_GC_CS_MASK, // surrogate
      U_GC_S_MASK, // symbol
      U_GC_LT_MASK, // titlecase
      U_GC_LT_MASK, // titlecaseletter
      U_GC_LU_MASK, // uppercaseletter
      U_GC_Z_MASK, // z*
      U_GC_ZL_MASK, // zl
      U_GC_ZP_MASK, // zp
      U_GC_ZS_MASK, // zs
   };


   static const re_detail::character_pointer_range< ::UChar32>* ranges_begin = range_data;
   static const re_detail::character_pointer_range< ::UChar32>* ranges_end = range_data + (sizeof(range_data)/sizeof(range_data[0]));
   
   re_detail::character_pointer_range< ::UChar32> t = { p1, p2, };
   const re_detail::character_pointer_range< ::UChar32>* p = std::lower_bound(ranges_begin, ranges_end, t);
   if((p != ranges_end) && (t == *p))
      return icu_class_map[p - ranges_begin];
   return 0;
}

icu_regex_traits::char_class_type icu_regex_traits::lookup_classname(const char_type* p1, const char_type* p2) const
{
   static const char_class_type masks[] = 
   {
      0,
      U_GC_L_MASK | U_GC_ND_MASK, 
      U_GC_L_MASK,
      mask_blank,
      U_GC_CC_MASK | U_GC_CF_MASK | U_GC_ZL_MASK | U_GC_ZP_MASK,
      U_GC_ND_MASK,
      U_GC_ND_MASK,
      (0x3FFFFFFFu) & ~(U_GC_CC_MASK | U_GC_CF_MASK | U_GC_CS_MASK | U_GC_CN_MASK | U_GC_Z_MASK),
      U_GC_LL_MASK,
      U_GC_LL_MASK,
      ~(U_GC_C_MASK),
      U_GC_P_MASK,
      char_class_type(U_GC_Z_MASK) | mask_space,
      char_class_type(U_GC_Z_MASK) | mask_space,
      U_GC_LU_MASK,
      mask_unicode,
      U_GC_LU_MASK,
      char_class_type(U_GC_L_MASK | U_GC_ND_MASK | U_GC_MN_MASK) | mask_underscore, 
      char_class_type(U_GC_L_MASK | U_GC_ND_MASK | U_GC_MN_MASK) | mask_underscore, 
      char_class_type(U_GC_ND_MASK) | mask_xdigit,
   };

   int id = ::boost::re_detail::get_default_class_id(p1, p2);
   if(id >= 0)
      return masks[id+1];
   char_class_type result = lookup_icu_mask(p1, p2);
   if(result != 0)
      return result;

   if(id < 0)
   {
      string_type s(p1, p2);
      string_type::size_type i = 0;
      while(i < s.size())
      {
         s[i] = static_cast<char>((::u_tolower)(s[i]));
         if(::u_isspace(s[i]) || (s[i] == '-') || (s[i] == '_'))
            s.erase(s.begin()+i, s.begin()+i+1);
         else
         {
            s[i] = static_cast<char>((::u_tolower)(s[i]));
            ++i;
         }
      }
      if(s.size())
         id = ::boost::re_detail::get_default_class_id(&*s.begin(), &*s.begin() + s.size());
      if(id >= 0)
         return masks[id+1];
      if(s.size())
         result = lookup_icu_mask(&*s.begin(), &*s.begin() + s.size());
      if(result != 0)
         return result;
   }
   BOOST_ASSERT(std::size_t(id+1) < sizeof(masks) / sizeof(masks[0]));
   return masks[id+1];
}

icu_regex_traits::string_type icu_regex_traits::lookup_collatename(const char_type* p1, const char_type* p2) const
{
   string_type result;
   if(std::find_if(p1, p2, std::bind2nd(std::greater< ::UChar32>(), 0x7f)) == p2)
   {
#ifndef BOOST_NO_TEMPLATED_ITERATOR_CONSTRUCTORS
      std::string s(p1, p2);
#else
      std::string s;
      const char_type* p3 = p1;
      while(p3 != p2)
         s.append(1, *p3++);
#endif
      // Try Unicode name:
      UErrorCode err = U_ZERO_ERROR;
      UChar32 c = ::u_charFromName(U_UNICODE_CHAR_NAME, s.c_str(), &err);
      if(U_SUCCESS(err))
      {
         result.push_back(c);
         return result;
      }
      // Try Unicode-extended name:
      err = U_ZERO_ERROR;
      c = ::u_charFromName(U_EXTENDED_CHAR_NAME, s.c_str(), &err);
      if(U_SUCCESS(err))
      {
         result.push_back(c);
         return result;
      }
      // try POSIX name:
      s = ::boost::re_detail::lookup_default_collate_name(s);
#ifndef BOOST_NO_TEMPLATED_ITERATOR_CONSTRUCTORS
      result.assign(s.begin(), s.end());
#else
      result.clear();
      std::string::const_iterator si, sj;
      si = s.begin();
      sj = s.end();
      while(si != sj)
         result.push_back(*si++);
#endif
   }
   if(result.empty() && (p2-p1 == 1))
      result.push_back(*p1);
   return result;
}

bool icu_regex_traits::isctype(char_type c, char_class_type f) const
{
   // check for standard catagories first:
   char_class_type m = char_class_type(1u << u_charType(c));
   if((m & f) != 0) 
      return true;
   // now check for special cases:
   if(((f & mask_blank) != 0) && u_isblank(c))
      return true;
   if(((f & mask_space) != 0) && u_isspace(c))
      return true;
   if(((f & mask_xdigit) != 0) && (u_digit(c, 16) >= 0))
      return true;
   if(((f & mask_unicode) != 0) && (c >= 0x100))
      return true;
   if(((f & mask_underscore) != 0) && (c == '_'))
      return true;
   if(((f & mask_any) != 0) && (c <= 0x10FFFF))
      return true;
   if(((f & mask_ascii) != 0) && (c <= 0x7F))
      return true;
   return false;
}

}

#endif // BOOST_HAS_ICU