1# coding: utf8 2 3u""" This module translates national characters into similar 4sounding latin characters (transliteration). 5 6At the moment, Czech, Greek, Latvian, Polish, Turkish, Russian, Ukrainian 7and Kazakh alphabets are supported (it covers 99% of needs). 8 9Python 3: 10 11 >>> from trans import trans 12 >>> trans('Привет, Мир!') 13 14Python 2: 15 16 >>> import trans 17 >>> u'Привет, Мир!'.encode('trans') 18 u'Privet, Mir!' 19 >>> trans.trans(u'Привет, Мир!') 20 u'Privet, Mir!' 21 22Source and full documentations can be found here: 23https://github.com/zzzsochi/trans 24""" 25 26import sys 27import codecs 28 29__version__ = '2.1.0' 30__author__ = 'Zelenyak Aleksander aka ZZZ <zzz.sochi@gmail.com>' 31 32PY2 = sys.version_info[0] == 2 33 34 35class Trans(object): 36 """ Main class for transliteration with tables. 37 """ 38 def __init__(self, tables=None, default_table=None): 39 self.tables = tables or {} 40 self.default_table = default_table 41 42 def __call__(self, input, table=None): 43 """ Translate unicode string, using 'table'. 44 45 Table may be tuple (diphthongs, other), dict (other) or string name of table. 46 """ 47 if table is None: 48 if self.default_table is not None: 49 table = self.default_table 50 else: 51 raise ValueError('Table not set.') 52 53 if not isinstance(input, unicode if PY2 else str): # noqa 54 raise TypeError( 55 'trans codec support only unicode string, {0!r} given.'.format(type(input)) 56 ) 57 58 if isinstance(table, basestring if PY2 else str): # noqa 59 try: 60 table = self.tables[table] 61 except KeyError: 62 raise ValueError(u'Table "{0}" not found in tables!'.format(table)) 63 64 if isinstance(table, dict): 65 table = ({}, table) 66 67 first = input 68 for diphthong, value in table[0].items(): 69 first = first.replace(diphthong, value) 70 71 default = table[1].get(None, u'_') 72 73 second = u'' 74 for char in first: 75 second += table[1].get(char, default) 76 77 return second 78 79 80latin = { 81 u'à': u'a', u'á': u'a', u'â': u'a', u'ã': u'a', u'ä': u'a', u'å': u'a', 82 u'æ': u'ae', u'ç': u'c', u'è': u'e', u'é': u'e', u'ê': u'e', u'ë': u'e', 83 u'ì': u'i', u'í': u'i', u'î': u'i', u'ï': u'i', u'ð': u'd', u'ñ': u'n', 84 u'ò': u'o', u'ó': u'o', u'ô': u'o', u'õ': u'o', u'ö': u'o', u'ő': u'o', 85 u'ø': u'o', u'ù': u'u', u'ú': u'u', u'û': u'u', u'ü': u'u', u'ű': u'u', 86 u'ý': u'y', u'þ': u'th', u'ÿ': u'y', 87 88 u'À': u'A', u'Á': u'A', u'Â': u'A', u'Ã': u'A', u'Ä': u'A', u'Å': u'A', 89 u'Æ': u'AE', u'Ç': u'C', u'È': u'E', u'É': u'E', u'Ê': u'E', u'Ë': u'E', 90 u'Ì': u'I', u'Í': u'I', u'Î': u'I', u'Ï': u'I', u'Ð': u'D', u'Ñ': u'N', 91 u'Ò': u'O', u'Ó': u'O', u'Ô': u'O', u'Õ': u'O', u'Ö': u'O', u'Ő': u'O', 92 u'Ø': u'O', u'Ù': u'U', u'Ú': u'U', u'Û': u'U', u'Ü': u'U', u'Ű': u'U', 93 u'Ý': u'Y', u'Þ': u'TH', u'ß': u'ss', 94} 95 96greek = { 97 u'α': u'a', u'β': u'b', u'γ': u'g', u'δ': u'd', u'ε': u'e', u'ζ': u'z', 98 u'η': u'h', u'θ': u'8', u'ι': u'i', u'κ': u'k', u'λ': u'l', u'μ': u'm', 99 u'ν': u'n', u'ξ': u'3', u'ο': u'o', u'π': u'p', u'ρ': u'r', u'σ': u's', 100 u'τ': u't', u'υ': u'y', u'φ': u'f', u'χ': u'x', u'ψ': u'ps', u'ω': u'w', 101 u'ά': u'a', u'έ': u'e', u'ί': u'i', u'ό': u'o', u'ύ': u'y', u'ή': u'h', 102 u'ώ': u'w', u'ς': u's', u'ϊ': u'i', u'ΰ': u'y', u'ϋ': u'y', u'ΐ': u'i', 103 104 u'Α': u'A', u'Β': u'B', u'Γ': u'G', u'Δ': u'D', u'Ε': u'E', u'Ζ': u'Z', 105 u'Η': u'H', u'Θ': u'8', u'Ι': u'I', u'Κ': u'K', u'Λ': u'L', u'Μ': u'M', 106 u'Ν': u'N', u'Ξ': u'3', u'Ο': u'O', u'Π': u'P', u'Ρ': u'R', u'Σ': u'S', 107 u'Τ': u'T', u'Υ': u'Y', u'Φ': u'F', u'Χ': u'X', u'Ψ': u'PS', u'Ω': u'W', 108 u'Ά': u'A', u'Έ': u'E', u'Ί': u'I', u'Ό': u'O', u'Ύ': u'Y', u'Ή': u'H', 109 u'Ώ': u'W', u'Ϊ': u'I', u'Ϋ': u'Y', 110} 111 112turkish = { 113 u'ş': u's', u'Ş': u'S', u'ı': u'i', u'İ': u'I', u'ç': u'c', u'Ç': u'C', 114 u'ü': u'u', u'Ü': u'U', u'ö': u'o', u'Ö': u'O', u'ğ': u'g', u'Ğ': u'G' 115} 116 117russian = ( 118 { 119 u'юй': u'yuy', u'ей': u'yay', 120 u'Юй': u'Yuy', u'Ей': u'Yay' 121 }, 122 { 123 u'а': u'a', u'б': u'b', u'в': u'v', u'г': u'g', u'д': u'd', u'е': u'e', 124 u'ё': u'yo', u'ж': u'zh', u'з': u'z', u'и': u'i', u'й': u'y', u'к': u'k', 125 u'л': u'l', u'м': u'm', u'н': u'n', u'о': u'o', u'п': u'p', u'р': u'r', 126 u'с': u's', u'т': u't', u'у': u'u', u'ф': u'f', u'х': u'h', u'ц': u'c', 127 u'ч': u'ch', u'ш': u'sh', u'щ': u'sh', u'ъ': u'', u'ы': u'y', u'ь': u'', 128 u'э': u'e', u'ю': u'yu', u'я': u'ya', 129 130 u'А': u'A', u'Б': u'B', u'В': u'V', u'Г': u'G', u'Д': u'D', u'Е': u'E', 131 u'Ё': u'Yo', u'Ж': u'Zh', u'З': u'Z', u'И': u'I', u'Й': u'Y', u'К': u'K', 132 u'Л': u'L', u'М': u'M', u'Н': u'N', u'О': u'O', u'П': u'P', u'Р': u'R', 133 u'С': u'S', u'Т': u'T', u'У': u'U', u'Ф': u'F', u'Х': u'H', u'Ц': u'C', 134 u'Ч': u'Ch', u'Ш': u'Sh', u'Щ': u'Sh', u'Ъ': u'', u'Ы': u'Y', u'Ь': u'', 135 u'Э': u'E', u'Ю': u'Yu', u'Я': u'Ya', 136}) 137 138ukrainian = (russian[0].copy(), { 139 u'Є': u'Ye', u'І': u'I', u'Ї': u'Yi', u'Ґ': u'G', 140 u'є': u'ye', u'і': u'i', u'ї': u'yi', u'ґ': u'g', 141}) 142ukrainian[1].update(russian[1]) 143 144czech = { 145 u'č': u'c', u'ď': u'd', u'ě': u'e', u'ň': u'n', u'ř': u'r', u'š': u's', 146 u'ť': u't', u'ů': u'u', u'ž': u'z', 147 u'Č': u'C', u'Ď': u'D', u'Ě': u'E', u'Ň': u'N', u'Ř': u'R', u'Š': u'S', 148 u'Ť': u'T', u'Ů': u'U', u'Ž': u'Z', 149} 150 151polish = { 152 u'ą': u'a', u'ć': u'c', u'ę': u'e', u'ł': u'l', u'ń': u'n', u'ó': u'o', 153 u'ś': u's', u'ź': u'z', u'ż': u'z', 154 u'Ą': u'A', u'Ć': u'C', u'Ę': u'E', u'Ł': u'L', u'Ń': u'N', u'Ó': u'O', 155 u'Ś': u'S', u'Ź': u'Z', u'Ż': u'Z', 156} 157 158latvian = { 159 u'ā': u'a', u'č': u'c', u'ē': u'e', u'ģ': u'g', u'ī': u'i', u'ķ': u'k', 160 u'ļ': u'l', u'ņ': u'n', u'š': u's', u'ū': u'u', u'ž': u'z', 161 u'Ā': u'A', u'Č': u'C', u'Ē': u'E', u'Ģ': u'G', u'Ī': u'i', u'Ķ': u'k', 162 u'Ļ': u'L', u'Ņ': u'N', u'Š': u'S', u'Ū': u'u', u'Ž': u'Z', 163} 164 165kazakh = (russian[0].copy(), { 166 u'ә': u'a', u'ғ': u'g', u'қ': u'k', u'ң': 'n', u'ө': u'o', u'ұ': u'u', 167 u'ү': u'u', u'һ': u'h', u'і': u'i', 168 u'Ә': u'A', u'Ғ': u'G', u'Қ': u'K', u'Ң': 'N', u'Ө': u'O', u'Ұ': u'U', 169 u'Ү': u'U', u'Һ': u'H', u'І': u'I', 170}) 171kazakh[1].update(russian[1]) 172 173farsi = { 174 u'ا': u'a', 175 u'أ': u'a', u'\uFE81': u'a', u'\uFE82': u'a', 176 u'آ': u'a', u'\uFE83': u'a', u'\uFE84': u'a', 177 u'ب': u'b', u'\uFE8F': u'b', u'\uFE90': u'b', u'\uFE92': u'b', u'\uFE91': u'b', 178 u'ت': u't', u'\uFE95': u't', u'\uFE96': u't', u'\uFE98': u't', u'\uFE97': u't', 179 u'ث': u'th', u'\uFE99': u'th', u'\uFE9A': u'th', u'\uFE9C': u'th', u'\uFE9B': u'th', 180 u'ج': u'j', u'\uFE9D': u'j', u'\uFE9E': u'j', u'\uFEA0': u'j', u'\uFE9F': u'j', 181 u'ح': u'h', u'\uFEA1': u'h', u'\uFEA2': u'h', u'\uFEA4': u'h', u'\uFEA3': u'h', 182 u'خ': u'x', u'\uFEA5': u'x', u'\uFEA6': u'x', u'\uFEA8': u'x', u'\uFEA7': u'x', 183 u'د': u'd', u'\uFEA9': u'd', u'\uFEAA': u'd', 184 u'ذ': u'd', u'\uFEAB': u'd', u'\uFEAC': u'd', 185 u'ر': u'r', u'\uFEAD': u'r', u'\uFEAE': u'r', 186 u'ز': u'z', u'\uFEAF': u'z', u'\uFEB0': u'z', 187 u'س': u's', u'\uFEB1': u's', u'\uFEB2': u's', u'\uFEB4': u's', u'\uFEB3 ': u's', 188 u'ش': u'sh', u'\uFEB5': u'sh', u'\uFEB6': u'sh', u'\uFEB8': u'sh', u'\uFEB7': u'sh', 189 u'ص': u's', u'\uFEB9': u's', u'\uFEBA': u's', u'\uFEBC': u's', u'\uFEBB': u's', 190 u'ض': u'd', u'\uFEBD': u'd', u'\uFEBE': u'd', u'\uFEC0': u'd', u'\uFEBF': u'd', 191 u'ط': u't', u'\uFEC1': u't', u'\uFEC2': u't', u'\uFEC4': u't', u'\uFEC3': u't', 192 u'ظ': u'z', u'\uFEC5': u'z', u'\uFEC6': u'z', u'\uFEC8': u'z', u'\uFEC7': u'z', 193 u'ع': u'ao', u'\uFEC9': u'ao', u'\uFECA': u'ao', u'\uFECC': u'ao', u'\uFECB': u'ao', 194 u'غ': u'za', u'\uFECD': u'za', u'\uFECE': u'za', u'\uFED0': u'za', u'\uFECF': u'za', 195 u'ف': u'f', u'\uFED1': u'f', u'\uFED2': u'f', u'\uFED4': u'f', u'\uFED3': u'f', 196 u'ق': u'q', u'\uFED5': u'q', u'\uFED6': u'q', u'\uFED8': u'q', u'\uFED7': u'q', 197 u'ك': u'k', u'\uFED9': u'k', u'\uFEDA': u'k', u'\uFEDC': u'k', u'\uFEDB': u'k', 198 u'ل': u'l', u'\uFEDD': u'l', u'\uFEDE': u'l', u'\uFEE0': u'l', u'\uFEDF': u'l', 199 u'م': u'm', u'\uFEE1': u'm', u'\uFEE2': u'm', u'\uFEE4': u'm', u'\uFEE3': u'm', 200 u'ن': u'n', u'\uFEE5': u'n', u'\uFEE6': u'n', u'\uFEE8': u'n', u'\uFEE7': u'n', 201 u'ه': u'h', u'\uFEE9': u'h', u'\uFEEA': u'h', u'\uFEEC': u'h', u'\uFEEB': u'h', 202 u'و': u'wa', u'\uFEED': u'wa', u'\uFEEE': u'wa', 203 u'ي': u'ya', u'\uFEF1': u'ya', u'\uFEF2': u'ya', u'\uFEF4': u'ya', u'\uFEF3': u'ya', 204 u'ة': u'at', u'\uFE93': u'at', u'\uFE94': u'at', 205 u'ى': u'a', u'\uFEEF': u'a', u'\uFEF0': u'a', 206 u'ی': u'ye', u'\uFBFC': u'ye', u'\uFBFD': u'ye', u'\uFBFE': u'ye', u'\uFBFF': u'ye', 207 # Arabic Sukun 208 u'\u064B': u'', u'\u064C': u'', u'\u064D': u'', u'\u064E': u'', u'\u064F': u'', 209 u'\u0650': u'', u'\u0651': u'', u'\u0652': u'', u'\u0653': u'', u'\u0670': u'', 210 # Arabic punctuation 211 u'،': u',', u'؍': u'.', u'؟': u'?', u'٭': u'★', u'؞': u'...', u'٬': u'\'', u'\u200C': u'', 212} 213 214ascii_str = (u'_0123456789' 215 u'abcdefghijklmnopqrstuvwxyz' 216 u'ABCDEFGHIJKLMNOPQRSTUVWXYZ' 217 u'!"#$%&\'()*+,_-./:;<=>?@[\\]^`{|}~ \t\n\r\x0b\x0c') 218 219ascii = ({}, dict(zip(ascii_str, ascii_str))) 220for t in [latin, greek, turkish, russian, ukrainian, czech, polish, latvian, kazakh, farsi]: 221 if isinstance(t, dict): 222 t = ({}, t) 223 224 ascii[0].update(t[0]) 225 ascii[1].update(t[1]) 226 227del t 228ascii[1][None] = u'_' 229 230 231slug = (ascii[0].copy(), ascii[1].copy()) 232for c in u'''!"#$%&'()*+,_-./:;<=>?@[\\]^`{|}~ \t\n\r\x0b\x0c''': 233 del slug[1][c] 234 235tables = {u'ascii': ascii, u'text': ascii, u'slug': slug, u'id': slug} 236 237# Main Trans with default tales 238# It uses for str.encode('trans') 239trans = Trans(tables=tables, default_table='ascii') 240 241 242# trans codec work only with python 2 243if PY2: 244 def encode(input, errors='strict', table_name='ascii'): 245 try: 246 table = trans.tables[table_name] 247 except KeyError: 248 raise ValueError("Table {0!r} not found in tables!".format(table_name)) 249 else: 250 data = trans(input, table) 251 return data, len(data) 252 253 def no_decode(input, errors='strict'): 254 raise TypeError("trans codec does not support decode.") 255 256 def trans_codec(enc): 257 if enc == 'trans': 258 return codecs.CodecInfo(encode, no_decode) 259 260 try: 261 enc_name, table_name = enc.split(u'/', 1) 262 except ValueError: 263 return None 264 265 if enc_name != 'trans': 266 return None 267 268 if table_name not in trans.tables: 269 raise ValueError(u"Table {0!r} not found in tables!").format(table_name) 270 271 return codecs.CodecInfo(lambda i, e='strict': encode(i, e, table_name), no_decode) 272 273 codecs.register(trans_codec) 274