1# coding: utf8
2
3u""" This module translates national characters into similar
4sounding latin characters (transliteration).
5
6At the moment, Czech, Greek, Latvian, Polish, Turkish, Russian, Ukrainian
7and Kazakh alphabets are supported (it covers 99% of needs).
8
9Python 3:
10
11  >>> from trans import trans
12  >>> trans('Привет, Мир!')
13
14Python 2:
15
16  >>> import trans
17  >>> u'Привет, Мир!'.encode('trans')
18  u'Privet, Mir!'
19  >>> trans.trans(u'Привет, Мир!')
20  u'Privet, Mir!'
21
22Source and full documentations can be found here:
23https://github.com/zzzsochi/trans
24"""
25
26import sys
27import codecs
28
29__version__ = '2.1.0'
30__author__ = 'Zelenyak Aleksander aka ZZZ <zzz.sochi@gmail.com>'
31
32PY2 = sys.version_info[0] == 2
33
34
35class Trans(object):
36    """ Main class for transliteration with tables.
37    """
38    def __init__(self, tables=None, default_table=None):
39        self.tables = tables or {}
40        self.default_table = default_table
41
42    def __call__(self, input, table=None):
43        """ Translate unicode string, using 'table'.
44
45        Table may be tuple (diphthongs, other), dict (other) or string name of table.
46        """
47        if table is None:
48            if self.default_table is not None:
49                table = self.default_table
50            else:
51                raise ValueError('Table not set.')
52
53        if not isinstance(input, unicode if PY2 else str):  # noqa
54            raise TypeError(
55                'trans codec support only unicode string, {0!r} given.'.format(type(input))
56            )
57
58        if isinstance(table, basestring if PY2 else str):  # noqa
59            try:
60                table = self.tables[table]
61            except KeyError:
62                raise ValueError(u'Table "{0}" not found in tables!'.format(table))
63
64        if isinstance(table, dict):
65            table = ({}, table)
66
67        first = input
68        for diphthong, value in table[0].items():
69            first = first.replace(diphthong, value)
70
71        default = table[1].get(None, u'_')
72
73        second = u''
74        for char in first:
75            second += table[1].get(char, default)
76
77        return second
78
79
80latin = {
81    u'à': u'a',  u'á': u'a',  u'â': u'a', u'ã': u'a', u'ä': u'a', u'å': u'a',
82    u'æ': u'ae', u'ç': u'c',  u'è': u'e', u'é': u'e', u'ê': u'e', u'ë': u'e',
83    u'ì': u'i',  u'í': u'i',  u'î': u'i', u'ï': u'i', u'ð': u'd', u'ñ': u'n',
84    u'ò': u'o',  u'ó': u'o',  u'ô': u'o', u'õ': u'o', u'ö': u'o', u'ő': u'o',
85    u'ø': u'o',  u'ù': u'u',  u'ú': u'u', u'û': u'u', u'ü': u'u', u'ű': u'u',
86    u'ý': u'y',  u'þ': u'th', u'ÿ': u'y',
87
88    u'À': u'A',  u'Á': u'A',  u'Â': u'A', u'Ã': u'A', u'Ä': u'A', u'Å': u'A',
89    u'Æ': u'AE', u'Ç': u'C',  u'È': u'E', u'É': u'E', u'Ê': u'E', u'Ë': u'E',
90    u'Ì': u'I',  u'Í': u'I',  u'Î': u'I', u'Ï': u'I', u'Ð': u'D', u'Ñ': u'N',
91    u'Ò': u'O',  u'Ó': u'O',  u'Ô': u'O', u'Õ': u'O', u'Ö': u'O', u'Ő': u'O',
92    u'Ø': u'O',  u'Ù': u'U',  u'Ú': u'U', u'Û': u'U', u'Ü': u'U', u'Ű': u'U',
93    u'Ý': u'Y',  u'Þ': u'TH', u'ß': u'ss',
94}
95
96greek = {
97    u'α': u'a', u'β': u'b', u'γ': u'g', u'δ': u'd', u'ε': u'e',  u'ζ': u'z',
98    u'η': u'h', u'θ': u'8', u'ι': u'i', u'κ': u'k', u'λ': u'l',  u'μ': u'm',
99    u'ν': u'n', u'ξ': u'3', u'ο': u'o', u'π': u'p', u'ρ': u'r',  u'σ': u's',
100    u'τ': u't', u'υ': u'y', u'φ': u'f', u'χ': u'x', u'ψ': u'ps', u'ω': u'w',
101    u'ά': u'a', u'έ': u'e', u'ί': u'i', u'ό': u'o', u'ύ': u'y',  u'ή': u'h',
102    u'ώ': u'w', u'ς': u's', u'ϊ': u'i', u'ΰ': u'y', u'ϋ': u'y',  u'ΐ': u'i',
103
104    u'Α': u'A', u'Β': u'B', u'Γ': u'G', u'Δ': u'D', u'Ε': u'E',  u'Ζ': u'Z',
105    u'Η': u'H', u'Θ': u'8', u'Ι': u'I', u'Κ': u'K', u'Λ': u'L',  u'Μ': u'M',
106    u'Ν': u'N', u'Ξ': u'3', u'Ο': u'O', u'Π': u'P', u'Ρ': u'R',  u'Σ': u'S',
107    u'Τ': u'T', u'Υ': u'Y', u'Φ': u'F', u'Χ': u'X', u'Ψ': u'PS', u'Ω': u'W',
108    u'Ά': u'A', u'Έ': u'E', u'Ί': u'I', u'Ό': u'O', u'Ύ': u'Y',  u'Ή': u'H',
109    u'Ώ': u'W', u'Ϊ': u'I', u'Ϋ': u'Y',
110}
111
112turkish = {
113    u'ş': u's', u'Ş': u'S', u'ı': u'i', u'İ': u'I', u'ç': u'c', u'Ç': u'C',
114    u'ü': u'u', u'Ü': u'U', u'ö': u'o', u'Ö': u'O', u'ğ': u'g', u'Ğ': u'G'
115}
116
117russian = (
118    {
119        u'юй': u'yuy', u'ей': u'yay',
120        u'Юй': u'Yuy', u'Ей': u'Yay'
121    },
122    {
123    u'а': u'a',  u'б': u'b',  u'в': u'v',  u'г': u'g', u'д': u'd', u'е': u'e',
124    u'ё': u'yo', u'ж': u'zh', u'з': u'z',  u'и': u'i', u'й': u'y', u'к': u'k',
125    u'л': u'l',  u'м': u'm',  u'н': u'n',  u'о': u'o', u'п': u'p', u'р': u'r',
126    u'с': u's',  u'т': u't',  u'у': u'u',  u'ф': u'f', u'х': u'h', u'ц': u'c',
127    u'ч': u'ch', u'ш': u'sh', u'щ': u'sh', u'ъ': u'',  u'ы': u'y', u'ь': u'',
128    u'э': u'e',  u'ю': u'yu', u'я': u'ya',
129
130    u'А': u'A',  u'Б': u'B',  u'В': u'V',  u'Г': u'G', u'Д': u'D', u'Е': u'E',
131    u'Ё': u'Yo', u'Ж': u'Zh', u'З': u'Z',  u'И': u'I', u'Й': u'Y', u'К': u'K',
132    u'Л': u'L',  u'М': u'M',  u'Н': u'N',  u'О': u'O', u'П': u'P', u'Р': u'R',
133    u'С': u'S',  u'Т': u'T',  u'У': u'U',  u'Ф': u'F', u'Х': u'H', u'Ц': u'C',
134    u'Ч': u'Ch', u'Ш': u'Sh', u'Щ': u'Sh', u'Ъ': u'',  u'Ы': u'Y', u'Ь': u'',
135    u'Э': u'E',  u'Ю': u'Yu', u'Я': u'Ya',
136})
137
138ukrainian = (russian[0].copy(), {
139    u'Є': u'Ye', u'І': u'I', u'Ї': u'Yi', u'Ґ': u'G',
140    u'є': u'ye', u'і': u'i', u'ї': u'yi', u'ґ': u'g',
141})
142ukrainian[1].update(russian[1])
143
144czech = {
145    u'č': u'c', u'ď': u'd', u'ě': u'e', u'ň': u'n', u'ř': u'r', u'š': u's',
146    u'ť': u't', u'ů': u'u', u'ž': u'z',
147    u'Č': u'C', u'Ď': u'D', u'Ě': u'E', u'Ň': u'N', u'Ř': u'R', u'Š': u'S',
148    u'Ť': u'T', u'Ů': u'U', u'Ž': u'Z',
149}
150
151polish = {
152    u'ą': u'a', u'ć': u'c', u'ę': u'e', u'ł': u'l', u'ń': u'n', u'ó': u'o',
153    u'ś': u's', u'ź': u'z', u'ż': u'z',
154    u'Ą': u'A', u'Ć': u'C', u'Ę': u'E', u'Ł': u'L', u'Ń': u'N', u'Ó': u'O',
155    u'Ś': u'S', u'Ź': u'Z', u'Ż': u'Z',
156}
157
158latvian = {
159    u'ā': u'a', u'č': u'c', u'ē': u'e', u'ģ': u'g', u'ī': u'i', u'ķ': u'k',
160    u'ļ': u'l', u'ņ': u'n', u'š': u's', u'ū': u'u', u'ž': u'z',
161    u'Ā': u'A', u'Č': u'C', u'Ē': u'E', u'Ģ': u'G', u'Ī': u'i', u'Ķ': u'k',
162    u'Ļ': u'L', u'Ņ': u'N', u'Š': u'S', u'Ū': u'u', u'Ž': u'Z',
163}
164
165kazakh = (russian[0].copy(), {
166    u'ә': u'a', u'ғ': u'g', u'қ': u'k', u'ң': 'n', u'ө': u'o', u'ұ': u'u',
167    u'ү': u'u', u'һ': u'h', u'і': u'i',
168    u'Ә': u'A', u'Ғ': u'G', u'Қ': u'K', u'Ң': 'N', u'Ө': u'O', u'Ұ': u'U',
169    u'Ү': u'U', u'Һ': u'H', u'І': u'I',
170})
171kazakh[1].update(russian[1])
172
173farsi = {
174    u'ا': u'a',
175    u'أ': u'a', u'\uFE81': u'a', u'\uFE82': u'a',
176    u'آ': u'a', u'\uFE83': u'a', u'\uFE84': u'a',
177    u'ب': u'b', u'\uFE8F': u'b', u'\uFE90': u'b', u'\uFE92': u'b', u'\uFE91': u'b',
178    u'ت': u't', u'\uFE95': u't', u'\uFE96': u't', u'\uFE98': u't', u'\uFE97': u't',
179    u'ث': u'th', u'\uFE99': u'th', u'\uFE9A': u'th', u'\uFE9C': u'th', u'\uFE9B': u'th',
180    u'ج': u'j', u'\uFE9D': u'j', u'\uFE9E': u'j', u'\uFEA0': u'j', u'\uFE9F': u'j',
181    u'ح': u'h', u'\uFEA1': u'h', u'\uFEA2': u'h', u'\uFEA4': u'h', u'\uFEA3': u'h',
182    u'خ': u'x', u'\uFEA5': u'x', u'\uFEA6': u'x', u'\uFEA8': u'x', u'\uFEA7': u'x',
183    u'د': u'd', u'\uFEA9': u'd', u'\uFEAA': u'd',
184    u'ذ': u'd', u'\uFEAB': u'd', u'\uFEAC': u'd',
185    u'ر': u'r', u'\uFEAD': u'r', u'\uFEAE': u'r',
186    u'ز': u'z', u'\uFEAF': u'z', u'\uFEB0': u'z',
187    u'س': u's', u'\uFEB1': u's', u'\uFEB2': u's', u'\uFEB4': u's', u'\uFEB3 ': u's',
188    u'ش': u'sh', u'\uFEB5': u'sh', u'\uFEB6': u'sh', u'\uFEB8': u'sh', u'\uFEB7': u'sh',
189    u'ص': u's', u'\uFEB9': u's', u'\uFEBA': u's', u'\uFEBC': u's', u'\uFEBB': u's',
190    u'ض': u'd', u'\uFEBD': u'd', u'\uFEBE': u'd', u'\uFEC0': u'd', u'\uFEBF': u'd',
191    u'ط': u't', u'\uFEC1': u't', u'\uFEC2': u't', u'\uFEC4': u't', u'\uFEC3': u't',
192    u'ظ': u'z', u'\uFEC5': u'z', u'\uFEC6': u'z', u'\uFEC8': u'z', u'\uFEC7': u'z',
193    u'ع': u'ao', u'\uFEC9': u'ao', u'\uFECA': u'ao', u'\uFECC': u'ao', u'\uFECB': u'ao',
194    u'غ': u'za', u'\uFECD': u'za', u'\uFECE': u'za', u'\uFED0': u'za', u'\uFECF': u'za',
195    u'ف': u'f', u'\uFED1': u'f', u'\uFED2': u'f', u'\uFED4': u'f', u'\uFED3': u'f',
196    u'ق': u'q', u'\uFED5': u'q', u'\uFED6': u'q', u'\uFED8': u'q', u'\uFED7': u'q',
197    u'ك': u'k', u'\uFED9': u'k', u'\uFEDA': u'k', u'\uFEDC': u'k', u'\uFEDB': u'k',
198    u'ل': u'l', u'\uFEDD': u'l', u'\uFEDE': u'l', u'\uFEE0': u'l', u'\uFEDF': u'l',
199    u'م': u'm', u'\uFEE1': u'm', u'\uFEE2': u'm', u'\uFEE4': u'm', u'\uFEE3': u'm',
200    u'ن': u'n', u'\uFEE5': u'n', u'\uFEE6': u'n', u'\uFEE8': u'n', u'\uFEE7': u'n',
201    u'ه': u'h', u'\uFEE9': u'h', u'\uFEEA': u'h', u'\uFEEC': u'h', u'\uFEEB': u'h',
202    u'و': u'wa', u'\uFEED': u'wa', u'\uFEEE': u'wa',
203    u'ي': u'ya', u'\uFEF1': u'ya', u'\uFEF2': u'ya', u'\uFEF4': u'ya', u'\uFEF3': u'ya',
204    u'ة': u'at', u'\uFE93': u'at', u'\uFE94': u'at',
205    u'ى': u'a', u'\uFEEF': u'a', u'\uFEF0': u'a',
206    u'ی': u'ye', u'\uFBFC': u'ye', u'\uFBFD': u'ye', u'\uFBFE': u'ye', u'\uFBFF': u'ye',
207    # Arabic Sukun
208    u'\u064B': u'', u'\u064C': u'', u'\u064D': u'', u'\u064E': u'', u'\u064F': u'',
209    u'\u0650': u'', u'\u0651': u'', u'\u0652': u'', u'\u0653': u'', u'\u0670': u'',
210    # Arabic punctuation
211    u'،': u',', u'؍': u'.', u'؟': u'?', u'٭': u'★', u'؞': u'...', u'٬': u'\'', u'\u200C': u'',
212}
213
214ascii_str = (u'_0123456789'
215             u'abcdefghijklmnopqrstuvwxyz'
216             u'ABCDEFGHIJKLMNOPQRSTUVWXYZ'
217             u'!"#$%&\'()*+,_-./:;<=>?@[\\]^`{|}~ \t\n\r\x0b\x0c')
218
219ascii = ({}, dict(zip(ascii_str, ascii_str)))
220for t in [latin, greek, turkish, russian, ukrainian, czech, polish, latvian, kazakh, farsi]:
221    if isinstance(t, dict):
222        t = ({}, t)
223
224    ascii[0].update(t[0])
225    ascii[1].update(t[1])
226
227del t
228ascii[1][None] = u'_'
229
230
231slug = (ascii[0].copy(), ascii[1].copy())
232for c in u'''!"#$%&'()*+,_-./:;<=>?@[\\]^`{|}~ \t\n\r\x0b\x0c''':
233    del slug[1][c]
234
235tables = {u'ascii': ascii, u'text': ascii, u'slug': slug, u'id': slug}
236
237# Main Trans with default tales
238# It uses for str.encode('trans')
239trans = Trans(tables=tables, default_table='ascii')
240
241
242# trans codec work only with python 2
243if PY2:
244    def encode(input, errors='strict', table_name='ascii'):
245        try:
246            table = trans.tables[table_name]
247        except KeyError:
248            raise ValueError("Table {0!r} not found in tables!".format(table_name))
249        else:
250            data = trans(input, table)
251            return data, len(data)
252
253    def no_decode(input, errors='strict'):
254        raise TypeError("trans codec does not support decode.")
255
256    def trans_codec(enc):
257        if enc == 'trans':
258            return codecs.CodecInfo(encode, no_decode)
259
260        try:
261            enc_name, table_name = enc.split(u'/', 1)
262        except ValueError:
263            return None
264
265        if enc_name != 'trans':
266            return None
267
268        if table_name not in trans.tables:
269            raise ValueError(u"Table {0!r} not found in tables!").format(table_name)
270
271        return codecs.CodecInfo(lambda i, e='strict': encode(i, e, table_name), no_decode)
272
273    codecs.register(trans_codec)
274