1 use pipeline::Pipeline;
2
make_pipeline() -> Pipeline3 pub fn make_pipeline() -> Pipeline {
4 Pipeline {
5 queue: vec![
6 ("trimmer-no".into(), trimmer),
7 ("stopWordFilter-no".into(), stop_word_filter),
8 ("stemmer-no".into(), stemmer),
9 ],
10 }
11 }
12
13 make_trimmer!(
14 "A-Za-z\\xAA\\xBA\\xC0-\\xD6\\xD8-\\xF6\\xF8-\\u02B8\\u02E0-\\u02E4\\u1D00-\\u1D25\\u1D2C-\
15 \\u1D5C\\u1D62-\\u1D65\\u1D6B-\\u1D77\\u1D79-\\u1DBE\\u1E00-\\u1EFF\\u2071\\u207F\\u2090-\
16 \\u209C\\u212A\\u212B\\u2132\\u214E\\u2160-\\u2188\\u2C60-\\u2C7F\\uA722-\\uA787\\uA78B-\
17 \\uA7AD\\uA7B0-\\uA7B7\\uA7F7-\\uA7FF\\uAB30-\\uAB5A\\uAB5C-\\uAB64\\uFB00-\\uFB06\\uFF21-\
18 \\uFF3A\\uFF41-\\uFF5A"
19 );
20
21 make_stop_word_filter!([
22 "", "alle", "at", "av", "bare", "begge", "ble", "blei", "bli", "blir", "blitt", "både", "båe",
23 "da", "de", "deg", "dei", "deim", "deira", "deires", "dem", "den", "denne", "der", "dere",
24 "deres", "det", "dette", "di", "din", "disse", "ditt", "du", "dykk", "dykkar", "då", "eg",
25 "ein", "eit", "eitt", "eller", "elles", "en", "enn", "er", "et", "ett", "etter", "for",
26 "fordi", "fra", "før", "ha", "hadde", "han", "hans", "har", "hennar", "henne", "hennes", "her",
27 "hjå", "ho", "hoe", "honom", "hoss", "hossen", "hun", "hva", "hvem", "hver", "hvilke",
28 "hvilken", "hvis", "hvor", "hvordan", "hvorfor", "i", "ikke", "ikkje", "ikkje", "ingen",
29 "ingi", "inkje", "inn", "inni", "ja", "jeg", "kan", "kom", "korleis", "korso", "kun", "kunne",
30 "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "man", "mange", "me", "med", "medan",
31 "meg", "meget", "mellom", "men", "mi", "min", "mine", "mitt", "mot", "mykje", "ned", "no",
32 "noe", "noen", "noka", "noko", "nokon", "nokor", "nokre", "nå", "når", "og", "også", "om",
33 "opp", "oss", "over", "på", "samme", "seg", "selv", "si", "si", "sia", "sidan", "siden", "sin",
34 "sine", "sitt", "sjøl", "skal", "skulle", "slik", "so", "som", "som", "somme", "somt", "så",
35 "sånn", "til", "um", "upp", "ut", "uten", "var", "vart", "varte", "ved", "vere", "verte", "vi",
36 "vil", "ville", "vore", "vors", "vort", "vår", "være", "være", "vært", "å"
37 ]);
38
39 make_stemmer!(Algorithm::Norwegian);
40