1package hu 2 3import ( 4 "github.com/blevesearch/bleve/analysis" 5 "github.com/blevesearch/bleve/registry" 6) 7 8const StopName = "stop_hu" 9 10// this content was obtained from: 11// lucene-4.7.2/analysis/common/src/resources/org/apache/lucene/analysis/snowball/ 12// ` was changed to ' to allow for literal string 13 14var HungarianStopWords = []byte(` | From svn.tartarus.org/snowball/trunk/website/algorithms/hungarian/stop.txt 15 | This file is distributed under the BSD License. 16 | See http://snowball.tartarus.org/license.php 17 | Also see http://www.opensource.org/licenses/bsd-license.html 18 | - Encoding was converted to UTF-8. 19 | - This notice was added. 20 | 21 | NOTE: To use this file with StopFilterFactory, you must specify format="snowball" 22 23| Hungarian stop word list 24| prepared by Anna Tordai 25 26a 27ahogy 28ahol 29aki 30akik 31akkor 32alatt 33által 34általában 35amely 36amelyek 37amelyekben 38amelyeket 39amelyet 40amelynek 41ami 42amit 43amolyan 44amíg 45amikor 46át 47abban 48ahhoz 49annak 50arra 51arról 52az 53azok 54azon 55azt 56azzal 57azért 58aztán 59azután 60azonban 61bár 62be 63belül 64benne 65cikk 66cikkek 67cikkeket 68csak 69de 70e 71eddig 72egész 73egy 74egyes 75egyetlen 76egyéb 77egyik 78egyre 79ekkor 80el 81elég 82ellen 83elő 84először 85előtt 86első 87én 88éppen 89ebben 90ehhez 91emilyen 92ennek 93erre 94ez 95ezt 96ezek 97ezen 98ezzel 99ezért 100és 101fel 102felé 103hanem 104hiszen 105hogy 106hogyan 107igen 108így 109illetve 110ill. 111ill 112ilyen 113ilyenkor 114ison 115ismét 116itt 117jó 118jól 119jobban 120kell 121kellett 122keresztül 123keressünk 124ki 125kívül 126között 127közül 128legalább 129lehet 130lehetett 131legyen 132lenne 133lenni 134lesz 135lett 136maga 137magát 138majd 139majd 140már 141más 142másik 143meg 144még 145mellett 146mert 147mely 148melyek 149mi 150mit 151míg 152miért 153milyen 154mikor 155minden 156mindent 157mindenki 158mindig 159mint 160mintha 161mivel 162most 163nagy 164nagyobb 165nagyon 166ne 167néha 168nekem 169neki 170nem 171néhány 172nélkül 173nincs 174olyan 175ott 176össze 177ő 178ők 179őket 180pedig 181persze 182rá 183s 184saját 185sem 186semmi 187sok 188sokat 189sokkal 190számára 191szemben 192szerint 193szinte 194talán 195tehát 196teljes 197tovább 198továbbá 199több 200úgy 201ugyanis 202új 203újabb 204újra 205után 206utána 207utolsó 208vagy 209vagyis 210valaki 211valami 212valamint 213való 214vagyok 215van 216vannak 217volt 218voltam 219voltak 220voltunk 221vissza 222vele 223viszont 224volna 225`) 226 227func TokenMapConstructor(config map[string]interface{}, cache *registry.Cache) (analysis.TokenMap, error) { 228 rv := analysis.NewTokenMap() 229 err := rv.LoadBytes(HungarianStopWords) 230 return rv, err 231} 232 233func init() { 234 registry.RegisterTokenMap(StopName, TokenMapConstructor) 235} 236