Lines Matching refs:maxTokens

18546 func segmentWords(data []byte, maxTokens int, atEOF bool, val [][]byte, types []int) ([][]byte, []i…
18548   cap := maxTokens
18680     if maxTokens > 0 && len(val) >= maxTokens {
18699     if maxTokens > 0 && len(val) >= maxTokens {
18718     if maxTokens > 0 && len(val) >= maxTokens {
18734     if maxTokens > 0 && len(val) >= maxTokens {
18753     if maxTokens > 0 && len(val) >= maxTokens {
18772     if maxTokens > 0 && len(val) >= maxTokens {
18799     if maxTokens > 0 && len(val) >= maxTokens {
18826     if maxTokens > 0 && len(val) >= maxTokens {
18853     if maxTokens > 0 && len(val) >= maxTokens {
18880     if maxTokens > 0 && len(val) >= maxTokens {
18896     if maxTokens > 0 && len(val) >= maxTokens {
18914     if maxTokens > 0 && len(val) >= maxTokens {
18932     if maxTokens > 0 && len(val) >= maxTokens {
18947     if maxTokens > 0 && len(val) >= maxTokens {
18965     if maxTokens > 0 && len(val) >= maxTokens {
18983     if maxTokens > 0 && len(val) >= maxTokens {
19009     if maxTokens > 0 && len(val) >= maxTokens {
19035     if maxTokens > 0 && len(val) >= maxTokens {
19061     if maxTokens > 0 && len(val) >= maxTokens {
19079     if maxTokens > 0 && len(val) >= maxTokens {
19095     if maxTokens > 0 && len(val) >= maxTokens {
19111     if maxTokens > 0 && len(val) >= maxTokens {
19124     if maxTokens > 0 && len(val) >= maxTokens {
19140     if maxTokens > 0 && len(val) >= maxTokens {
19164     if maxTokens > 0 && len(val) >= maxTokens {
19188     if maxTokens > 0 && len(val) >= maxTokens {
19212     if maxTokens > 0 && len(val) >= maxTokens {
19254     if maxTokens > 0 && len(val) >= maxTokens {
19284     if maxTokens > 0 && len(val) >= maxTokens {
19327     if maxTokens > 0 && len(val) >= maxTokens {
19361     if maxTokens > 0 && len(val) >= maxTokens {