tokenizer

Wikisanakirjasta

Englanti[muokkaa]

Substantiivi[muokkaa]

tokenizer (monikko tokenizers)

  1. (tietotekniikka) tietokoneohjelma tai aliohjelma, joka muuntaa syötteen sen koostumusta vastaaviksi diskreeteiksi symboleiksi

Etymologia[muokkaa]

johdos verbistä tokenize

Noudettu kohteesta ”https://fi.wiktionary.org/w/index.php?title=tokenizer&oldid=4452754”