Token

Model matnni qayta ishlaydigan bo‘lak: so‘z, so‘zning qismi yoki belgi. Matn hajmi tokenlar bilan o‘lchanadi.