yapay zekanin metni işlerken kullandığı küçük parçalara verilen ad. bir token bazen bir kelime, bazen kelimenin bir bölümü veya noktalama işareti olabilir. modellerin ne kadar metin okuyabildiği ve cevap üretebildiği çoğu zaman token sayısıyla ölçülür.
şükela: tümü
|
bugün
başlıkta ara
