LLM tokenizer
左側のボックスにテキストを入れると、 Anthropic / OpenAI それぞれで分割したときのトークン数を計算します
text
Clear
Anthropic's token
OpenAI GPT 3.5 's token
Share via Link