Калькулятор токенов OpenAI ChatGPT: сколько знаков в одном токене и какие ограничения на использование?

Калькулятор токенов OpenAI ChatGPT и ChatGPT-3.5-Turbo использует токенизатор, который разбивает текст на части, известные как токены. Один токен может содержать от одного до четырех символов кириллицы. Например, слово “привет” будет разбито на три токена: “при”, “ве”, “т”. Это связано с тем, что токенизатор использует подход, основанный на байтах, и каждый токен может содержать до четырех байтов информации. Поскольку каждый символ кириллицы занимает два байта, один токен может содержать до двух символов кириллицы. Однако некоторые символы, такие как пробелы или знаки препинания, занимают меньше места, поэтому один токен может содержать до четырех таких символов.

GPT-4 является последователем модели GPT-3 и представляет собой более мощную и продвинутую версию. Она обучается на больших объемах текстовых данных, включая Интернет, чтобы освоить обширный контекст и знания о языке. GPT-4 может выполнять задачи автоматического создания текста, ответа на вопросы, генерации кода, перевода текста на другие языки и многие другие.  Летом этого года ожидается релиз модели ChatGPT-5. В данный момент она находится на этапе обучения, после пройдут испытания на безопасность.

В таблице ниже показано значение скорости ввода и вывода (за 1 тыс. токенов) в соответствии с последним обновлением цен OpenAI

Модель GPT-3.5 Turbo	Ввод	Вывод
Контекст 4K	$ 0.0015 / 1 тыс. токенов	$ 0.002 / 1 тыс. токенов
Контекст 16K	$ 0.003 / 1 тыс. токенов	$ 0.004 / 1 тыс. токенов

Модель GPT 4	Ввод	Вывод
Контекст 8K	$ 0.03 / 1 тыс. токенов	$ 0.06 / 1 тыс. токенов
Контекст 32K	$ 0.06 / 1 тыс. токенов	0,12 доллара / 1 тыс. токенов

Модель GPT 4 Turbo	Ввод	Вывод
GPT-4-1106- предварительный просмотр 128K контекста	$ 0.01 / 1 тыс. токенов	$ 0.03 / 1 тыс. токенов
GPT-4-1106- Vision-предварительный просмотр 128K контекста	$ 0.01 / 1 тыс. токенов	$ 0.03 / 1 тыс. токенов

Полезным руководством является то, что примерно один токен соответствует примерно четырем символам текста на обычном английском. Это означает, что примерно три четверти слова представлены одним токеном. Итак, если у вас есть 100 токенов, это будет примерно равно 75 словам.

Стоимость одного токена модели CHATgpt-3.5-turbo составляет 0,002 доллара. Эта модель является флагманской в своей серии и оптимизирована для диалогов. Она поддерживает окно контекста размером 16K. Это в 10 раз дешевле, чем существующие модели GPT-3. Пожалуйста, учтите, что цены могут меняться. Подробную и актуальную информацию о ценах на все GPT модели можно посмотреть в OpenAI ChatGPT Token Calculator

В калькуляторе токенов OpenAI ChatGPT используется 750 слов = 1000 токенов. Тарифы указаны в долларах США.

Подсчет стоимости конкретного текста можно в OpenAI Tokenizer

Ограничения ставок на использование API OpenAI  

Ограничения ставок на использование API OpenAI в начальном, бесплатном пакете, где начисляются 5$ при регистрации, распространяются на:

1. Ограничения скорости, применяемые к токенам в минуту – TPM

2. Запросам в минуту – RPM

3. Запросам в день – RPD, а также другие ограничения, зависящие от модели.

MODEL CHAT	TOKEN LIMITS	REQUEST AND OTHER LIMITS
gpt-3.5-turbo	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-0301	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-0613	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-1106	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-16k	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-16k-0613	40 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-instruct	150 000 TPM	3 RPM 200 RPD
gpt-3.5-turbo-instruct-0914	150 000 TPM	3 RPM 200 RPD
TEXT
ada	150 000 TPM	3 RPM 200 RPD
ada-code-search-code	150 000 TPM	3 RPM 200 RPD
ada-code-search-text	150 000 TPM	3 RPM 200 RPD
ada-search-document	150 000 TPM	3 RPM 200 RPD
ada-search-query	150 000 TPM	3 RPM 200 RPD
ada-similarity	150 000 TPM	3 RPM 200 RPD
babbage	150 000 TPM	3 RPM 200 RPD
babbage-002	150 000 TPM	3 RPM 200 RPD
babbage-code-search-code	150 000 TPM	3 RPM 200 RPD
babbage-code-search-text	150 000 TPM	3 RPM 200 RPD

В закрытом пока Телеграм канале Нейротворчество, вы можете ознакомиться с  возможностью ChatGPT-4, Stable Diffusion и других нейронок, писать рассказы, сказки и генерировать к ним иллюстрации и решить – стоит ли оно тех денег.

На нашем сайте вы можете совершенно бесплатно и без регистрации, попробовать и сравнить бесплатные нейросети: ChatGPT-4 и Zephyr-7B-β на русском языке, не ломая голову над тем, где достать $ для оплаты интересующих тарифных планов в OpenAI,  что позволит вам создавать уникальный контент в 10 раз быстрее.

От копирайтинга статей в блогах, без плагиата и нарушения авторских прав, создания привлекательных электронных писем, до SEO-оптимизированных рекламных статей, продающих заголовков и описаний товаров и многое другое можно создавать легко и совершенно бесплатно на нашем сайте.

Также мы предлагаем Your AI – Бесплатный и быстрый онлайн генератор изображений из текста на базе AI Stable-Diffusion XL

По материалам собственного исследования и разработкам

Дивергент