TOM - gpt api speech & vision для ПК

API OpenAI теперь общедоступен, и с помощью TOM вы можете раскрыть возможности GPT-4 Turbo и GPT-4 Vision на своем мобильном устройстве.

Поговорите с ним, начните обсуждение или сделайте фотографии и задайте о них вопросы.

Измените его поведение, нажав на системную подсказку. Заставьте его играть любую роль, какую захотите.

Наслаждайтесь самым точным распознаванием голоса с помощью OpenAI Whisper и идеально человеческой речью с помощью TTS OpenAI. Альтернативно, оставьте их отключенными и используйте сервисы Google для снижения задержек и затрат, а также для более быстрого взаимодействия с пользователем.

Вы также можете использовать GPT 3.5 Turbo, чтобы минимизировать затраты.

API-клиент

Чтобы использовать GPT 4 Turbo или GPT 4 Vision, вам не нужна подписка: достаточно ключ API. И хорошая новость: ключи API бесплатны на сайте OpenAI. Вот как начать:

1. Перейдите на https://openai.com.
2. Зарегистрируйтесь бесплатно.
3. После регистрации вы получите кредит API в размере 5 долларов США, который позволит вам подробно изучить возможности TOM.
4. Создайте свой ключ API бесплатно.
5. Используйте свой ключ API в TOM, чтобы раскрыть ЗВЕРЯ

Если в любой момент вам понадобится обновить или изменить используемый вами ключ API, нажмите кнопку КЛЮЧ.

Элементы управления

Используйте селектор вверху для переключения между GPT-3.5 Turbo и GPT-4 Turbo, чтобы управлять своими расходами или для более быстрого реагирования. GPT-4 Vision автоматически выбирается каждый раз, когда вы делаете фотографию.

Нажмите на описание Тома, чтобы настроить собственную системную подсказку. Он расскажет GPT, как взаимодействовать с вами.

Нажмите кнопку ГОВОРИТЬ, чтобы поговорить с GPT.
Нажмите кнопку КАМЕРА, чтобы сделать снимок и задать что-нибудь о нем.
Вы можете продолжить обсуждение этой фотографии, нажав после этого «ГОВОРИТЬ».
Однако ваш КОНТЕКСТ будет расти.

Каков контекст?

Контекст включает в себя все сказанное в вашем текущем разговоре, включая сделанные фотографии. Он каждый раз отправляется в API, так как GPT его запоминает.

Оно растет с каждым новым предложением и особенно с каждой новой картинкой. Чем больше контекста, отправляемого в API, тем дольше время ответа. И что немаловажно, OpenAI взимает плату в зависимости от размера вашего контекста.

Чтобы найти правильный баланс, TOM предоставляет возможность очищать контекст всякий раз, когда он становится особенно тяжелым, хотя GPT тогда забывает все предыдущие взаимодействия. Для этого используйте кнопку BIN.

Размеры изображения

TOM предлагает три настройки изображений, отправляемых в GPT: быстро, средне и качественно.

«Быстро» — значение по умолчанию, обеспечивающее изображения меньшего размера для более быстрого взаимодействия с GPT. Он хорошо работает с текстами и большинством типов изображений.

«Средний» обеспечивает больше деталей, но приводит к получению немного большего размера изображения.

Используйте слово «качество» для большей точности. Эти изображения являются самыми тяжелыми и дорогостоящими в OpenAI API.

Шепот и ТТС

Whisper — это нейронная сеть OpenAI, которая по надежности и точности распознавания речи приближается к человеческому уровню. Если эта функция включена, вы получите повышенную точность распознавания голоса, который TOM отправляет в GPT, но за дополнительную плату.

TTS (Text-to-Speech) — это система OpenAI, которая превращает текст в реалистичный разговорный звук. Это также влечет за собой дополнительные расходы.

Обе опции по умолчанию отключены для более быстрого взаимодействия с пользователем, поскольку они приводят к некоторой задержке. Однако, если оба включены, впечатления действительно потрясающие.