Перейти к содержанию
Никита ПрудниковEN: Read in English
Все проекты

Платформы: Windows · Linux · macOS

Скоро

Hyperscribe Companion

Переносит распознавание речи Hyperscribe на видеокарту компьютера — субтитры быстрее.

Загрузка

Первый публичный выпуск готовится. Пока его нет, можно собрать проект из исходников.

Окно Hyperscribe Companion трижды: приветствие с загрузкой модели, живая расшифровка и настройки вычислений

Что это

Необязательный ускоритель Hyperscribe для компьютера. Телефон передаёт звук с микрофона очков на компьютер через Tailscale, Companion распознаёт речь на видеокарте и возвращает субтитры на телефон и линзу.

Одна модель на всех платформах: NVIDIA Nemotron 3.5 ASR, 32 языковые локали, включая русский, украинский, китайский, японский и корейский, с пунктуацией. Слова доходят до телефона примерно через десятую долю секунды.

Hyperscribe работает и без него: у телефона есть офлайн-запас, и он переподключается, когда компьютер снова в сети. Companion держит звук и живую расшифровку только в памяти; записи сохраняются на телефоне.

Что умеет

  • Любая видеокарта или без неё

    NVIDIA через CUDA, AMD через ROCm или Vulkan, Intel через Vulkan, Apple silicon через Metal. Без подходящей видеокарты работает на процессоре — на современном компьютере всё равно в реальном времени.

  • Потоковое распознавание

    Слово закрепляется примерно через 0,3 с после того, как его произнесли, и больше не переписывается.

  • Приватно по умолчанию

    Доступен только на этом компьютере и в вашей сети Tailscale по HTTPS, никогда — из открытого интернета. Незашифрованный доступ по локальной сети выключен, пока вы сами его не включите.

  • И на серверах без экрана

    На сервере с видеокартой без монитора он печатает адрес для подключения и QR-код прямо в терминале.

Экраны

Приветствие: «Этот компьютер слушает», модель речи и кнопка Download 751 MB and start
Live: расшифровка, которую получает телефон, с устройством и временем обновления
Настройки: модель, вычислительный бэкенд и сервер

Что понадобится

  • Windows 10 или 11, Linux (x86_64 или arm64) или Mac на Apple silicon
  • Желательна видеокарта (NVIDIA, AMD, Intel или Apple), но можно и без неё
  • Около 1 ГБ свободного места для модели речи
  • Tailscale на компьютере и телефоне и Hyperscribe в очках G2

Как установить

По шагам, программировать не нужно.

  1. Шаг 1: Сначала настройте Hyperscribe

    Companion ускоряет Hyperscribe в очках, поэтому сначала установите его и убедитесь, что он работает сам по себе.

    Как установить Hyperscribe →
  2. Шаг 2: Установите Tailscale

    Tailscale — бесплатное приложение, которое приватно связывает ваши устройства, где бы они ни были. Установите его на компьютер и на телефон и войдите в один и тот же аккаунт.

    Скачать Tailscale ↗
  3. Шаг 3: Установите Companion

    Скачайте Companion для своей системы и откройте его. На Windows окно работает через Edge WebView2, который уже есть в Windows 10 и 11.

    Готовой сборки пока нет: соберите проект из исходников, как описано в разделе «Для разработчиков». Собрать из исходников →

  4. Шаг 4: Скачайте модель речи

    Нажмите Download 751 MB and start. Не закрывайте окно, пока модель скачивается, проверяется и прогревается.

  5. Шаг 5: Подключите телефон

    В Companion откройте вкладку Pair и дождитесь адреса, начинающегося с wss://. На телефоне откройте Hyperscribe → Settings → Companion, отсканируйте код, выберите When reachable и нажмите Test connection.

  6. Шаг 6: Начните запись

    Начните запись в очках или на телефоне. Вкладка Live в Companion показывает текст, который уходит обратно. Компьютер не должен засыпать, а Companion — закрываться.

Для разработчиков

Собрать из исходников

Нужны Git, uv и Python 3.11. Для NVIDIA ставьте с '.[cuda]', для AMD на Linux после установки запустите scripts/install-rocm.sh.

git clone https://github.com/prudnik-web/Hyperscribe-Companion.git
cd Hyperscribe-Companion
uv venv --python 3.11 .venv
source .venv/bin/activate      # Windows: .venv\Scripts\activate
uv pip install -e .            # NVIDIA: uv pip install -e '.[cuda]'
python -m companion

Репозиторий откроется с первым публичным выпуском; с этого момента команды заработают.

Что нового

  1. В следующей версии

    • Одна модель везде: NVIDIA Nemotron 3.5 ASR с потоковым распознаванием, слова закрепляются примерно за 0,3 с.
    • Поддержка Windows и Linux: CUDA, ROCm, Vulkan, Metal и процессор.
    • Режим без окна для машин без монитора и самопроверка.
  2. 0.1.0

    • Первый выпуск в исходниках для Mac на Apple silicon, подключение по QR-коду через Tailscale.

Другие проекты

  • Hypernova

    Пульт для Claude Code: на телефоне, в строке меню Mac и в очках.

  • Hyperscribe

    Живые субтитры в очках G2. Речь распознаётся на ваших устройствах, а не в облаке.

  • Hypernavigate

    Офлайн 3D-навигация по Петербургу на линзе умных очков.