🏠 Главная › user guide › mlops whisper

{/ Эта страница автоматически передается из навыков SKILL.md с помощью сайта/scripts/generate-skill-docs.py. Редактируйте исходный SKILL.md, а не эту страницу. /}

Шепот

Универсальная модель речи от OpenAI. Поддерживает 99 языков, транскрипцию, перевод на английский и определение языка. Шесть размеров моделей от крошечных (39 миллионов параметров) до больших (1550 миллионов параметров). Используйте для преобразования речи в текст, транскрипции подкастов или многоязычной обработки аудио. Лучше всего подходит для надежного многоязычного ASR.

Метаданные навыки
Источник Опционально — установка с помощью hermes Skills Install Official/mlops/whisper
Путь необязательные навыки/млопс/шепот
Версия 1.0.0
Автор Исследование оркестра
Лицензия Массачусетский технологический институт
Зависимости опенай-шепот, трансформеры, факел
Платформы Linux, MacOS
Теги Шепот, Распознавание речи, ASR, Мультимодальный, Многоязычный, OpenAI, Преобразование речи в текст, Транскрипция, Перевод, Обработка звука

Справочник: полный SKILL.md:::информация

Ниже приведено полное определение навыков, которые Hermes загружает при активации этого навыка. Это то, что агент видит в качестве инструкций, когда навыки активны.

Whisper - Надежное распознавание речи

Многоязычная модель речи от OpenAI.

Когда использовать Шепот

Используйте, когда: - Нужна транскрипция речи в текст (99 языков) - Транскрипция подкастов/видео - Автоматизация заметок с встречами - Перевод на английский - Транскрипция зашумленного аудио - Многоязычная обработка аудио

Метрики: - 72 900+ звезд на GitHub - Поддержка 99 языков - Обучена на 680 000 часов аудио - Лицензия MIT

Используйте альтернативы вместо этого: - AssemblyAI: Управляемый API, диаризация дикторов. - Deepgram: Потоковый ASR в первое время - Google Speech-to-Text: Облачное решение

Быстрый старт

Установка

# Требуется Python 3.8-3.11
pip install -U openai-whisper

# Требуется ffmpeg
# macOS: brew install ffmpeg
# Ubuntu: sudo apt install ffmpeg
# Windows: choco install ffmpeg

Базовая транскрипция

import whisper

# Загрузка модели
model = whisper.load_model("base")

# Транскрипция
result = model.transcribe("audio.mp3")

# Вывод текста
print(result["text"])

# Доступ к сегментам
for segment in result["segments"]:
    print(f"[{segment['start']:.2f}s - {segment['end']:.2f}s] {segment['text']}")

Размеры моделей

# Доступные модели
models = ["tiny", "base", "small", "medium", "large", "turbo"]

# Загрузка конкретной модели
model = whisper.load_model("turbo")  # Самая быстрая, хорошее качество
Модель Параметры Только английский Многоязычная Скорость видеопамять
крошечный 39М ✓ ✓ ~32x ~1 ГБ
база 74М ✓ ✓ ~16x ~1 ГБ
маленький 244М ✓ ✓ ~6x ~2 ГБ
средний 769М ✓ ✓ ~2x ~5 ГБ
большой 1550М ✗ ✓ 1x ~10 ГБ
турбо 809М ✗ ✓ ~8x ~6 ГБ

Рекомендация: используйте «турбо» для лучшего соответствия скорости/качества, «базу» для прототипирования.

Параметры транскрипции

Указание языка

# Автоопределение языка
result = model.transcribe("audio.mp3")

# Указание языка (быстрее)
result = model.transcribe("audio.mp3", language="en")

# Поддерживаемые: en, es, fr, de, it, pt, ru, ja, ko, zh и еще 89

Выбор задачи

# Транскрипция (по умолчанию)
result = model.transcribe("audio.mp3", task="transcribe")

# Перевод на английский
result = model.transcribe("spanish.mp3", task="translate")
# Вход: испанское аудио → Выход: английский текст

Начальный промпт

# Улучшение точности с помощью контекста
result = model.transcribe(
    "audio.mp3",
    initial_prompt="Это технический подкаст о машинном обучении и ИИ."
)

# Помогает с:
# - Техническими терминами
# - Именами собственными
# - Специфической лексикой

Временные метки

# Временные метки на уровне слов
result = model.transcribe("audio.mp3", word_timestamps=True)

for segment in result["segments"]:
    for word in segment["words"]:
        print(f"{word['word']} ({word['start']:.2f}s - {word['end']:.2f}s)")

Понижение температуры

# Повтор с разными температурами при низкой уверенности
result = model.transcribe(
    "audio.mp3",
    temperature=(0.0, 0.2, 0.4, 0.6, 0.8, 1.0)
)

Использование в командной строке

# Базовая транскрипция
whisper audio.mp3

# Указание модели
whisper audio.mp3 --model turbo

# Форматы вывода
whisper audio.mp3 --output_format txt     # Простой текст
whisper audio.mp3 --output_format srt     # Субтитры
whisper audio.mp3 --output_format vtt     # WebVTT
whisper audio.mp3 --output_format json    # JSON с временными метками

# Язык
whisper audio.mp3 --language Spanish

# Перевод
whisper spanish.mp3 --task translate

Пакетная обработка

import os

audio_files = ["file1.mp3", "file2.mp3", "file3.mp3"]

for audio_file in audio_files:
    print(f"Транскрибирую {audio_file}...")
    result = model.transcribe(audio_file)

    # Сохранение в файл
    output_file = audio_file.replace(".mp3", ".txt")
    with open(output_file, "w") as f:
        f.write(result["text"])

Транскрипция в первое время

# Для потокового аудио используйте faster-whisper
# pip install faster-whisper

from faster_whisper import WhisperModel

model = WhisperModel("base", device="cuda", compute_type="float16")

# Транскрипция с потоковой передачей
segments, info = model.transcribe("audio.mp3", beam_size=5)

for segment in segments:
    print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Ускорение на ГПУ

import whisper

# Автоматически использует GPU, если доступен
model = whisper.load_model("turbo")

# Принудительно CPU
model = whisper.load_model("turbo", device="cpu")

# Принудительно GPU
model = whisper.load_model("turbo", device="cuda")

# В 10-20 раз быстрее на GPU

Интеграция с другими инструментами

Генерация субтитров

# Генерация SRT субтитров
whisper video.mp4 --output_format srt --language English

# Вывод: video.srt

С LangChain

from langchain.document_loaders import WhisperTranscriptionLoader

loader = WhisperTranscriptionLoader(file_path="audio.mp3")
docs = loader.load()

# Использование транскрипции в RAG
from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

vectorstore = Chroma.from_documents(docs, OpenAIEmbeddings())

Извлечение аудио из видео

# Используйте ffmpeg для извлечения аудио
ffmpeg -i video.mp4 -vn -acodec pcm_s16le audio.wav

# Затем транскрибируйте
whisper audio.wav

Лучшая практика

  1. Используйте модель Turbo — Лучшее расположение/качества для английского.
  2. Указывайте язык - Быстрое, чем автоопределение
  3. Добавляйте начальный промпт - Улучшает распознавание технических терминов.
  4. Используйте графический процессор - в 10-20 раз быстрее
  5. Пакетная обработка — Более эффективно
  6. Конвертировать в WAV — лучшее сочетание
  7. Разбивайте длинное аудио - Чанки <30 минут
  8. Проверяйте поддержку языка — Качество меняется в зависимости от языка.
  9. Используйте быстрый шепот - В 4 раза быстрее опенай-шепот
  10. Следите за VRAM - Масштабируйте размер под модели.

Производительность

Модель Коэффициент реального времени (ЦП) Коэффициент реального времени (GPU)
крошечный ~0,32 ~0,01
база ~0,16 ~0,01
турбо ~0,08 ~0,01
большой ~1,0 ~0,05

Коэффициент реального времени: 0,1 = в 10 раз быстрее реального времени

Поддержка языков

Наиболее применимые языки: - Английский (en) - Испанский (и) - Французский (фр.) - Немецкий (де) - Итальянский (оно) - Португальский (пт) - Русский (ru) - Японский (ja) - Корейский (ко) - Китайский (ж)

Полный список: всего 99 языков

Ограничения

  1. Галлюцинации - Можете повторять или выдумывать текст
  2. Точность на уровнях записей - Снижается аудио >30 минут
  3. Идентификация дикторов - Нет диаризации
  4. Акценты - Качество меняется.
  5. Фоновый шум — может повлиять на точность.
  6. Задержка в первое время — Не подходит для живых субтитров.

Ресурсы