{/ Эта страница автоматически создается на основе файла SKILL.md навыка с помощью сайта site/scripts/generate-skill-docs.py. Редактируйте исходный код SKILL.md, а не эту страницу. /}
Распределенная предварительная подготовка Llm Torchtitan
Обеспечивает предварительное обучение распределенному LLM на основе PyTorch с использованием torchtitan с 4D-параллелизмом (FSDP2, TP, PP, CP). Используйте при предварительном обучении Llama 3.1, DeepSeek V3 или пользовательских моделей в масштабе от 8 до 512+ графических процессоров с Float8, torch.compile и распределенными контрольными точками.
Метаданные навыков
| Источник | Необязательно — установите с помощью hermesskills installofficial/mlops/torchtitan |
| Путь | optional-skills/mlops/torchtitan |
| Версия | 1.0.0 |
| Автор | Исследование оркестра |
| Лицензия | Массачусетский технологический институт |
| Зависимости | факел>=2.6.0, торхтитан>=0.2.0, торчао>=0.5.0 |
| Платформы | Linux, MacOS |
| Теги | «Архитектура модели», «Распределенное обучение», «TorchTitan», «FSDP2», «Тензорная параллель», «Конвейерная параллель», «Контекстная параллель», «Float8», «Ллама», «Предварительное обучение» |
Ссылка: полная версия SKILL.md:::информация
Ниже приведено полное определение навыка, которое Гермес загружает при активации этого навыка. Это то, что агент видит в качестве инструкций, когда навык активен.