{/ Эта страница автоматически передается из файла навыков SKILL.md с помощью сайта/scripts/generate-skill-docs.py. Редактируйте исходный SKILL.md, а не эту страницу. /}

Аксолотль

Аксолотль: тонкая настройка YAML LLM (LoRA, DPO, GRPO).

Метаданные навыки


Источник	Опционально — установка: `гермес навыки установки официальный/mlops/axolotl`
Путь	`необязательные навыки/млопс/обучение/аксолотль`
Версия	`1.0.0`
Автор	Исследование оркестра
Лицензия	Массачусетский технологический институт
Зависимости	`аксолотль`, `факел`, `трансформеры`, `наборы данных`, `пефт`, `ускорение`, `глубокая скорость`
Платформы	Linux, MacOS
Теги	`Точная настройка`, `Аксолотл`, `LLM`, `LoRA`, `QLoRA`, `DPO`, `KTO`, `ORPO`, `GRPO`, `YAML`, `HuggingFace`, `DeepSpeed`, `Мультимодальный`

Справочник: полный SKILL.md:::информация

Ниже приведено полное определение навыков, которые Hermes загружает при его активации. Именно эта инструкция видит агента, когда навыки активны.

Навык Аксолотль

Что внутри

Экспертное руководство по тонкой настройке LLM с помощью Axolotl — конфигурация YAML, 100+ моделей, LoRA/QLoRA, DPO/KTO/ORPO/GRPO, поддержка мультимодальности.

Комплексная помощь в разработке с Аксолотлем, сгенерированная из официальной документации.

Когда использовать этот навык

Этот навык следует активировать, когда: - Работа с аксолотлем - Вопросы о функциях или API аксолотля - Реализация решений на аксолотле - Отладка кода аксолотля - Изучение лучших практик аксолотля

Быстрая справка

Распространенные шаблоны

Шаблон 1: Чтобы убедиться, что скорость передачи данных достаточна для ваших задач обучения, запуск тестов NCCL может помочь выявить узкие места, например: ```./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

**Шаблон 2:** Настроить модель использования FSDP в YAML-файле Axolotl. Например:

fsdp_version: 2 fsdp_config: offload_params: true state_dict_type: FULL_STATE_DICT auto_wrap_policy: TRANSFORMER_BASED_WRAP transformer_layer_cls_to_wrap: LlamaDecoderLayer reshard_after_forward: true

**Шаблон 3:** Значение context_parallel_size должно быть разделителем общего количества GPU. Например:

context_parallel_size

**Шаблон 4:** Например: - С 8 графических процессоров и без параллелизма последовательно: 8 различных батчей обрабатываются за шаг - С 8 графических процессоров и context_parallel_size=4: только 2 различных батча обрабатываются за шаг (каждый разделяется между 4 графическими процессорами) - Если ваш micro_batch_size на графическом процессоре равен 2, глобальный размер батча уменьшается с 16 до 4

context_parallel_size=4

**Шаблон 5:** Установка save_compressed: true в вашей конфигурации включает сохранение моделей в уменьшенном формате, что: - Уменьшает использование дискового пространства примерно на 40% - Сохраняет соответствие с vLLM для ускоренного вывода - Сохраняет соответствие с llmcompressor для дальнейшей оптимизации (например, квантования)

save_compressed: true

**Шаблон 6:** Нет необходимости размещать вашу интеграцию в интеграции с почтовым ящиком. Она может находиться в любом месте, если она установлена как пакет в вашем Python-окружении. Пример см. в этой репозитории: https://github.com/axolotl-ai-cloud/diff-transformer

integrations

**Шаблон 7:** Обрабатывайте как отдельные примеры, так и пакетные данные. - одиночный пример: sample['input_ids'] это список[int] - батчированные данные: sample['input_ids'] это список[list[int]]

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

### Примеры кода

**Пример 1** (питон):
```python
cli.cloud.modal_.ModalCloud(config, app=None)

Пример 2 (питон):

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

Пример 3 (питон):

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

Пример 4 (питон):

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

Пример 5 (питон):

prompt_strategies.input_output.RawInputOutputPrompter()

Справочные файлы

Этот навык включает подробную документацию в ссылках/:

api.md — Документация API
dataset-formats.md — Документация по формированию наборов данных
other.md — Прочая документация

Используйте view для чтения конкретных справочных документов, когда требуется дополнительная информация.

Работа с этим навыком

Для новичков

Воспользуйтесь справочными файлами Getting_started или учебными пособиями по освоению основ.

Для определенных функций

Используйте соответствующий справочный файл категории (API, Guides и т.д.) для получения подробной информации.

Для примера кода

Разделить внешнюю ссылку выше содержит распространенные шаблоны, сохраненные из официальной документации.

Ресурсы

ссылки/

Организованная документация, полученная из официальных источников. Эти файлы содержат: - Подробные объяснения - Примеры кода с аннотациями языка - Ссылки на оригинальную документацию -Содержание для внешней навигации

скрипты/

Добавьте сюда вспомогательные скрипты для автоматизации обычных задач.

активы/

Добавьте сюда шаблоны, стандартные блоки или модульные конструкции.

Примечания

Этот навык был автоматически сгенерирован из официальной документации.
Справочные файлы, сохраняющие структуру и образцы исходных документов.
Примеры кода включают определение языка для лучшей синтаксиса подсветки.
Шаблоны быстрого извлечения из типовых примеров использования в документации.

Обновление

Чтобы обновить эти навыки с обновленной документацией: 1. Повторно запустите скребок с той же конфигурацией. 2. Навык будет перестроен с последней информацией