Skyrim с нейросетью: как оживить NPC и установить мод Mantella

Что такое мод Mantella и как он работает

Mantella — это модификация для The Elder Scrolls V: Skyrim, которая интегрирует в игру большие языковые модели (LLM), такие как ChatGPT, Claude или локальные аналоги. Благодаря этому NPC перестают быть набором заскриптованных реплик и начинают генерировать уникальные ответы в реальном времени, учитывая контекст: ваши действия, местоположение, погоду и даже прошлые разговоры.

Мод работает как мост между игрой и внешними сервисами ИИ. Он состоит из трёх ключевых компонентов: «мозг» (LLM) отвечает за генерацию текста, «голос» (TTS) преобразует текст в речь, а «слух» (STT) распознаёт вашу речь с микрофона. Всё это синхронизируется через SKSE (Skyrim Script Extender) и позволяет NPC не только отвечать, но и запоминать ваши поступки, обижаться или радоваться.

Важно понимать: сама игра не справляется с такой нагрузкой, поэтому мод требует запуска дополнительных программ — xVASynth для синтеза речи и KoboldCpp для локального запуска LLM. Альтернативно можно использовать облачные API, но это требует оплаты и стабильного интернета.

Подготовка: версия игры и необходимые инструменты

Перед установкой Mantella важно выбрать правильную версию Skyrim. Рекомендуется использовать GOG-версию Special Edition, так как она лучше совместима с модами и не обновляется автоматически, что может ломать SKSE. Steam-версию тоже можно использовать, но придётся отключить автообновления и следить за совместимостью.

Вам понадобятся следующие инструменты:

• SKSE (Skyrim Script Extender) — расширяет скриптовые возможности игры. Скачивайте последнюю версию, совместимую с вашей версией игры.
• Mod Organizer 2 — менеджер модов, который позволяет удобно управлять установкой и запуском модификаций.
• xVASynth — программа для синтеза речи, которая озвучивает NPC с помощью нейросетей.
• KoboldCpp — локальный сервер для запуска LLM, если вы не хотите использовать облачные API.
• Дополнительные моды: Address Library, PapyrusUtil, UIExtensions, No NPC Greetings, World Encounter Hostility Fix и другие, необходимые для корректной работы Mantella.

Все эти компоненты бесплатны и распространяются через Nexus Mods или официальные сайты разработчиков.

Пошаговая установка SKSE и Mod Organizer 2

1. Установите Skyrim Special Edition (лучше GOG-версию) и запустите игру один раз, чтобы создать файлы конфигурации.
2. Скачайте SKSE с официального сайта и распакуйте архив в папку с игрой. Убедитесь, что файл skse64_loader.exe находится в той же папке, что и SkyrimSE.exe.
3. Установите Mod Organizer 2. При первом запуске выберите режим Portable и укажите папку для хранения модов.
4. В настройках Mod Organizer 2 подключите аккаунт Nexus Mods, чтобы можно было скачивать моды прямо из менеджера.
5. Скачайте и установите базовые моды: Address Library for SKSE Plugins, PapyrusUtil, UIExtensions, No NPC Greetings, World Encounter Hostility Fix, SkyUI (русская версия) и Unofficial SSE Patch (с русским переводом).

После установки всех модов проверьте, что они активны в списке. Порядок установки важен: сначала идут библиотеки, затем утилиты, потом патчи. Если что-то не работает, проверьте совместимость версий.

Настройка xVASynth для русской озвучки

xVASynth — это программа для синтеза речи, которая использует голосовые модели, обученные на оригинальных голосах актёров Skyrim. Для русской озвучки вам понадобятся специальные модели, например, Female Serana или Male Nord.

Установка:

1. Скачайте xVASynth v3 и патч к нему. Распакуйте в удобную папку, например, E:\OpenAI\xVASynth.
2. Скачайте русский словарь транскрипции и поместите его в папку resources\app\python\xvapitch\text\dicts.
3. Установите плагин .lip and .fuz plugin for xVASynth и FaceFXWrapper — они нужны для генерации файлов губной синхронизации.
4. Скачайте голосовые модели и распакуйте их в resources\app\models\Skyrim. Переименуйте файлы в соответствии с инструкцией (например, sk_serana.pt и sk_serana.json).
5. Запустите xVASynth, активируйте плагин и словари, проверьте пути к моделям и микрофону.

Важно: для русской речи лучше использовать модели, обученные на русских голосах, иначе произношение будет с сильным акцентом. Также можно использовать XTTS или Piper, но они требуют дополнительной настройки.

Выбор и запуск языковой модели (LLM)

Для работы Mantella нужна языковая модель, которая будет генерировать ответы NPC. Есть два варианта: локальный запуск через KoboldCpp или подключение к облачному API (например, OpenAI, OpenRouter).

Локальный вариант:

• Скачайте KoboldCpp и модель в формате GGUF, например, Mistral-Nemo-Instruct-2407. Эта модель хорошо поддерживает русский язык и работает на видеокартах NVIDIA (GTX 1660 и выше).
• Запустите koboldcpp.exe, укажите путь к модели и увеличьте контекст до 8192 токенов для лучшего запоминания диалогов.
• В файле GPT_SECRET_KEY.txt мода Mantella укажите адрес http://localhost:5001/api/.

Облачный вариант:

• Зарегистрируйтесь на OpenRouter или OpenAI, получите API-ключ.
• В настройках Mantella укажите модель (например, GPT-4 или Claude) и ключ.
• Этот вариант проще, но требует оплаты за каждый запрос.

Для русского языка важно, чтобы модель хорошо понимала кириллицу. Локальные модели, такие как Mistral Nemo, справляются с этим неплохо, но облачные GPT-4 и Claude — ещё лучше.

Установка Mantella и настройка конфигурации

Скачайте мод Mantella с Nexus Mods и установите его через Mod Organizer 2. После установки откройте папку мода и найдите файл GPT_SECRET_KEY.txt — впишите туда адрес вашего LLM-сервера (локального или облачного).

Затем откройте файл config.ini в папке Mantella Software и настройте параметры:

• game = Skyrim
• skyrim_folder — путь к папке с игрой
• skyrim_mod_folder — путь к папке с модом Mantella
• xvasynth_folder — путь к xVASynth
• language = ru (если хотите русскую озвучку)
• microphone_enabled = 1 (для голосового ввода) или 0 (для текстового)

Также можно указать custom_user_folder для хранения конфигов в отдельной папке. После сохранения изменений запустите игру через Mod Organizer 2, выбрав профиль SKSE. При первом запуске Mantella создаст дополнительные файлы конфигурации, которые можно будет отредактировать при необходимости.

Русская локализация: как заставить NPC говорить по-русски

Mantella изначально поддерживает английский язык, но энтузиасты создали русскую локализацию. Чтобы NPC говорили по-русски, нужно выполнить несколько условий:

1. STT (распознавание речи): используйте Whisper вместо Moonshine — он лучше понимает русский язык.
2. LLM: модель должна уметь генерировать русский текст. Локальные модели, такие как Mistral Nemo, справляются с этим, но облачные GPT-4 и Claude — ещё лучше.
3. TTS (синтез речи): xVASynth с русскими голосовыми моделями или XTTS с русским акцентом. Если TTS плохо говорит по-русски, можно оставить субтитры.
4. Промпты: в файле config.ini укажите language = ru, а также добавьте в главный промт инструкцию «Отвечай на русском языке».
5. CSV-файл персонажей: в русской локализации мода обновите файл с описанием персонажей, указав акцент ru.

Готовую русскую локализацию можно скачать на Nexus Mods или с форумов. Также существуют альтернативные моды, например, CHIM, который лучше поддерживает русский язык, но сложнее в установке.

Возможности и ограничения: что умеют NPC с ИИ

С модом Mantella NPC становятся почти живыми: они могут поддерживать беседу на любые темы, помнить ваши прошлые действия, реагировать на ваше снаряжение и даже соглашаться пойти с вами в подземелье. Они способны обижаться, радоваться, рассказывать анекдоты и обсуждать события игры.

Однако есть и ограничения:

• Игра не меняет сюжет: NPC не могут добавлять или удалять квесты, но могут давать советы по прохождению.
• Требования к железу: для локального запуска LLM нужна видеокарта NVIDIA с 6+ ГБ VRAM, иначе всё будет работать медленно.
• Память: модели могут забывать разговоры, если контекст слишком длинный. Увеличьте контекст в KoboldCpp до 8192 токенов.
• Русская озвучка: качество синтеза речи может быть неравномерным, особенно для редких персонажей.

Несмотря на это, Mantella — это прорыв в моддинге, который открывает новые возможности для ролевых игр.

Альтернативные моды и перспективы развития

Помимо Mantella, существует мод CHIM, который также интегрирует ИИ в Skyrim, но предлагает более продвинутые функции, например, возможность отдавать NPC команды («Садись», «Иди за мной»). CHIM сложнее в установке, но многие считают его более стабильным.

Также есть проекты для других игр: например, аналогичные моды для Morrowind и Fallout. Разработчики постоянно улучшают интеграцию: добавляют поддержку новых языков, улучшают качество синтеза речи и расширяют функционал.

В будущем можно ожидать, что ИИ-моды станут стандартом для RPG, позволяя создавать по-настоящему живые миры. Пока же Mantella — это лучший способ ощутить будущее уже сегодня.

Вопросы и ответы