Как создать локального ИИ-агента через LM Studio и Hermes

вчера, 15:29 6 мин.

Автор

Свой агент, свои правила.

Агентские нейросети – тренд последнего времени. Обычный чат-бот просто отвечает на вопросы, а ИИ, который умеет сам работать в разных программах и подолгу вести задачу почти без вашего участия, куда интереснее. Если вы хотите развернуть собственного агента прямо на своем компьютере, этот гайд для вас.

Сразу оговоримся. Здесь мы покажем только один из способов создать агента – но на самом деле их множество, каждый со своими нюансами, системными требованиями и кнопками (или командами) в интерфейсе. Однако логика везде примерно одна и та же. Также нужно понимать, что его дальнейшая настройка, подключение баз данных, скилов и всего остального – слишком индивидуальные задачи, и с ними придется разбираться самостоятельно.

Сначала нужна локальная нейросеть

Прежде чем оживлять агента, на вашем компьютере уже должна крутиться локальная нейросеть. Как развернуть ее с нуля – выбрать программу, проверить железо и запустить модель – мы подробно разобрали в отдельном материале. Если вы этого еще не сделали, загляните сначала туда, а потом возвращайтесь.

Поднимаем сервер в LM Studio

Открываем LM Studio. Перейдите в раздел «My Models», выберите модель, которую будете использовать как агента, и в ее настройках задайте контекстное окно не менее 65536 токенов. Это нужно для работы в агентском интерфейсе Hermes, на котором мы и будем все показывать.

Если вы планируете другой интерфейс, заранее посмотрите его требования к размеру контекста, они заметно отличаются. Вот несколько примеров:

Cline (расширение для редактора кода VS Code) лучше всего чувствует себя при большом контексте, около 131072 токенов (это 128 тысяч), но у него есть режим компактного промта, который экономит место.
Aider (работает через терминал) не выставляет жестких лимитов и берет размер окна прямо из модели, но на практике многие модели начинают путаться уже при 25-30 тысячах токенов, так что гнаться за максимумом тут смысла нет.
Open Interpreter задает контекст вручную, через параметр context_window, и для локальных моделей разработчики советуют брать окно поменьше, вплоть до пары тысяч токенов, чтобы не забивать память.

Если максимальный размер контекстного окна у вашей модели меньше 65536 токенов, для Hermes придется взять другую модель. А если модель подходит и по размеру, и по контексту, но при запуске вылетает с ошибкой, скорее всего ей не хватает видеопамяти. Тогда стоит урезать ее аппетиты, например сжать кэш контекста. Как это делается, мы тоже показывали в прошлом материале, только не забудьте сохранить изменения перед запуском.

После этого перейдите на вкладку «Developer». Здесь мы запустим локальный сервер, на котором и будет крутиться агент. Нажмите кнопку «Load Model», выберите подходящую по параметрам модель и дождитесь окончания загрузки. Затем включите сервер переключателем сверху. На этом с «мозгами» агента мы закончили, осталось присоединить к ним «руки».

Подключаем нейросеть к Hermes

В роли «рук» у нас будет приложение Hermes. У него удобный графический интерфейс, и новичку разобраться с ним проще, чем с командами в терминале. Сначала скачайте и установите Hermes с официального сайта.

Дальше запустите приложение и откройте настройки.

Перейдите в раздел «Providers», затем в подраздел «API Key», найдите там провайдера LM Studio и заполните поля для подключения.

Поле с ключом оставьте пустым, а в поле URL вставьте адрес вашего локального сервера. По умолчанию это http://127.0.0.1:1234/v1. Приписка v1 в конце нужна, чтобы Hermes корректно работал с вашим сервером.

Теперь вернитесь на главный экран и отправьте агенту первый запрос. Если нейросеть отвечает, значит все сделано правильно и можно переходить к настоящим задачам.

Что умеет Hermes

Hermes – это не просто оболочка для чата, а полноценный «командный центр» для вашего агента. Вот его главные возможности:

Живет сразу во многих местах. Агент доступен из Телеграм, Discord, Slack, WhatsApp, Signal, электронной почты и командной строки, а память у него общая на всех площадках.
Помнит контекст. Hermes запоминает ваши проекты, сам собирает скилы и не забывает, как однажды решил ту или иную задачу.
Работает по расписанию. Отчеты, резервные копии и сводки можно ставить обычными словами, и агент выполнит их сам в нужное время.
Делегирует задачи. Он умеет запускать отдельных субагентов со своими диалогами и скриптами, чтобы не забивать основной контекст.
Ходит в интернет. Доступны веб-поиск, автоматизация браузера, работа с изображениями и их распознавание, озвучка текста и обращение к нескольким моделям сразу.
Изолирует эксперименты. Запуск можно держать в песочнице через разные бэкенды (локально, Docker, SSH и другие), чтобы агент не наломал дров в системе.