Говорящий аватар: фото говорит вашим голосом за несколько минут

Почти все неудачные ролики испорчены на этапе подготовки, а не генерации. Нейросеть дорисовывает то, чего нет на снимке, — зубы, внутреннюю часть рта, второй глаз за чёлкой, — и чем меньше ей приходится додумывать, тем естественнее результат.

Перед загрузкой снимок полезно немного подготовить. Обрежьте его так, чтобы над головой оставалось немного места, а снизу были видны плечи: модели нужен запас кадра для кивков и поворотов. Старую фотографию стоит сначала отреставрировать — убрать царапины, повысить резкость, при необходимости раскрасить; иначе нейросеть примет дефекты за детали лица и начнёт их «анимировать». Вертикальный кадр подходит для сторис и коротких видео, горизонтальный — для презентаций.

Требования к портрету:

• лицо смотрит в камеру или повёрнуто не больше чем на четверть, оба глаза видны;
• голова и плечи занимают большую часть кадра, лицо не меньше трети высоты снимка;
• рот закрыт или слегка приоткрыт, нейтральное выражение — широкая улыбка мешает артикуляции;
• ровный мягкий свет без жёстких теней поперёк лица;
• без солнцезащитных очков, рук у лица, микрофона перед ртом;
• резкость и нормальное разрешение: скриншот из видеозвонка даст размытый результат;
• рисунок, 3D-персонаж или фото питомца тоже подойдут, если у персонажа есть читаемое лицо с ртом.

Аудио важнее фото. Модель слышит всё: эхо комнаты, шум улицы, фоновую музыку — и пытается «произнести» и это тоже, отчего рот дёргается на паузах. Записывайте голос в тихом помещении, держите телефон в 15–20 сантиметрах ото рта, не включайте музыку. Шторы, ковёр и мягкая мебель гасят эхо лучше пустой кухни с кафелем. Говорите чуть медленнее, чем в жизни, и чётко проговаривайте окончания: нейросеть точнее ловит артикуляцию, когда звуки не сливаются. Подойдут файлы mp3, wav или m4a. Длину записи подбирайте под выбранную длительность ролика: в 10 секунд помещается примерно 20–25 слов в спокойном темпе.

Записи своего голоса нет или нужно, чтобы персонаж говорил чужим тембром? Сделайте озвучку синтезом речи. На том же хабе есть ElevenLabs и Gemini TTS: вставляете текст, выбираете голос, скачиваете файл и подставляете его в форму аватара. Для поздравлений с песней подойдёт трек из Suno — модель синхронизирует губы и с пением, хотя на быстрых куплетах точность ниже, чем на речи.

Промпт пишите коротко и по делу: кто в кадре, какое настроение, куда смотрит, как двигается. Хороший пример: «пожилой мужчина в очках доброжелательно поздравляет, иногда кивает, взгляд в камеру». Плохой: перечисление двадцати эмоций подряд или описание сцены, которой нет на фото, — модель не сменит фон и не добавит предметы, она оживляет то, что уже есть.

Нужен ролик длиннее десяти секунд? Разрежьте запись на фрагменты по смысловым паузам — в любом бесплатном аудиоредакторе или прямо в телефоне. Каждый кусок прогоните отдельно с одним и тем же фото и одинаковым промптом, чтобы манера не менялась от фрагмента к фрагменту. Затем склейте ролики в видеоредакторе. Стыки удобно прятать за сменой плана: вставкой картинки, титра или крупного кадра. Так получается поздравление на полминуты или короткое объяснение для соцсетей.

Сам этот сайт генерацию не запускает: модель работает на агрегаторе НейроХаб, где есть русский интерфейс и оплата картой российского банка. Порядок действий:

• войдите через Яндекс ID или по номеру телефона — подтверждение входящим звонком, код равен последним цифрам номера;
• пополните баланс: генерация в InfiniTalk стоит 95 токенов, приветственных 30 токенов на неё не хватит;
• в кабинете выберите InfiniTalk, режим «Аватар»;
• загрузите портрет в поле «Портрет (картинка)» и запись в поле «Аудио (голос)»;
• выберите длительность — 3, 5 или 10 секунд;
• напишите промпт о манере речи и нажмите запуск;
• посмотрите результат и скачайте видео; если губы отстают или лицо «плывёт», сначала поменяйте фото или почистите звук, а уже потом промпт.

На хабе одна генерация InfiniTalk стоит 95 токенов независимо от выбранной длительности. В пересчёте по пакету Start (490 ₽ за 200 токенов, 2,45 ₽ за токен) это около 233 ₽ за ролик; в самом крупном пакете Pro Max (5990 ₽ за 3072 токена) токен дешевле, около 1,95 ₽, и ролик обходится примерно в 185 ₽. Первая покупка любого пакета даёт в полтора раза больше токенов, поэтому стартовый Start превращается в 300 токенов — это три ролика с запасом.

Пример расчёта. Нужна серия из пяти коротких обращений маскота для сторис по 10 секунд — это пять генераций, 475 токенов. Пакет Pro (990 ₽ за 440 токенов) при первой оплате превращается в 660 токенов, этого хватит на всю серию и ещё на пару переделок, если в каком-то ролике не понравится артикуляция. Закладывайте 20–30% на повторы: даже с хорошим фото одна из нескольких генераций может выйти неудачной.

Совсем бесплатно говорящий аватар сделать можно, но с оговорками. InfiniteTalk открытая: при наличии мощной видеокарты с большим объёмом памяти, Python и терпения модель можно запустить у себя или в облачном блокноте вроде Colab. Это бесплатно по деньгам, но занимает вечер настройки, а на слабом железе генерация идёт очень долго. Сервисы, которые обещают говорящее фото бесплатно в браузере, обычно дают одну-две пробы с водяным знаком или низким разрешением и просят подписку дальше.

Будьте осторожны с сайтами и ботами, где «бесплатно» означает загрузку вашего лица на сервер неизвестного владельца. Портрет — биометрические данные, и отдавать его туда, где нет понятной политики хранения, не стоит.

Нейросеть хорошо справляется с говорящей головой, но у неё есть пределы, о которых лучше знать до оплаты. Если результат не понравился, не спешите сразу перезапускать с тем же набором файлов: генерация вероятностная, и вторая попытка иногда выходит лучше, но чаще проблема воспроизводится. Сначала определите, что именно не так. Губы отстают или дёргаются — дело в звуке. Лицо искажается, плывут глаза или контур — дело в фото. Персонаж двигается не в той манере — правьте промпт.

• зубы и язык дорисовываются: на крупном плане при широко открытом рте видны артефакты;
• очки дают блики и иногда «съезжают» при поворотах головы;
• руки на фото у лица почти всегда искажаются — обрезайте кадр;
• тихие фрагменты аудио модель заполняет случайными движениями рта, поэтому длинные паузы лучше вырезать;
• шум, музыка и эхо ухудшают синхронизацию сильнее, чем низкое разрешение фото;
• несколько лиц в кадре — нейросеть может «заговорить» не того человека, оставляйте одного;
• разрешение итогового видео 480p или 720p: для экрана телефона хватает, для большого экрана нет.

Говорящие аватары на хабе делают три модели, и у каждой свой характер. InfiniTalk — самая доступная по цене и самая управляемая промптом: подходит для открыток, мемов, коротких обращений и проверки идеи. Kling Avatar от Kuaishou оплачивается по секундам и разрешению, даёт 1080p и рассчитан на более длинные записи. OmniHuman от ByteDance — самая дорогая и самая кинематографичная: лучше передаёт жесты и движения корпуса.

Логика выбора простая. Нужно много коротких роликов недорого — берите InfiniTalk. Нужна чёткая картинка для рекламы или презентации — Kling Avatar в 1080p. Важны пластика и живое тело в кадре, а бюджет позволяет — OmniHuman.

О правах. Делать говорящий аватар можно из своего фото, фото человека, который дал согласие, или из нарисованного персонажа. Использовать лица знакомых, коллег и публичных людей без разрешения нельзя: ролик легко принять за настоящее видео, а это прямой путь к претензиям и блокировке аккаунта. По той же причине генерации с узнаваемыми политиками и знаменитостями модерация может отклонить.