Искусственный интеллект активно шагает по планете

Кипелов и 3 сентября


Кипелов и "Натали"


Кипелов "Пока боги спят"


Кипелов "ПадшиЙ"


Кипелов "Гонка за славой"


Кипелов "Проклятие морей"


Кипелов "Свет былой любви"


Некоторые видео с жуткими артефактами, некоторые очень даже правдоподобно Думаю, что в следующем году перезапишут все альбомы с Арией

Я свою модель голоса Кипелова обучал, как раз с целью перепеть все альбомы Арии с 2003 года. Модель получилась, пару песен попробовал сделать, но всё же искажения сильные слишком. Потому что тут влияет всё. Голос Кипелова вырезаешь из песен - он там с эффектами, с ревербом, где-то больше, где-то меньше, но его прям вот чисто убрать - тяжело. Плюс артефакты рождаются в принципе при отделении голоса от музыки. Ну допустим ладно, набрал более-менее норм фрагментов, обучаешь модель. Но тут важно вовремя остановиться, потом что если сильно долго обучать, то искажения будут множиться. Когда модель в каком-то виде готова, - выдёргиваешь так же голос-референс из песни, которую надо перепеть. И вот тут прям засада - в разы больше артефактов в записях с Беркутом и Житняковым. Ещё и ноты из соло-партий тоже нейросеть считает за голос и выдёргивает их вместе с голосом из песни. То есть нормальный референс сделать прям тяжело, это всё обрабатывать надо, чистить, подготавливать, - надо быть неплохим звукорежиссёром, чтобы этим заниматься. Ну и потом наложишь модель, и получишь всё равно мутанта, где местами прям Кипелов, а местами прям прорываются интонации Беркута/Житнякова, и ничего толком с этим не сделаешь. В общей сложности недели 3 я урывками это делал, и когда наконец услышал как мой нейро-Валера начал петь а-капелла песню "Патриот", начиная с этого "аааааа" в начале, то мне стало очень жутко, "я создал чудовище" подумал я, и уверовал в то, что искусственный интеллект истребит человечество. Наложение на музыку ситуацию сгладило, но не сильно. По причине отсутствия должного навыка в звукорежиссуре, общей усталости и этическим причинам эксперименты прекратил. Но тот ужас, который я испытал в первые секунды услышав неожиданно электронный голос, - это того стоило, в общем. Не зря RTX 3060 покупал.

Вообще самую лучшую модель голоса Кипелова можно сделать имея большое количество студийных альбомных записей где есть только его голос без всяких эффектов, и по ним обучить нейросеть. А референсный голос можно сделать чтобы кто-то с близким к Кипелову вокалом спел в его манере какую-то песню. И вот тогда получится максимально близко, бессмертный идеальный вокал для русского Heavy Metal. Но никто нам исходников не даст, а сами арийцы этим заниматься не будут, потому это только мечтой, скорее всего, и останется. А жаль

Norton_17,
Тоже пробвал rvc юзать 6 часов 400 эпох наверное или около того, вышел лютый кал если честно, может сэмплы плохие я сделал, не знаю.
тоже на rtx3060

вообще неросети забавная вещь

Да и через AI модель, оригинальный голос пробивается беркута и житнякова, тем самым нет тот самой фишки голоса обучаемой модели, которая отложилась у нас на подкорке.

В идеале надо самому на студии подрожать голосу(если есть вокальные данные) Кипелова его манеру и тембр, а потом уже прогонять через нейронку. Как делает чувак в каверах с Летовым.

Norton_17,

Вообще из представленных каверов "Падший" звучит убедительнее всех. Словно Кипелыч и впрямь сам поёт.

muravied, , третье сентября и Натали

Блин, аж захотелось послушать

Но вообще, понимаю, нейросети могут снять тембр, но очень сомневаюсь, что они хорошо могут (и когда либо смогут) перенять характерные интонации, которыми пользуется человек. А Кипелов именно этим силен, своей выразительностью. То есть надо перенять его характерные интонации, да еще по смыслу их в песне расставить, а не просто впилить где придется. Кажется, что для достижения этой цели надо какую-то специальную сеть, и обучать ее на всем имеющемся массиве песен, да и то, вряд ли это взлетит. Хотя я конечно дилетант в нейронках, поэтому имхо

Баловство всё это, ничего толкого от ИИ долго ещё не будет. А тему можно и не привязывать к Кипелову, на ютубе много уже подобных приколюх наклепали.

Вот такое ещё нашлось, в комментах пишут, что вроде нейронка. Что думаете?

Мне кажется, что это какая-то склейка - местами обработанный Кипелов с альбома, а местами какой-то другой вокалист. Хз кто это, но поет хорошо. Например Тореро - Кипелов обычно слово "ТЫ или бык" выкрикивает существенно выше остальной фразы на альбоме, а тут у чуваков спето ровно. То есть все же кажется, что кто-то перезаписал песню. Что-то перезаписали, что-то взяли Кипелова, и нейросеткой сблизили звучание, чтобы казалось, что это поет один чел. Имхо

Но вообще так-то сделано круто.

Патриот вокал а-капелла (ПЕРВЫЙ УЖАС)
https://cloud.mail.ru/public/d9qz/iEP3LWiJR

Патриот с музыкой, основа - Беркут
https://cloud.mail.ru/public/XxWo/rhHVNrniL

Викинг вокал а-капелла, основа - Житняков
https://cloud.mail.ru/public/MYk7/CKZKwGvsr

Демо моей песни, чтобы сравнить насколько лучше звучит модель, если голос для основы записан без помех, а не вырван тоже с искажениями из другой песни. Что у меня голоса певческого нет - это дело другое))
https://cloud.mail.ru/public/BSaa/Rs9XX9HEL

Иногда если слушать в майл-облаке, то как-то как из ведра звучит всё. Поэтому если так - то можно скачать архив со всеми представленными выше записями:
https://cloud.mail.ru/public/bMNP/NC2xur32F

______________________________________________________________



Всё так . Я использовал SO-VITS-SVC. Сутки или чуть дольше модель обучалась (там так это выглядело, будто нахрен Пентагон взламываешь, командная строка анаконды, текст разноцветный, жуть ), 6700 эпох мне показалось оптимальным, - на всех моих записях выше модель именно с 6700 эпох. На 10000 было хуже, хотя все советуют 20000-30000 эпох делать. Но я думаю нужны исходники для семплов качественные, всё дело в этом, а потом уже в количестве эпох. Плюс там столько настроек неописанных нигде, возможно что и лучшего результата можно было добиться чем у меня, даже с теми же сэмплами



Да, это по-моему пока лучшая песня. Если не считать рекламу диванов по песне Грязь, - но там чувак какой-то круто перепел её с другим текстом. Это снова к вопросу о том, что референсный голос если чисто записан - то результат лучше.

Вступление шедевральное, я прям орнул. Кипелов переел не тех грибов и еще не отошел к записи.
Реально сумрачный цифровой гений.


На удивление хорошо, если не считать изобретения пары непонятных слов, но это мелочи

эта прям хорошо получилась, песня как будто под Кипелова и написана. В оригинале не нравится, из-за слишком простого текста, но с другим текстом, другим звуком, с Кипеловым, - круто бы звучала, может быть вышла бы на первом альбоме, если бы Терентьев с Мавриным не ушли

Здравствуйте. Хотел бы поделиться своим AI кавером Кипелова на Show must go On.
В процессе создания из-за присутствия в а-капелле Меркури бэквокала, а так же в целом некорректно переделанных отдельных фрагментов пришлось оставить оригинальное исполнение. Злоупотреблял этим не часто, но оно заметно.
Так же и во время хорового исполнения нейронку "колбасило", пришлось применить тот же прием.

Саму модель обучил на трех композициях - "Я свободен", "Я здесь" и "Не для меня придёт весна". Именно с этих композиций, по моему мнению, вышел самый чистый вокал. Особенно "Не для меня придёт весна", поскольку в ней практически нет инструментала.

Если кому-то нужно, то могу предоставить либо файлы тренировки, либо саму модель. Свою обучал долго, по Tensorboard было два лучших варианта по loss\g\total, выбрал тот, что был на последних этапах обучения - kipelov_e380_s12540

Сам кавер:

Сделал еще каверы с Брайаном Джонсоном с ACDC, могу так же с желающими поделиться моделью под RVC:

А и файлы и модель можно? Выложи куда-нибудь, если не сложно. Кипелова именно

Да, без проблем.) В архиве индекс, модель и вокал для обучения. В качестве бонуса вокал Джонсона на обучение:
https://drive.google.com/file/d/1W4pG5V3kzPN_0YuJHgvHElOHL_0HH0DV/view?usp=sharing

Так же планирую обучить новую модель из flac версий тех же и может быть других композиций. Если результат будет лучше, то дам знать.

UPD: Образец голоса Джонсона на деле является образцов голоса из трех песен Бона Скотта и лишь одной в исполнении Джонсона. В принципе, если хотите создать модель по Бону Скотту, то удалите из аудиофайла вокал композиции Thunderstruck.

Только это голос Бона Скотта, а не Брайана Джонсона. Ты с каких песен снимал вокал? С Highway to Hell?

Да, Вы полностью правы. Я обыватель, не меломан, а так же совершенно не знающий историю группы, оттого совершил такую ошибку, полагая, что исполнитель у группы был всегда один.

Я взял 4 трека за основу с официального ютуб канала группы:
T.N.T. - Бон Скотт;
Thunderstruck - Брайан Джонсон;
Highway to Hell - Бон Скотт;
Walk All Over You - Бон Скотт.

Так что у меня скорее больше вышел Бон Скотт, нежели Брайан Джонсон. Опозорился, но благодарю, что сделали замечание.

Ну огонь же

AI Кипелов продолжает перепевать классику.) Пока что на старой модели, не подготовил еще материал под обучение.

Куплеты / припевы "Воинов" с AI-Кипеловым так-то хорошо звучат.

А тему, наверное, всё же лучше переименовать просто в "AI каверы", ибо не ЛерСанычем единым.

А можешь сделать что-то из Арии периода Беркута и Житнякова? Что-то из Кровь Королей/Палач/Аттила/Трудно быть Богом/Меченый Злом/Викинг/Крещение Огнём/Твой новый мир/Бал у Князя Тьмы/Через все времена/Блики солнца на воде/Зов Бездны/Реквием (на основе версии с Житняковым) ?

Ты конечно поделился своей моделью (за что большое спасибо), но у меня пока совсем не доходят руки попробовать что-то сделать самому.

Обещать не буду, что смогу сделать, но в ближайшее время скачаю всю дискографию во flac, а уже после извлеку вокал и сделаю de-reverb. Но когда именно возьмусь за обработку полученного результата - сказать точно не смогу.

Пока что я могу поделиться новой моделью, которую сегодня обучил. Поделился ею в комментариях под одним из роликов, комментатор сказал, что модель вышла весьма удачно. Детально в полученные ею работы не вслушивался, но по первым ощущениям артефактов она вносит значительно меньше, а дикция четче. Комментатор так же сообщил, что и насыщенность голоса в ней лучше, чем в первой модели.
Ссылка: https://drive.google.com/file/d/1P-qUKn ... drive_link

UPD: Нашел, скачиваю. Состав дискографии студийных альбомов:
1995 - Ночь Короче Дня
1998 - Генератор Зла
2001 - Химера
2003 - Крещение Огнём
2006 - Армагеддон
2011 - Феникс
2014 - Через Все Времена
2018 - Проклятье Морей
2020 - Армагеддон (Перезагрузка)
2020 - Крещение огнём (Перезагрузка)

Первая модель очень неплохая. Единственное что - обучена на вокале уже нынешнего Кипелова, "взрослого". Но кому-то такой голос дальше больше нравится, чем тот, что был у него в 90-е. Поэтому модели разные нужны, модели разные важны))


Я на песнях "Генератора зла" обучал, плюс немного с "Химеры", немного со "Сделано в России". С "Генератора" вырезается наиболее чистый вокал с минимумом эффектов наложенных, как мне показалось. Ещё потом где-то слышал что при обучении важно так же и просто сэмплы разговорного голоса тоже делать, а не только фрагменты песен. Но то про SO-VITS-SVC, про RVC не знаю, могло бы это помочь или нет.

warlock700, , вот кстати. По поводу того, чтобы Кипелов перепел какие-то новые альбомы
Можно же попробовать чтобы Кипелов спел Колизей?

В третьей модели был чуть расширен список композиций, а так же само исполнение отличалось большей вариативностью. Не идеал, к сожалению, надо еще расширять. Пару идей есть, но пока мне хватит на ближайшее время третьей модели.

Да, тут согласен. Я выбирал последние его композиции, чтобы качество звучания было максимальным, все-таки в более ранние года оборудование уступало в своем качестве. Но пока что не оценивал вокал с других альбомов времен Арии у него, только сольные композиции.

Хм... Спасибо за наводку - послушаю, как вокал вырезается с "Генератора" и сравню с имеющимся вариантом.
У меня были мысли по поводу того, чтобы добавить обычную разговорную манеру общения, но это явно будет в следующих версиях модели. Так что мне посоветовали делать сэмплы из одного альбома, чтобы минимизировать разницу в качестве звучания, хотя тут, как мне кажется, в большей степени все зависит от инструментала и того, как с ним справиться UVR. (Ultimate Vocal Remover)


Попробуйте.) Самому пока интереснее услышать (и если хорошо, то сделать) варианты исполнения Кипелова других композиций. Причем, учитывая принцип подготовки RVC модели, англоязычные композиции в приоритете - качество их исполнения будет лучше, а изменение голоса ощущаться существеннее и из-за нормальной работы соотношения индекса.

Насчет же Колизея - до того момента, как я посетил данный форум, для меня стало открытием, что был еще один солист: Артур Беркут. Возможно, что я скажу для кого-то нечто оскорбительное, но для моего слуха его исполнение (в Колизее) не сильно отличается от исполнения Кипелова. Скажу сразу - не меломан, не аудиофил, оборудование среднего качества.

Теперь объективные моменты по перепевке - качество звучания вокала в Колизее не самое лучшее, характерное для того времени, когда он записывался. То есть сейчас оно ощущается, как небольшой эффект радио. Говорю именно о версии 2003 года из студийного альбома "Крещение огнем". Можно использовать вариант Житнякова, но мне кажется, что особого смысла в этой затее нет - RVC добавит некорретно произнесенных фраз и/или акцента. Если понижать соотношение черт, то в исполнении будет больше Житнякова, чем Кипелова. В общем, я предпочитаю делать что-то новое, (для творчества Арии, Кипелова и Житнякова, если все-таки сделаю модель) а затею с перепевом композиций одного солиста другим, пожалуй, оставлю другим.) Тем более, что у меня еще много других задач, для которых еще время найти бы...

Надо сделать модель Житнякова, переделать свою модель-мутант из Бона Скотта и Брайана Джонсона на модели каждого из них по отдельности, затем сделать модель голоса Ольги Кормухиной и при этом периодически выпускать каверы, чтобы люди не теряли интерес к каналу. Поэтому у меня работы воо-а...)

Модель Житнякова обучена. Не идеально, конечно, но результат достойный.

График по loss\g\total. Значение по самой низкой точке - 21200, немного соскочил курсор, значение показывается для 21400.


Ссылка на модель. В архив так же положил дата-сет на тот случай, если у кого-то появятся желание доработать модель:
https://drive.google.com/file/d/1sMERpQXhdVUl5_B1WSqYWnJTmLAqkP68/view?usp=sharing

А так же кавер. Изначально хотел сделать с Валерием, но результат не устраивал на протяжении всей обработки, решил заменить на Житнякова и стало куда лучше - он больше подходит под оригинального исполнителя:

Практически наш Советский певец





Очень много Цой AI