Розпізнавання музичних інтервалів в аналоговому звуковому сигналі за допомогою нейронних мереж
Вантажиться...
Дата
2019
Автори
Науковий керівник
Укладач
Редактор
Назва журналу
ISSN
E-ISSN
Назва тому
Видавець
Одеський національний університет імені І. І. Мечникова
Анотація
Нині комп’ютер є основним засобом зберігання та обробки інформації
про музику. Це можуть бути ноти, композиції цілком, метадані про звук. Як
наслідок необхідності отриманні інформації про цифровий або аналоговий
звук, з’являється велика кількість задач, що пов’язані з обробкою звуку –
ідентифікація композиції, пошук схожих композицій та інші.
Метою роботи є розробка методу розпізнавання послідовності акордів в
звуковому сигналі, над яким зроблено аналогово-цифрову трансформацію.
Цей метод дозволить з високою точністю вказати акорд, що звучить в певний
момент часу цього звукового сигналу.
В результаті аналізу та порівняння існуючих методів вирішення задачі,
запропонований та обґрунтований метод розпізнавання на основі згортальної
нейронної мережі. Реалізована система, що складається з модулів генерації та
розмітки даних, навчання нейронної мережі, розмітки WAV-файлів.
Розпізнаючий компонент системи – згортальна нейронна мережа. WAV-файли
трансформуються в вектори за допомогою віконного семплювання. З семплів
та файла розмітки формується набір даних для навчання нейронної мережі. За
допомогою цих даних навчається нейронна мережа. На базі рішення нейронної
мережі про те, який акорд звучить в даному семплі та алгоритмі згладжування
результату розмічаються WAV файли, що відповідають умовам задачі.
Якість результату визначається метрикою accuracy нейронної мережі та
фактичною точністю розпізнавання послідовності акордів у WAV-файлі. До
системи можна додати більше акордів та відрегулювати параметри
векторизації WAV-файла з метою подальшої розробки та покращення
результату.
В настоящее время компьютер является основным средством хранения и обработки информации о музыке. Это могут быть ноты, композиции целиком, метаданные о звуке. Как следствие необходимости получения информации о цифровом или аналоговом звуке появляется значительное количество задач, которые связаны с обработкой звука – идентификация композиции, поиск похожих композиций и другие. Целью работы является разработка метода распознавания последовательности аккордов в звуковом сигнале, над которым сделано аналогово-цифровую трансформацию. Данный метод позволит с высокой вероятностью указать аккорд, звучащий в определенный момент времени этого звукового сигнала. В результате исследования и сравнения существующих методов решения задачи, предложен и обоснован метод распознавания на основе сверточной нейронной сети. Реализована система, состоящая из модулей генерирования и разметки данных, обучения нейронной сети, разметки WAV файлов. Распознающий компонент системы – сверточная нейронная сеть. WAV-файлы трансформируются в векторы с помощью оконного семплирования. Затем, из семплов и файла разметки формируется набор данных для обучения нейронной сети. С помощью набора данных тренируется нейронная сеть. На основании решения нейронной сети о том, какой аккорд звучит в этом семпле и алгоритме сглаживания результата размечаются WAV файлы, соответствующие ограничениям задачи. Оценка качества результата определяется метрикой accuracy нейронной сети и фактической точностью распознавания последовательности аккордов в WAV файле. В систему можно добавить больше аккордов, отрегулировать параметры векторизации WAV файла с целью дальнейшего исследования и улучшения результата.
Nowadays, computer is a main instrument to store and process sound information. It includes notes, songs, sound metadata. As a consequence of necessity to get information of digital or analog sound, lots of sound-processing tasks appeared: identification, search of similar compositions, etc. The aim of this thesis is development of the algorithm, which is capable of chord sequence recognition from the sound signal, over which digital-analog transformation has been made. This approach should determine the chord which sounds at certain time of musical composition. As the result of research and analysis of existing approaches to this task, convolutional neural network-based method is proposed. Implemented system consists of data generation and markup module, neural net training module, WAV files markup module. Solving component of system is convolutional neural network. WAV files are transformed to input vectors with sliding window sampling. Test and train data are created based on samples and markup file. Neural net is trained with that dataset. WAV files that confirm to task restrictions are translated into chords basing on neural net chord recognition and chord wiping algorithm. Result quality evaluation is defined by accuracy metrics of neural network and actual chord recognition precision in WAV file. System is capable of known chord list expansion, WAV vectorization parameters change to continue research and improve existing result.
В настоящее время компьютер является основным средством хранения и обработки информации о музыке. Это могут быть ноты, композиции целиком, метаданные о звуке. Как следствие необходимости получения информации о цифровом или аналоговом звуке появляется значительное количество задач, которые связаны с обработкой звука – идентификация композиции, поиск похожих композиций и другие. Целью работы является разработка метода распознавания последовательности аккордов в звуковом сигнале, над которым сделано аналогово-цифровую трансформацию. Данный метод позволит с высокой вероятностью указать аккорд, звучащий в определенный момент времени этого звукового сигнала. В результате исследования и сравнения существующих методов решения задачи, предложен и обоснован метод распознавания на основе сверточной нейронной сети. Реализована система, состоящая из модулей генерирования и разметки данных, обучения нейронной сети, разметки WAV файлов. Распознающий компонент системы – сверточная нейронная сеть. WAV-файлы трансформируются в векторы с помощью оконного семплирования. Затем, из семплов и файла разметки формируется набор данных для обучения нейронной сети. С помощью набора данных тренируется нейронная сеть. На основании решения нейронной сети о том, какой аккорд звучит в этом семпле и алгоритме сглаживания результата размечаются WAV файлы, соответствующие ограничениям задачи. Оценка качества результата определяется метрикой accuracy нейронной сети и фактической точностью распознавания последовательности аккордов в WAV файле. В систему можно добавить больше аккордов, отрегулировать параметры векторизации WAV файла с целью дальнейшего исследования и улучшения результата.
Nowadays, computer is a main instrument to store and process sound information. It includes notes, songs, sound metadata. As a consequence of necessity to get information of digital or analog sound, lots of sound-processing tasks appeared: identification, search of similar compositions, etc. The aim of this thesis is development of the algorithm, which is capable of chord sequence recognition from the sound signal, over which digital-analog transformation has been made. This approach should determine the chord which sounds at certain time of musical composition. As the result of research and analysis of existing approaches to this task, convolutional neural network-based method is proposed. Implemented system consists of data generation and markup module, neural net training module, WAV files markup module. Solving component of system is convolutional neural network. WAV files are transformed to input vectors with sliding window sampling. Test and train data are created based on samples and markup file. Neural net is trained with that dataset. WAV files that confirm to task restrictions are translated into chords basing on neural net chord recognition and chord wiping algorithm. Result quality evaluation is defined by accuracy metrics of neural network and actual chord recognition precision in WAV file. System is capable of known chord list expansion, WAV vectorization parameters change to continue research and improve existing result.
Опис
Ключові слова
6.050102 комп’ютерна інженерія, музичний інтервал, аналоговий звуковий сигнал, нейронні мережи
Бібліографічний опис
Гвоздєв, В. Д. Розпізнавання музичних інтервалів в аналоговому звуковому сигналі за допомогою нейронних мереж : дипломна робота бакалавра / В. Д. Гвоздєв. – Одеса, 2019. – 46 с.