Use of artificial intelligence sn the application for working with musical notes

Use of artificial intelligence sn the application for working with musical notes

In the work, existing software solutions and successful IT projects were analyzed and their advantages and disadvantages were identified, which helped determine the requirements for a product that would be competitive and meet the requirements of the modern market. Modeling and designing of the soft...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2024
Hauptverfasser: Popereshnyak, S.V., Fuks, V.I., Tsurkan, A.K., Zhebka, V.V.
Format: Artikel
Sprache:Ukrainian
Veröffentlicht: Інститут програмних систем НАН України 2024
Schlagworte:
mobile application
sheet music processing
interpretation
score
metronome
client-server architecture
computer musicology
music recommendation system
music therapy
UDC 004.4
Online Zugang:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/660
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Problems in programming

Institution

Problems in programming
id pp_isofts_kiev_ua-article-660
record_format ojs
resource_txt_mv ppisoftskievua/d3/6bc07260a5c2c2d7af60d748a600e2d3.pdf
spelling pp_isofts_kiev_ua-article-6602025-02-15T15:19:37Z Use of artificial intelligence sn the application for working with musical notes Використання штучного інтелекту в застосунку для роботи з музичними нотами Popereshnyak, S.V. Fuks, V.I. Tsurkan, A.K. Zhebka, V.V. mobile application; sheet music processing; interpretation; score; metronome; client-server architecture; computer musicology; music recommendation system; music therapy UDC 004.4 мобільний додаток; обробка нот; метроном, клієнт-серверна архітектура; комп’ютерне музикознавство; система музичних рекомендацій; музична терапія УДК 004.4 In the work, existing software solutions and successful IT projects were analyzed and their advantages and disadvantages were identified, which helped determine the requirements for a product that would be competitive and meet the requirements of the modern market. Modeling and designing of the software was carried out, the client-server architecture of the application was described, as well as the interaction of subsystems. The mobile application was developed and tested, and further directions for improvement and development of the application were determined. The application processes a PDF file with a given metronome speed in mp3 and mp4, which gives the user the opportunity to see and listen to the sheet music. The project includes an Android application with a clear and convenient interface, integration with external utilities and libraries. In the work, the processing of files from pdf format to such music and playback files as midi, musicxml, mp3, mp4 is collected in one stream. The process of parsing and playing with full-cycle processing of music files has been improved, by providing the user with all software modules, and the process of processing visual notes and bringing them to easy-to-use files, such as videos that combine notes with sound, has been improved. The work is important because it contributes to the development of digital music processing methods. The introduction of modern technologies for note recognition and visualization of musical elements contributes to technological progress in the field of music development.Prombles in programming 2024; 2-3: 384-391 В роботі було проаналізовано існуючі програмні рішення та успішні IT-проєкти і виявлені їхні переваги та недоліки. Це допомогло визначити вимоги до продукту, який буде конкурентоспроможним та відповідатиме вимогам сучасного ринку. Здійснено моделювання та проєктування програмного забезпечення, описано клієнт-серверну архітектуру застосунку і взаємодію підсистем. Розроблено та протестовано мобільний додаток, а також визначено подальші напрямки вдосконалення та розвитку застосунку. Застосунок обробляє PDF файл із заданою швидкістю метроному у mp3 та mp4, що дає користувачу можливість бачити і прослуховувати нотну грамоту. Проєкт включає в себе Android-застосунок, із зрозумілим та зручним інтерфейсом, інтеграцію із зовнішніми утилітами і бібліотеками. В роботі було зібрано в один потік обробку файлів із формату pdf до таких музичних та програваних файлів, як midi, musicxml, mp3 , mp4. Було вдосконалено процес розбору творів та гри із повним циклом обробки музичних файлів за рахунок забезпечення користувача усіма програмними модулями та вдосконалено процес обробки візуальних нот і приведення їх до зручних у використанні файлів, таких як відео, що поєднує ноти зі звуком. Робота має важливе значення, оскільки сприяє розвитку методів цифрової обробки музики. Впровадження сучасних технологій розпізнавання нот і візуалізації музичних елементів сприяє технологічному прогресу у сфері музичної розробки.Prombles in programming 2024; 2-3: 384-391 Інститут програмних систем НАН України 2024-12-17 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/660 10.15407/pp2024.02-03.384 PROBLEMS IN PROGRAMMING; No 2-3 (2024); 384-391 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 2-3 (2024); 384-391 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 2-3 (2024); 384-391 1727-4907 10.15407/pp2024.02-03 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/660/712 Copyright (c) 2024 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2025-02-15T15:19:37Z
collection OJS
language Ukrainian
topic mobile application
sheet music processing
interpretation
score
metronome
client-server architecture
computer musicology
music recommendation system
music therapy
UDC 004.4
spellingShingle mobile application
sheet music processing
interpretation
score
metronome
client-server architecture
computer musicology
music recommendation system
music therapy
UDC 004.4
Popereshnyak, S.V.
Fuks, V.I.
Tsurkan, A.K.
Zhebka, V.V.
Use of artificial intelligence sn the application for working with musical notes
topic_facet mobile application
sheet music processing
interpretation
score
metronome
client-server architecture
computer musicology
music recommendation system
music therapy
UDC 004.4
мобільний додаток; обробка нот; метроном
клієнт-серверна архітектура; комп’ютерне музикознавство; система музичних рекомендацій; музична терапія
УДК 004.4
format Article
author Popereshnyak, S.V.
Fuks, V.I.
Tsurkan, A.K.
Zhebka, V.V.
author_facet Popereshnyak, S.V.
Fuks, V.I.
Tsurkan, A.K.
Zhebka, V.V.
author_sort Popereshnyak, S.V.
title Use of artificial intelligence sn the application for working with musical notes
title_short Use of artificial intelligence sn the application for working with musical notes
title_full Use of artificial intelligence sn the application for working with musical notes
title_fullStr Use of artificial intelligence sn the application for working with musical notes
title_full_unstemmed Use of artificial intelligence sn the application for working with musical notes
title_sort use of artificial intelligence sn the application for working with musical notes
title_alt Використання штучного інтелекту в застосунку для роботи з музичними нотами
description In the work, existing software solutions and successful IT projects were analyzed and their advantages and disadvantages were identified, which helped determine the requirements for a product that would be competitive and meet the requirements of the modern market. Modeling and designing of the software was carried out, the client-server architecture of the application was described, as well as the interaction of subsystems. The mobile application was developed and tested, and further directions for improvement and development of the application were determined. The application processes a PDF file with a given metronome speed in mp3 and mp4, which gives the user the opportunity to see and listen to the sheet music. The project includes an Android application with a clear and convenient interface, integration with external utilities and libraries. In the work, the processing of files from pdf format to such music and playback files as midi, musicxml, mp3, mp4 is collected in one stream. The process of parsing and playing with full-cycle processing of music files has been improved, by providing the user with all software modules, and the process of processing visual notes and bringing them to easy-to-use files, such as videos that combine notes with sound, has been improved. The work is important because it contributes to the development of digital music processing methods. The introduction of modern technologies for note recognition and visualization of musical elements contributes to technological progress in the field of music development.Prombles in programming 2024; 2-3: 384-391
publisher Інститут програмних систем НАН України
publishDate 2024
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/660
work_keys_str_mv AT popereshnyaksv useofartificialintelligencesntheapplicationforworkingwithmusicalnotes
AT fuksvi useofartificialintelligencesntheapplicationforworkingwithmusicalnotes
AT tsurkanak useofartificialintelligencesntheapplicationforworkingwithmusicalnotes
AT zhebkavv useofartificialintelligencesntheapplicationforworkingwithmusicalnotes
AT popereshnyaksv vikoristannâštučnogoíntelektuvzastosunkudlârobotizmuzičniminotami
AT fuksvi vikoristannâštučnogoíntelektuvzastosunkudlârobotizmuzičniminotami
AT tsurkanak vikoristannâštučnogoíntelektuvzastosunkudlârobotizmuzičniminotami
AT zhebkavv vikoristannâštučnogoíntelektuvzastosunkudlârobotizmuzičniminotami
first_indexed 2025-07-17T09:36:58Z
last_indexed 2025-07-17T09:36:58Z
_version_ 1838499725634961408
fulltext 384 Експертні та інтелектуальні інформаційні системи, штучний інтелект УДК 004.4 http://doi.org/10.15407/pp2024.02-03.384 С.В. Поперешняк, В.І. Фукс, А.К. Цуркан, В.В. Жебка ВИКОРИСТАННЯ ШТУЧНОГО ІНТЕЛЕКТУ В ЗАСТОСУНКУ ДЛЯ РОБОТИ З МУЗИЧНИМИ НОТАМИ В роботі було проаналізовано існуючі програмні рішення та успішні IT-проєкти і виявлені їхні пере- ваги та недоліки. Це допомогло визначити вимоги до продукту, який буде конкурентоспроможним та відповідатиме вимогам сучасного ринку. Здійснено моделювання та проєктування програмного забез- печення, описано клієнт-серверну архітектуру застосунку і взаємодію підсистем. Розроблено та про- тестовано мобільний додаток, а також визначено подальші напрямки вдосконалення та розвитку за- стосунку. Застосунок обробляє PDF файл із заданою швидкістю метроному у mp3 та mp4, що дає ко- ристувачу можливість бачити і прослуховувати нотну грамоту. Проєкт включає в себе Android-засто- сунок, із зрозумілим та зручним інтерфейсом, інтеграцію із зовнішніми утилітами і бібліотеками. В роботі було зібрано в один потік обробку файлів із формату pdf до таких музичних та програваних файлів, як midi, musicxml, mp3 , mp4. Було вдосконалено процес розбору творів та гри із повним цик- лом обробки музичних файлів за рахунок забезпечення користувача усіма програмними модулями та вдосконалено процес обробки візуальних нот і приведення їх до зручних у використанні файлів, таких як відео, що поєднує ноти зі звуком. Робота має важливе значення, оскільки сприяє розвитку методів цифрової обробки музики. Впровадження сучасних технологій розпізнавання нот і візуалізації музич- них елементів сприяє технологічному прогресу у сфері музичної розробки. Ключові слова: мобільний додаток, обробка нот, метроном, клієнт-серверна архітектура, комп’ютерне музикознавство; система музичних рекомендацій; музична терапія. S. Popereshnyak, V. Fuks, A. Tsurkan, V. Zhebka USE OF ARTIFICIAL INTELLIGENCE IN THE APPLICATION FOR WORKING WITH MUSICAL NOTES In the work, existing software solutions and successful IT projects were analyzed and their advantages and disadvantages were identified, which helped determine the requirements for a product that would be compet- itive and meet the requirements of the modern market. Modeling and designing of the software was carried out, the client-server architecture of the application was described, as well as the interaction of subsystems. The mobile application was developed and tested, and further directions for improvement and development of the application were determined. The application processes a PDF file with a given metronome speed in mp3 and mp4, which gives the user the opportunity to see and listen to the sheet music. The project includes an Android application with a clear and convenient interface, integration with external utilities and libraries. In the work, the processing of files from pdf format to such music and playback files as midi, musicxml, mp3, mp4 is collected in one stream. The process of parsing and playing with full-cycle processing of music files has been improved, by providing the user with all software modules, and the process of processing visual notes and bringing them to easy-to-use files, such as videos that combine notes with sound, has been improved. The work is important because it contributes to the development of digital music processing methods. The introduction of modern technologies for note recognition and visualization of musical elements contributes to technological progress in the field of music development. Key words: mobile application, sheet music processing, interpretation, score, metronome, client-server archi- tecture, computer musicology; music recommendation system; music therapy. Вступ У сучасному високотехнологічному світі, де штучний інтелект визначає нові го- ризонти можливостей, музична індустрія не лише адаптується до цих змін, а й акти- вно використовує їх для досягнення вищих стандартів творчості та ефективності. У цьому контексті розвиток універсального інструменту, спрямованого на роботу з му- © С.В. Поперешняк, В.І. Фукс, А.К. Цуркан, В.В. Жебка, 2024 ISSN 1727-4907. Проблеми програмування. 2024. №2-3 385 Експертні та інтелектуальні інформаційні системи, штучний інтелект зичними нотами, представляє собою важ- ливий крок у автоматизації завдань, пов'я- заних із створенням та освоєнням музики. Актуальність даної роботи визнача- ється насущною потребою в адаптації му- зичної індустрії до сучасних вимог шляхом використання передових технологій. Засто- сування штучного інтелекту в музичній творчості відкриває нові можливості для артистів і аудиторії, роблячи творчий про- цес більш доступним та захоплюючим. На сучасному етапі розвитку техно- логій вже можна спостерігати значні досяг- нення у використанні штучного інтелекту в музичній сфері [1-2]. Алгоритми аналізу му- зичних структур, створення нових компози- цій та автоматизація процесів звукозапису є важливими етапами еволюції цієї галузі. Сучасне положення речей є таким, що ресурсів із повним циклом обробки му- зичних файлів не так багато, тож існує пот- реба в універсальному та зручному ресурсі, який би забезпечував користувача усіма програмними модулями, необхідними для розбору творів та гри. Новий універсальний інструмент для роботи з музичними нотами може стати не тільки інноваційним рішенням для арти- стів, а й вирішальним елементом для ана- лізу, організації та створення музики. Його можливості знаходять застосування в різ- них аспектах творчості, забезпечуючи авто- матизацію ключових базових процесів і простір для творчого розкриття музикантів. Мобільний застосунок – це крок назустріч музикантам, вчителям музики, композито- рам; це допомога як для тих, хто тільки по- чинає свою кар’єру в музичному світі, так і для тих, хто вже не раз підкорював сцену своєю грою. Дана розробка, оброблюючи нотні тексти, дає змогу людині за музичним інструментом грати, не відволікаючись на сторонні завдання, які зробить за неї цей музичний асистент. Пропонована робота може знайти застосування у сфері музикотерапії. Музи- чна терапія останнім часом широко дослі- джується. Ця робота також може бути вико- ристана для розроблення інтелектуального мультимедійного інструменту, який можна застосовувати в сфері охорони здоров'я. У рамках цієї роботи може бути створено ци- фрову музичну бібліотеку. Розроблено про- граму для мобільних пристроїв на основі мультимедіа, яка може відтворювати му- зику по нотах. Даний застосунок, варто ро- зширити системою рекомендацій щодо му- зики на основі мобільного додатку можна використовувати для різних цілей, зокрема для навчання, розваг і охорони здоров’я. Штучний інтелект у музиці Людство завжди розрахувувало на те, що штучний інтелект полегшить багато аспектів нашого життя, включно з управ- лінням системами, розв'язанням складних математичних задач, програмуванням та ді- агностикою. Однак мало хто міг уявити, що ШІ може виявити творчі здібності, ставши поетом, художником, літератором чи музи- кантом. Такий поворот у розвитку техноло- гій підкреслює, що межі між тим, що вва- жалося винятково людським, постійно сти- раються, і штучний інтелект виявляється не лише інструментом у наших руках, а й справжнім творцем, здатним дивувати сво- їми творчими досягненнями. На сьогоднішній день у музичній сфері охоче експериментують із застосу- ванням ШІ у своїх творчих процесах. Багато людей, хто цікавиться музи- кою, навіть досвідчені музиканти, можуть стикатися з труднощами в навчанні нових музичних творів, збагаченні свого музич- ного досвіду або знаходженні натхнення для творчості. Зокрема, постійне відволі- кання на перевертання нот, складність в їх розпізнаванні, використання окремих дода- тків для метроному або прослуховування композицій та потреба в зручному місці для зберігання творчих напрацювань стають факторами, які потребують елегантного та функціонального рішення. У зусиллях спростити та полегшити музичний процес, виникає необхідність універсального дода- тка, який об'єднає всі ці аспекти. Застосування мобільного додатка в музичній терапії Система музичних рекомендацій ві- діграє важливу роль у музичній терапії. Си- стема рекомендацій щодо музики пропонує музику для користувачів залежно від різних 386 Експертні та інтелектуальні інформаційні системи, штучний інтелект факторів, таких як настрій людини, її пове- дінка, вибір, схожість, основні частоти, ча- сові інтервали тощо. Рис.1. зображує зага- льний зв'язок між системою музичних реко- мендацій і музичною терапією [3]. Рис. 1. Загальний зв’язок між системою му- зичних рекомендацій і музичною терапією. Музика має здатність зцілювати де- які хвороби людського організму [3]. Тому кажуть, що вона має терапевтичні власти- вості [4]. Музична терапія — це область па- рамедичної сфери, в якій музика викорис- товується для різних терапевтичних цілей. Музичну терапію можна використовувати для лікування навіть психологічних і фізіо- логічних проблем, таких як мезотеліома, перитонеальна мезотеліома, астма, азбесто- вий рак, депресія тощо [4-5]. У свою чергу такий мобільний дода- ток може бути застосований у сфері елект- ронної охорони здоров’я. Розроблюваний застосунок може діяти як електронна сис- тема охорони здоров’я для певних цілей на основі музичної терапії. Музика та емоції безпосередньо пов’язані одне з одним і це вже встанов- лено. Стаття [6] описує дослідницький проєкт, спрямований на розробку системи аналізу музики, яка представляє аналіз клі- нічної музичної терапії. Музика є дуже ефе- ктивним способом психічного лікування і управління психікою людини за допомогою музичної терапії. Стаття [7] є посиланням на веб-сайт, який ілюструє різні назви творів та їх відпо- відну цілющу силу. Робота, описана в [8], представляє техніку рекомендацій щодо музики, засновану на аналізі інформації про вміст і контекст. Робота, описана в [9], представляє контекстно залежну систему рекомендацій мобільної музики. Робота, представлена в [10], репре- зентує модель музичної творчості, а не ал- горитмічні музичні варіації за допомогою генетичних алгоритмів. Реалізація цієї мо- делі базується на програмному забезпе- ченні Genome. Було використано статисти- чний підхід для знаходження подібної мо- делі пісень за допомогою коефіцієнта дис- персії [11]. За допомогою нейронних мереж у [12] розроблено систему рекомендацій на основі часу. У [13] описано систему реко- мендованої музики, яка класифікує різні пі- сні, що підходять для різного часу доби. Ін- телектуальний механізм для автоматичної ідентифікації щільності певного музичного ритму та складності цього музичного ритму був запропонований у [14]. Система музич- них рекомендацій була досліджена в [15]. Робота забезпечує персоналізовану послугу музичних рекомендацій за допомогою полі- фонічних музичних об'єктів з використан- ням формату MIDI (Musical Instrument Digital Interface). Користувач аналізує про- філі для групування користувачів на основі поведінки та інтересів користувачів. Вони використовують щільність висоти для ви- бору треку, який містить мелодію, що може бути обчислена як: 𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃ℎ 𝐷𝐷𝐷𝐷𝐷𝐷𝐷𝐷𝑃𝑃𝑃𝑃𝐷𝐷 = 𝑁𝑁𝑃𝑃 𝐴𝐴𝑃𝑃, де NP – кількість різних тонів у треку, AP – кількість усіх різних тонів у стандарті MIDI. Ентропію висоти тону (PE) можна отримати наступним чином: 𝑃𝑃𝑃𝑃 = − ∑ (𝑃𝑃𝑗𝑗𝑙𝑙𝑙𝑙𝑙𝑙𝑃𝑃𝑗𝑗)𝑁𝑁𝑁𝑁 𝑗𝑗=1 , де 𝑃𝑃𝑗𝑗 представлено таким чином: 𝑃𝑃𝑗𝑗 = 𝑁𝑁𝑗𝑗 𝑇𝑇 , де Nj – загальна кількість нот з відповідною висотою в репрезентативній доріжці, T – за- гальна кількість нот у репрезентативній до- ріжці. 387 Експертні та інтелектуальні інформаційні системи, штучний інтелект Музична група, що містить музичні об’єкти з широким доступом, має вищу вагу, ніж інші групи. Вага музичної групи (GWi) може бути розрахована як: 𝐺𝐺𝐺𝐺𝑖𝑖 = −∑ 𝑇𝑇𝐺𝐺𝑗𝑗 ×𝑀𝑀𝑀𝑀𝑗𝑗,𝑖𝑖 𝑛𝑛 𝑗𝑗=1 , де TWj – вага транзакції Tj, n - кількість останніх транзакцій, використаних для ана- лізу MOj, i = кількість музичних об'єктів, які належать до музичної групи Gi в транзакції Tj. Різні числа (Ri) музичних об’єктів із музичних груп обчислюються (також реко- мендовано) відповідно до GWi наступним чином [10]: 𝑅𝑅𝑖𝑖 = ⌈𝑁𝑁 × 𝐺𝐺𝐺𝐺𝑖𝑖 ∑ 𝐺𝐺𝐺𝐺𝑘𝑘𝑚𝑚 𝑘𝑘=1 ⌉. Дослідницьких робіт, які спонука- ють працювати далі та відкривати навіть нові виміри музикознавчих досліджень, до- сить багато. Комп’ютерне музикознавство є галуззю, яка найбільше розвивається і зале- жить від різних концепцій інформатики. Аналіз відомих алгоритмічних та технічних рішень У цьому проєкті головна увага при- діляється реалізації оптичного розпізна- вання музичних нот (OMR), програмним засобам для редагування та відтворення му- зики, рендеру зображень на основі музич- них файлів, а також технологіям синтезу звуку та створення відео на основі звукової доріжки та зображень. Серед ключових ін- струментів, що розглядаються, є Audiveris для OMR, MuseScore як інструмент для ре- дагування файлів формату MusicXML та SoundFont для синтезу звуку. Audiveris визначається як передо- вий інструмент OMR, здатний перетворю- вати скановані партитури у цифрові фор- мати. Це особливо корисно для музикантів, композиторів та музичних архівістів, які працюють з великими обсягами паперових нотних аркушів. MuseScore є інтуїтивно зрозумілим та потужним інструментом для редагу- вання нот, який використовується музикан- тами, композиторами та аранжувальниками по всьому світу. Цей програмний засіб до- зволяє легко вносити зміни та візуалізувати музичні твори, що робить його ідеальним для детальної роботи над музичними ком- позиціями після їх первісного розпізна- вання, наприклад, за допомогою Audiveris. В даній розробці MuseScore використано для внесення змін до файл - формату MusicXML. SoundFont є ключовим інструмен- том у сфері цифрового аудіо, оскільки він надає різноманітні та якісні звуки для син- тезу музики. Це технологія, яка дозволяє музикантам та продюсерам використову- вати розширений набір звукових бібліотек, що імітують різні музичні інструменти - від традиційних до електронних. У даній роз- робці SoundFont використано для озву- чення нот, переданих користувачем почат- ково у PDF форматі. Кожен із цих інструментів відіграє ключову роль на різних стадіях розробки му- зичного проєкту. Беручи до уваги специфіку проєкту, використано Audiveris для первин- ного розпізнавання нот, MuseScore для пода- льшого редагування музики, і SoundFont для фінального синтезу звуку. Ця комбінація за- безпечує ефективний потік роботи від скану- вання нот до відтворення музики. Моделювання та аналіз програмного забезпечення Для визначення та подальшого опису бізнес-процесу програмного забезпе- чення використовується UML Sequence Diagram, що представлена на Рисунку 2. Рис. 2. UML Sequence Diagram 388 Експертні та інтелектуальні інформаційні системи, штучний інтелект Опис послідовності базового потоку кому- нікації сервера та мобільного додатку: − Додаток надсилає запит із файлом та швидкістю метроному на обробку − Сервер перевіряє коректність вхідних даних − Сервер(Flask) обробляє файл згідно із встановленою швидкістю − Сервер надсилає підтвердження, що файл успішно оброблено − Мобільний додаток надсилає запит на отримання даних − Сервер(Flask) перевіряє готовність даних − Дані відправляються на мобільний додаток − Додаток розпаковує архів з файлами − Додаток виводить користувачу на екран готові файли. Ця система є прикладом клієнт-сер- верної архітектури, де сервер реалізований за допомогою веб-фреймворку Flask і роз- міщений на localhost. Для забезпечення до- ступу до сервера ззовні, використовується Ngrok, сервіс, що дозволяє тунелювати зов- нішні запити до локального веб-сервера. Мобільний додаток виступає в ролі клієнта, що взаємодіє з сервером через HTTP-за- пити. Архітектуру візуально зображено на рисунку 3. Рис. 3. Архітектура застосунку Ця архітектура дозволяє реалізувати гнучку та ефективну взаємодію між мобіль- ним додатком і сервером, що розміщений локально. Використання Ngrok полегшує доступ до локального сервера без необхід- ності його деплойменту в зовнішнє середо- вище. Flask як легкий веб-фреймворк забез- печує гнучкість та простоту розробки сер- верної логіки. Основні утиліти, що були викорис- тані в дослідженні - це Audiveris, MuseScore та SoundFont. Ці утиліти та технології відіграють ключову роль у процесі перетворення, об- роблення та відтворення музики в системі. Вони дозволяють ефективно обробляти му- зичні дані, перетворювати їх між різними форматами та створювати якісні аудіовізу- альні матеріали. На рисунку 4 зображено діаграму компонент розроблюваного серверу. Рис. 4. Діаграма компонентів На діаграмі компонентів представ- лено архітектуру сервера, який включає в себе веб-сервер Flask та модуль my_funcs, а також взаємодію із зовнішніми компонен- тами, такими як файлова система, SoundFont, Audiveris та MuseScore. Кожен із цих компонентів відіграє свою роль у за- гальній архітектурі системи. Оскільки сервер використовує фай- лову систему для збереження файлів, нам потрібно чітко розуміти, до яких файлів програма має доступ та які файли відправ- ляє клієнтові. Для цього контролю передба- чено створення унікального коду на основі таймстемпу, який оновлюється та привлас- 389 Експертні та інтелектуальні інформаційні системи, штучний інтелект нюється кожному новому PDF-файлу, що надходить на обробку. Під усі файли для конкретного кейсу створюється директорія, файли зберігаються під даним унікальним номером. Напрямки подальшого дослідження На даному етапі існує багато напря- мків розвитку запропонованого додатку. В планах розширити додаток в сторону біль- шої кількості форматів файлів, додаткових допоміжних функцій(калібрування інстру- менту, тощо), додавання спільноти і мож- ливості ділитися напрацюваннями. Стосо- вно самого програмного забезпечення – на- самперед це прискорення операцій, покра- щення візуалізації і шляху взаємодії з сер- вером. Також важливим аспектом є пода- льше вдосконалення алгоритмів обробки музики для підвищення точності та ефекти- вності. Напрямком подальшого дослі- дження може буди розробка підходу для визначення музичних патернів і рекоменда- ції пісень для музичної терапії. Розробити систему музичних реко- мендацій, що враховує загальний зв'язок між системою музичних рекомендацій і му- зичною терапією. Система музичних реко- мендацій відіграє важливу роль у музичній терапії. Система рекомендацій щодо му- зики рекомендує музику для користувачів залежно від різних факторів, таких як на- стрій людини, її поведінка, вибір, схожість, основні частоти, часові інтервали тощо. Висновки У результаті виконання даної роботи розроблено мобільний додаток «Liszt» - му- зичний асистент для розпізнавання нот і музичної інтеракції. Застосунок обробляє PDF файл із заданою швидкістю метроному у mp3 та mp4, що надає користувачу мож- ливість бачити і прослуховувати нотну гра- моту. Проєкт включає в себе андроїд засто- сунок, із зрозумілим та зручним інтерфей- сом, інтеграцію з зовнішніми утилітами і бібліотеками. Результати досліджень мо- жуть сприяти розвитку технологій для ро- боти з музичними даними на мобільних пристроях. Це може включати в себе покра- щення алгоритмів розпізнавання нот і точ- ності відтворення музики та інші технічні аспекти. Стан вирішення поставлених за- дач. Усі визначені завдання в роботі були успішно виконані. Після впровадження до- даток пройшов тестування на мобільному пристрої та у тестових програмах, які вико- ристовувались для взаємодії із сервером. Оцінка отриманих результатів. Отримані результати доводять конкуренто- спроможність додатку, відповідність зазна- ченим вимогам і рівень відповідності техні- чним знанням у галузі розроблення програ- много забезпечення. Система успішно опе- рує даними і вміло візуалізує їх. Наукова та соціально-економічна значущість. Робота має важливе значення, оскільки сприяє розвитку методів цифрової обробки музики. Вона також має соціально- економічну значущість, спрощуючи про- цеси, які традиційно вимагають значних зу- силь та часу, та відкриваючи можливості для ширшого доступу до музичної куль- тури. Забезпечення доступності для всіх за- цікавлених осіб, незалежно від рівня музи- чної підготовки. Використання додатку може стати частиною музичної освіти в навчальних за- кладах та додаткових курсах. Даний засіб може бути використаний для покращення процесу навчання музики та надає можли- вості для творчого вираження. Впрова- дження сучасних технологій розпізнавання нот і візуалізації музичних елементів сприяє технологічному прогресу у сфері музичної розробки. Створює позитивний досвід вивчення музики, що може підтри- мати та зберегти зацікавлення користувачів у світі музики протягом тривалого часу. Використання мобільного додатку може полегшити процес створення музики, аранжування, навчання нових композицій, а також сприяти швидкому доступу до нот- них записів та інших музичних ресурсів. Література 1. How AI is Changing the Music Industry [Електронний ресурс] – Ре- жим доступу до ресурсу: 390 Експертні та інтелектуальні інформаційні системи, штучний інтелект https://www.rollingstone.com/music/ music-features/how-ai-is-changing- the-music-industry-204120/ 2. AI in Music: How Artificial Intelligence is Changing the Way We Create and Listen to Music [Електрон- ний ресурс] – Режим доступу до ре- сурсу: - https://syncedreview.com/ 2021/07/22/ai-in-music-how-artificial- intelligence-is-changing-the-way-we- create-and-listen-to-music/ 3. S. Chakrabarty, R. Islam, E. Pricop and H. K. D. Sarma, "An Approach to Discover Similar Musical Patterns," in IEEE Access, vol. 10, pp. 47322- 47339, 2022, doi: 10.1109/ ACCESS.2022.3169362. 4. J. Vasudha, G. Iyshwarya, A. T. Selvi, S. Iniya and G. Jeyakumar, "Application of computer-aided music composition in music therapy", Int. J. Innov. Manage. Technol., vol. 2, no. 1, pp. 55-57, Feb. 2011. 5. G. K. Koduri and B. Indurkhya, "A behavioral study of emotions in south Indian classical music and its implications in music recommendation systems", Proc. ACM Workshop Social Adapt. Personalized Multimedia Interact. Access (SAPMIA’10), pp. 55- 60, 2010. 6. S. Bashetti, N. Kundoor, K. V. Desai, K. N. Radha and A. V. Bhongir, "Indian music therapy: Could it be helpful in the management of mental", Int. J. Med. Res. Health Sci., vol. 3, no. 2, pp. 354-357, 2014. 7. J.-H. Su, H.-H. Yeh, P. S. Yu and V. S. Tseng, "Music recommendation using content and context information mining", IEEE Intell. Syst., vol. 25, no. 1, pp. 16-26, Jan. 2010. 8. X. Wang, D. Rosenblum and Y. Wang, "Context-aware mobile music recommendation for daily activities", Proc. 20th ACM Int. Conf. Multimedia (MM), pp. 99-108, 2012. 9. B. Adriano, M. A. Davide, H. Goffredo and L. L. Andrea, "Formalizing Schoenberg’s fundamentals of musical composition through Petri nets", Proc. 15th Sound Music Comput. Conf. (SMC), pp. 254-258, Jul. 2018. 10. S. Chakrabarty, M. R. Islam and D. De, "Modelling of song pattern similarity using coefficient of variance", Int. J. Comput. Sci. Inf. Secur., vol. 15, no. 1, pp. 388-394, 2017. 11. R. Samarjit, C. Sudipta and D. Debashis, "Time-based raga recommendation and information retrieval of musical patterns in Indian classical music using neural networks", IAES Int. J. Artif. Intell., vol. 6, no. 1, pp. 33-48, 2017. 12. C. Sudipta, R. Samarjit, D. Debashis, S. Bhattacharyya, H. Bhaumik, S. De, et al., Handbook of Research on Intelligent Analysis of Multimedia information (Hardcover), Hershey, PA, USA:IGI Global, 2016. 13. S. Chakrabarty, G. Karmakar, M. R. Islam and D. De, "Reckoning of music rhythm density and complexity through mathematical measures" in Advanced Computational and Communication Paradigms, Singapore:Springer, vol. 475, pp. 387- 394, 2017. 14. S. Chakrabarty, S. Roy and D. De, "A foremost survey on state-of-the-art computational music research", Proc. Int. Sci. Congr. Assoc., pp. 16-25, 2015. 15. H.-C. Chen and L. P. A. Chen, "A music recommendation system based on music and user grouping", J. Intell. Inf. Syst., vol. 24, pp. 2-3, 2005. Одержано: 10.04.2024 Внутрішня рецензія отримана: 17.04.2024 Зовнішня рецензія отримана: 24.04.2024 391 Експертні та інтелектуальні інформаційні системи, штучний інтелект Про авторів: 1Поперешняк Світлана Володимирівна, Кандидат фізико-математичних наук, доцент http://orcid.org/0000-0002-0531-9809. 2Фукс Вікторія Ігорівна, бакалавр http://orcid.org/0009-0007-2721-2424. 3Цуркан Анастасія Костянтинівна, бакалавр http://orcid.org/0009-0002-6725-4198 4 Жебка Вікторія Вікторівна, Доктор технічних наук, професор http://orcid.org/0000-0003-4051-1190 Місце роботи авторів: 1,2,3 Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», тел. +38-098-645-54-62 E-mail: spopereshnyak@gmail.com 4 Державний університет інформаційно- комунікаційних технологій, тел. +38-073-050-83-00 E-mail: viktoria_zhebka@ukr.net

Ähnliche Einträge