Дослідження і розробка архітектур систем агрегацій зображень
Вантажиться...
Дата
2023
Науковий керівник
Укладач
Редактор
Назва журналу
ISSN
E-ISSN
Назва тому
Видавець
Анотація
На сьогоднішній момент ми постійно зтикаємося з великою кількістю даних. Листування у месенджерах, відео та зображення з соціальних мереж, відгуки клієнтів, це великі дані, які можна використовувати для різної аналітики, для тренування нейронних мереж, тощо. Через те існує необхідність агрегувати дані для кінцевого користування аналітиків. На будь-яких проектах, де стоїть задача агрегації та аналізу будь-яких даних, застосовуються різні архітектурні підходи. Відомі такі проекти-додатки як, наприклад, YouTube, де виконується обробка даних в форматі відео, Spotify, де виконується обробка даних формату аудіо або Instagram, де виконується обробка даних формату зображень. Також, у сучасності жоден проект з великою кількістю користувачів потребує у обробці логів та інших технічних повідомлень. На даний момент виділяються дві основні архітектури агрегації даних – ETL [1] і ELT [2]. Кожна з цих архітектур передбачає свої підходи та технології для виконання поставлених завдань.
Опис
Ключові слова
Python, ELT Pipeline, ETL Pipeline, AWS, PySpark, DFS, Snowflake
Бібліографічний опис
Колєсник О. О. Дослідження і розробка архітектур систем агрегацій зображень / О. О. Колєсник, О. С. Антоненко // Інформатика, інформаційні системи та технології : тези доп. двадцятої Всеукр. конф. студентів і молодих науковців (Одеса, 28 квіт. 2023 р.). – Одеса, 2023. – С. 148–152.