9600-0004/02 – Zpracování rozsáhlých dat (ZRD)

Garantující katedraIT4InnovationsKredity10
Garant předmětudoc. Mgr. Jiří Dvorský, Ph.D.Garant verze předmětudoc. Mgr. Jiří Dvorský, Ph.D.
Úroveň studiapostgraduálníPovinnostpovinně volitelný typu B
RočníkSemestrzimní + letní
Jazyk výukyangličtina
Rok zavedení2015/2016Rok zrušení
Určeno pro fakultyUSP, FEIUrčeno pro typy studiadoktorské
Výuku zajišťuje
Os. čís.JménoCvičícíPřednášející
DVO26 doc. Mgr. Jiří Dvorský, Ph.D.
Rozsah výuky pro formy studia
Forma studiaZp.zak.Rozsah
prezenční Zkouška 2+0
kombinovaná Zkouška 10+0

Cíle předmětu vyjádřené dosaženými dovednostmi a kompetencemi

Cílem předmětu je seznámit posluchače doktorského studia s problematikou zpracování rozsáhlých dat aktuálními dostupnými technologiemi včetně technologií a přístupů právě vyvíjených.

Vyučovací metody

Přednášky
Individuální konzultace

Anotace

Význam rozsáhlých dat pro obchodní rozhodnutí, strategie firem, výzkum chování lidí na sociálních sítích a cílenou reklamu se ukázal v posledních letech jako zcela neoddiskutovatelný. Stejně tak špičková vědecká střediska (např. CERN) ukázala nutnost rutinně ukládat dříve nepředstavitelná množství dat. Klíčovými otázkami zpracování rozsáhlých dat (anglicky big data) je jednak ukládání extrémně velkých datových kolekcí, které mohou představovat kolekce dokumentů, streamová data ze senzorových sítí, časové řady (např. cen akcií na burze, dopravní data), grafová data reprezentující sociální sítě a web, satelitní snímky zemského povrchu atd. Ukazuje se, že pro zpracování takto enormního množství dat nejsou vhodné standardní relační databáze, ale je nutné nasadit masivně paralelní software běžící na stovkách, tisících serverů. V rámci předmětu budou představeny technologie tvořící aktuální stav zpracování rozsáhlých dat, technologie jako jsou Hadoop Distributed File System, NoSQL databáze nebo hierarchický datový formát HDF5. V předmětu budou představeny datové struktury vhodné pro různé druhy dat, manipulace s nimi, efektivní dotazování, ceny I/O operací, komprese specifických typů dat, algoritmy a datové struktury vhodné pro výpočetní akcelerátory (CUDA, Intel Xeon Phi).

Povinná literatura:

• S. Sakr, M. Gaber: Large Scale and Big Data: Processing and Management, Auerbach Publications, 2014, ISBN 978-1466581500 • T. White: Hadoop: The Definitive Guide, Yahoo Press, 2014, ISBN 978-1449311520 • P. J. Sadalage: NoSQL Distilled: A Brief Guide to the Emerging World of Polyglot Persistence, Addison-Wesley Professional, 2012, ISBN 978-0321826626

Doporučená literatura:

• J. Jeffers, J. Reinders: Intel Xeon Phi Coprocessor High-Performance Programming, Morgan Kaufmann, 2013, ISBN 978-0124104143 • G. Barlas: Multicore and GPU Programming: An Integrated Approach, Morgan Kaufmann, 2014, ISBN 978-0124171374 • J. Leskovec, A. Rajaraman, J. D. Ullman: Mining of Massive Datasets, Cambridge University Press, 2014, ISBN 978-1107077232 • V. S. Agneeswaran: Big Data Analytics Beyond Hadoop: Real-Time Applications with Storm, Spark, and More Hadoop Alternatives, Pearson FT Press, 2014, ISBN 978-0133837940

Další studijní materiály

Forma způsobu ověření studijních výsledků a další požadavky na studenta

ústní zkouška

E-learning

Další požadavky na studenta

Žádné další požadavky.

Prerekvizity

Předmět nemá žádné prerekvizity.

Korekvizity

Předmět nemá žádné korekvizity.

Osnova předmětu

Význam rozsáhlých dat pro obchodní rozhodnutí, strategie firem, výzkum chování lidí na sociálních sítích a cílenou reklamu se ukázal v posledních letech jako zcela neoddiskutovatelný. Stejně tak špičková vědecká střediska (např. CERN) ukázala nutnost rutinně ukládat dříve nepředstavitelná množství dat. Klíčovými otázkami zpracování rozsáhlých dat (anglicky big data) je jednak ukládání extrémně velkých datových kolekcí, které mohou představovat kolekce dokumentů, streamová data ze senzorových sítí, časové řady (např. cen akcií na burze, dopravní data), grafová data reprezentující sociální sítě a web, satelitní snímky zemského povrchu atd. Ukazuje se, že pro zpracování takto enormního množství dat nejsou vhodné standardní relační databáze, ale je nutné nasadit masivně paralelní software běžící na stovkách, tisících serverů. V rámci předmětu budou představeny technologie tvořící aktuální stav zpracování rozsáhlých dat, technologie jako jsou Hadoop Distributed File System, NoSQL databáze nebo hierarchický datový formát HDF5. V předmětu budou představeny datové struktury vhodné pro různé druhy dat, manipulace s nimi, efektivní dotazování, ceny I/O operací, komprese specifických typů dat, algoritmy a datové struktury vhodné pro výpočetní akcelerátory (CUDA, Intel Xeon Phi).

Podmínky absolvování předmětu

Prezenční forma (platnost od: 2015/2016 zimní semestr)
Název úlohyTyp úlohyMax. počet bodů
(akt. za podúlohy)
Min. počet bodůMax. počet pokusů
Zkouška Zkouška   3
Rozsah povinné účasti:

Zobrazit historii

Podmínky absolvování předmětu a účast na cvičeních v rámci ISP:

Zobrazit historii

Výskyt ve studijních plánech

Akademický rokProgramObor/spec.Spec.ZaměřeníFormaJazyk výuky Konz. stř.RočníkZLTyp povinnosti
2024/2025 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2024/2025 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2023/2024 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2023/2024 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2022/2023 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2022/2023 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2022/2023 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2022/2023 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2021/2022 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2021/2022 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2021/2022 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2021/2022 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2020/2021 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2020/2021 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2020/2021 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2020/2021 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2019/2020 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2019/2020 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2019/2020 (P0613D140021) Výpočetní vědy P angličtina Ostrava povinně volitelný typu B stu. plán
2019/2020 (P0613D140021) Výpočetní vědy K angličtina Ostrava povinně volitelný typu B stu. plán
2018/2019 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2018/2019 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2017/2018 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2017/2018 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2016/2017 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2016/2017 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán
2015/2016 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy P angličtina Ostrava povinně volitelný stu. plán
2015/2016 (P2658) Výpočetní vědy (2612V078) Výpočetní vědy K angličtina Ostrava povinně volitelný stu. plán

Výskyt ve speciálních blocích

Název blokuAkademický rokForma studiaJazyk výuky RočníkZLTyp blokuVlastník bloku

Hodnocení Výuky

Předmět neobsahuje žádné hodnocení.