9600-1020/01 – Knihovny pro paralelní zpracování dat (KPZD)

Garantující katedraIT4InnovationsKredity4
Garant předmětuIng. Jan Martinovič, Ph.D.Garant verze předmětuIng. Jan Martinovič, Ph.D.
Úroveň studiapregraduální nebo graduálníPovinnostpovinný
Ročník1Semestrzimní
Jazyk výukyčeština
Rok zavedení2019/2020Rok zrušení
Určeno pro fakultyFEIUrčeno pro typy studianavazující magisterské
Výuku zajišťuje
Os. čís.JménoCvičícíPřednášející
BER0134 Ing. Jakub Beránek
BOH126 Ing. Ada Böhm, Ph.D.
Rozsah výuky pro formy studia
Forma studiaZp.zak.Rozsah
prezenční Klasifikovaný zápočet 2+2
kombinovaná Klasifikovaný zápočet 9+9

Cíle předmětu vyjádřené dosaženými dovednostmi a kompetencemi

Student po absolvování předmětu získá přehled o knihovnách pro paralelní zpracování velkých dat a získá základní zkušenost s použitím nejznámějších knihoven. Budou představeny základní koncepty jak s velkými daty minipulovat a základní paradigmata a programové modely pro jejich zpracování. Cvičení budou probíhat v jazyce Python, ve kterém existují knihovny pro všechný známé frameworky.

Vyučovací metody

Přednášky
Cvičení (v učebně)
Projekt

Anotace

Povinná literatura:

• Pandas dokumentace: http://pandas.pydata.org/ • Spark dokumentace: https://spark.apache.org/docs/latest/ • Tensorflow dokumentace: https://www.tensorflow.org/ • Keras dokumentace: https://keras.io/

Doporučená literatura:

• Nathan Marz and James Warren: Big Data - Principles and best practices of scalable realtime data systems, Manning, April 2015 ISBN 9781617290343.

Forma způsobu ověření studijních výsledků a další požadavky na studenta

Vypracovani projektu

E-learning

Další požadavky na studenta

Žádné další požadavky.

Prerekvizity

Předmět nemá žádné prerekvizity.

Korekvizity

Předmět nemá žádné korekvizity.

Osnova předmětu

Student po absolvování předmětu získá přehled o knihovnách pro paralelní zpracování velkých dat a získá základní zkušenost s použitím nejznámějších knihoven. Budou představeny základní koncepty jak s velkými daty minipulovat a základní paradigmata a programové modely pro jejich zpracování. Cvičení budou probíhat v jazyce Python, ve kterém existují knhovny pro všechný známé frameworky. Osnova předmětu: 1. Úvod do zpracování velkých dat 2. Základní manipulace s daty (Pandas, Numpy) 3. Map & Reduce model (Hadoop, Spark, Flink) 4. Paralelní zpracovaní numerických dat v Pythonu (Dask) 5. Knihovny pro neuronové sítě I (Tensorflow, Theano) 6. Knihovny pro neuronové sítě II (Keras) 7. Paralelizace obecných úloh (HyperLoom) 8. Workflow systémy (Luigi, Airflow)

Podmínky absolvování předmětu

Prezenční forma (platnost od: 2019/2020 zimní semestr)
Název úlohyTyp úlohyMax. počet bodů
(akt. za podúlohy)
Min. počet bodůMax. počet pokusů
Klasifikovaný zápočet Klasifikovaný zápočet 100  51 3
Rozsah povinné účasti: Účast na cvičeních.

Zobrazit historii

Podmínky absolvování předmětu a účast na cvičeních v rámci ISP: Splnění všech povinných úkolů v individuálně dohodnutých termínech.

Zobrazit historii

Výskyt ve studijních plánech

Akademický rokProgramObor/spec.Spec.ZaměřeníFormaJazyk výuky Konz. stř.RočníkZLTyp povinnosti
2024/2025 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2024/2025 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán
2023/2024 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2023/2024 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán
2022/2023 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán
2022/2023 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2021/2022 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán
2021/2022 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2020/2021 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2020/2021 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán
2019/2020 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC P čeština Ostrava 1 povinný stu. plán
2019/2020 (N0541A170007) Výpočetní a aplikovaná matematika (S02) Výpočetní metody a HPC K čeština Ostrava 1 povinný stu. plán

Výskyt ve speciálních blocích

Název blokuAkademický rokForma studiaJazyk výuky RočníkZLTyp blokuVlastník bloku

Hodnocení Výuky



2023/2024 zimní
2022/2023 zimní
2020/2021 zimní