Robert Wrembel

Data Warehouses and Analytical Processing

Lectures

• Topic 1: Data integration problems & architectures
• Topic 2: Data warehouses and business intelligence (introduction)
  
  Supplementary reading materials:
  BI trends (BARC - Business Application Research Center)
  DW trends (Panoply)
  Data visualization (1) (SAS white paper)
  Data visualization (2) (Tableau)
  Ranking of analytical tools (KDnuggets)
  Magic Quadrant for Data Science and Machine Learning Platforms (Gartner)
  
• Topic 3: Modeling data warehouse part1, part2, modeling exercise
  
  Supplementary reading materials:
  DW schema modeling (1) (Microsoft)
  DW schema modeling (2) (1Keydata)
  DW schema modeling (3) (Panoply)
  Slowly changing dimensions (1) (DataWarehouse4You)
  Slowly changing dimensions (2) (Adatis)
• Topic 4: Traditional data warehouse system architectures
  
  Supplementary reading materialis:
  Introduction to DW technologies (Panoply)
  Overview of DW technologies (paper)
  DW guide (Panoply)
  
• Topic 5: DW Loading and Refreshing Techniques: ETL data quality, designing ETL processess, data deduplication, data loading
  
  Supplementary reading materials:
  Introduction to ETL (Guru99)
  Overview of ETL technologies (paper)
  Overview of data profiling technologies (paper)
  ETL vs ELT (1) (Panoply)
  ETL vs ELT (2) (Talend)
  
• Topic 6: Physical data structures for data warehouse part1, part2, part3
  
  Supplementary reading materials:
  Overview of DW physical structures (paper)
  Bitmap index compression (paper)
• Topic 7: Big Data architectures
• Topic 8: Main memory appliances for Big Data

LABs

• Rozszerzenia analityczne języka SQL (slajdy>>)
• Regresja liniowa (slajdy>>)
• Partycjonowanie danych (slajdy>>)
• Perspektywy zmaterializowane i przepisywanie zapytań (slajdy>>)
• Integracja danych (slajdy>>)
• Modelowanie wymiarów (slajdy>>)

Skrypty instalujące obiekty do ćwiczeń

• Skrypty instalujące tabele systemowe do zadania 5: REWRITE_TABLE, MV_CAPABILITIES_TABLE, PLAN_TABLE (wer. 9i) PLAN_TABLE (wer. 10g)
• Skrypt instalujący pakiet DEMO_DIM: DEMO_DIM
• Skrypt instalujący tabelę DIMENSION_EXCEPTIONS: UTLDIM.SQL
• Skrypt wyświetlający rekomendacje Access Advisor: create_show_recom.sql
• Skrypt instalujący tabele do ćwiczenia "Partycjonowanie danych": dw_schema.sql

Ćwiczenia

• Funkcje analityczne
• Regresja liniowa
• Partycjonowanie danych
• Perspektywy zmaterializowane i przepisywanie zapytań
• Integracja danych
• Modelowanie wymiarów
• MOLAP

Literatura

• Vaisman A., Zimanyi E.: Data Warehouse Systems - Design and Implementation. Springer Verlag, 2022
• Jarke M., Lenzerini M., Vassiliou Y., Vassiliadis P.: Fundamentals of Data Warehouses. Springer Verlag, 2010
• Golfarelli M., Rizzi S.: Data Warehouse Design: Modern Principles and Methodologies. McGraw-Hill Osborne, 2009