Specjalizacja Deep Learning

Stworzyliśmy program z myślą o osobach, które chcą wykorzystywać sieci neuronowe w praktyce i rozwinąć swoje kompetencje w innowacyjnym obszarze Data Science.

Program składa się z 7 praktycznych modułów:

Moduł 1. Podstawy budowy i działania sieci neuronowych

Poznasz podstawowe pojęcia związane z sieciami neuronowymi, główne elementy architektury, zarys działania oraz zapoznasz się z „dobrymi praktykami” projektowania eksperymentów z ich udziałem. Ten moduł jest punktem startowym, przygotowującym grunt pod bardziej szczegółowe tematy.

Główne tematy:

• Podstawy działania sieci i budowa
• Perceptron – sieć neuronowa z pojedynczym węzłem
• Funkcje aktywacji
• Schemat szkolenia sieci
• Funkcje celu, kosztu i straty
• Wskazówki do wyboru architektury sieci

Moduł 2. Szkolenie sieci neuronowych metodą propagacji wstecznej

Wiele osób traktuje sieci neuronowe jak „magiczne czarne skrzynki”, które po prostu działają. Po zakończeniu tego modułu będziesz znać szczegóły algorytmu wstecznej propagacji błędów, oraz aparat matematyczny powiązany z procesem szkolenia sieci. Dodatkowo odświeżysz podstawowe zagadnienia z algebry liniowej i analizy matematycznej (iloczyny macierzy, obliczanie pochodnych itd.).

Główne tematy:

• Pochodne funkcji złożonych
• Gradient descent / metoda gradientu prostego
• Backpropagation / wsteczna propagacja błędów
• Backpropagation – wersja uproszczona i macierzowa
• Momentum/pęd – ważny komponent w aktualizacji wag

Moduł 3. Wybrane aspekty treningu sieci

Dowiesz się, jak zaaplikować teorię i aparat matematyczny z poprzedniej części, w praktyce. Zobaczysz, jak biblioteki i procesy automatyczne mogą pomóc w organizowaniu eksperymentów uczenia sieci, liczenia gradientów i zapobiegania ewentualnym problemom, jakie napotykają sieci.

Główne tematy:

• Optymalizatory automatyczne
• Implementacja liczenia gradientów
• Wykorzystanie Tensorflow i Keras
• Radzenie z przetrenowaniem sieci
• Ogólne założenia regularyzacji
• Regularyzacja L1 i L2
• Dropout, sposób na lepszą generalizację

Moduł 4. Projektowanie eksperymentów

Nauczysz się w sposób rzetelny, systematyczny i spójny projektować eksperymenty z użyciem sieci neuronowych, tak, żeby ich wyniki były powtarzalne i pozwalały na wyciąganie prawidłowych wniosków. Dodatkowo poznasz sposoby, na rozwiązywanie częstych problemów, jak np. brak równowagi między klasami.

Główne tematy:

• Główne typy danych
• Normalizacja i standaryzacja
• Przekształcenie do postaci one-hot
• Embedding – inny sposób na przekształcenie danych dyskretnych
• Różne podejścia równoważenia klas
• Tuning parametrów i architektury sieci
• Porównywanie modeli i wyników

Moduł 5. Wizualizacja oraz interpretacja działania sieci neuronowych

Dowiesz się, jak interpretować wyniki działania sieci, wizualizować jej strukturę oraz wyjaśniać dokonywane predykcje odbiorcom Twoich raportów lub projektów. Poznasz dodatkowe meta-algorytmy, które pozwalają zbadać czynniki wpływające na decyzje.

Główne tematy:

• Czym jest wyjaśnialność modeli?
• Metoda modeli zastępczych
• LIME (Local Interpretable Model-agnostic Explanations) – wykorzystanie lokalnych modeli do opisu działania modelu
• SHAP (SHapley Additive exPlanations) – użycie koncepcji Shapley’a i teorii gier do obliczenia wpływu poszczególnych cech na wynik modelu
• Anchor – interpretacja modeli z użyciem reguł interpretacyjnych nazywanych „kotwicami”

Moduł 6. Szczególne rodzaje sieci neuronowych

Poznasz specyficzne architektury sieci neuronowych, przeznaczonych do konkretnych zadań. Dowiesz się, jak analizować obrazy z pomocą sieci splotowych/konwolucyjnych (ang. convolutional networks), generować własne obrazy rywalizującymi sieciami GAN (ang. generative adversarial networks) rozwiązywać problemy analizy sekwencji i tekstów z pomocą sieci rekurencyjnych (ang. recurrent neural networks).

Główne tematy:

• Jak „widzą” sieci neuronowe
• Konwolucja – czy jest i jak działa?
• Charakterystyka architektury sieci konwolucyjnych
• Pooling
• Skuteczne przetwarzanie szeregów czasowych, obrazów i tekstu
• Generowanie obrazów i tekstu
• Transfer learning
• CNN (Convolutional Neural Network)
• GAN (Generative Adversarial Networks)
• RNN (Recurrent Neural Networks)
• Sieci LSTM (Long Short-Term Memory)
• Sieci GRU (Gated Recurrent Unit)

Moduł 7. Własne case study

Przetestujesz w praktyce zdobytą wiedzę i zastosujesz poznane architektury sieci do rozwiązania realnego problemu biznesowego na przykładzie Przewidywania Anomalii na podstawie danych z logów przy wykorzystaniu sieci LSTM i biblioteki logPy.

Będziemy obok i wesprzemy Cię w tym, dzięki czemu możesz uniknąć frustracji i szybciej zrozumieć trudne koncepcje, co pozwoli Ci skupić się na nauce i postępach w obszarze Deep Learningu.