Tag: SQL
-
Time Travel w Snowflake’u i Fail Safe
Jedną z podstawowych funkcjonalności dostępnych w Snowflake’u jest możliwość cofania się w czasie. Dzięki funkcjonalności Time Travel jesteś w stanie sprawdzić jak dane w tabeli prezentowały się w konkretnym punkcie w czasie i je odzyskać lub wykorzystać w inny kreatywny sposób! Dzięki Fail Safe z kolei możesz odzyskać nawet dane, których podróż w czasie już nie obejmuje, jednak z pewnymi ograniczeniami. Trochę teorii Dzięki Time Travel możesz odpytywać stan tabeli…
-
Cała składnia SELECT’a w Snowflake’u
Pracujesz już z jakąś bazą danych jakiś czas, ale nadal spotykasz dziwne klauzule, których nie rozumiesz? W tym wpisie przedstawiam szybki przegląd z klauzul dookoła SELECT’a dostępnych w Snowflake’u. Nie jest to szczegółowy opis każdej z nich, ale raczej zajawka mająca na celu poszerzenie świadomości dostępnych możliwości. Poniżej lista wszystkich elementów składni SELECT w kolejności, w jakiej muszą być pisane. SELECT jest pogrubiony bez nawiasów klamrowych, żeby wyszczególnić go jako jedyny obowiązkowy…
-
Co to jest Tabela Dynamiczna?
Tabela dynamiczna w Snowflake’u przechowuje dane jak każda inna stała tabela, ale ma kilka zasadniczych różnic: Do przedstawienia przykładów stworzę bardzo prostą tabelę. Utworzę też task, który regularnie co 20 minut będzie zasilał tę tabelę. Na potrzeby przykładu wstawiane dane są nieistotne. Jak utworzyć tabelę dynamiczną? Kod jest dość prosty: Sprawdźmy jak wygląda opis tej tabeli. W tym przypadku definicja jest na tyle prosta, że Snowflake może odświeżać…
-
Optymalizacja SQL w Snowflake’u
Wielokrotnie spotkałem się z opinią, że mam fajnie pracując z bazą danych w chmurze, bo nie muszę się przejmować optymalizacją kodu. Nic bardziej mylnego! Zrzucanie ciężaru zapytania jedynie na rozmiar klastra obliczeniowego Snowflake’a jest jak wyrzucanie pieniędzy. W każdej bazie danych istotny jest sposób, w jaki napiszesz swoje zapytanie, więc optymalizuj swój SQL! Łatwe do wdrożenia 5 wskazówek, jak pisać szybszy i tańszy kod SQL w Snowflake’u (i innych…
-
Co musisz umieć, żeby dobrze wykorzystać dbt?
dbt jest niezwykle prostym narzędziem do zapanowania nad analityczną bazą danych. Jego elementy, zalety i przewagę nad graficznymi narzędziami ETL w kwestiach transformacji danych opisałem w tym wpisie. Żeby płynnie i bezproblemowo wykorzystać możliwości dbt musisz znać podstawy kilku rzeczy: a żeby zadbać o jakość i wygodę pracy przydadzą się jeszcze: Wiersz poleceń Obecnie większość interakcji z komputerami odbywa się poprzez interfejs graficzny, jednak przy programowaniu i wykorzystaniu…
-
Co to jest dbt (data build tool)?
Mierzysz się może z którymś z poniższych problemów? dbt może pomóc rozwiązać powyższe problemy. To lekkie open-source’owe narzędzie służące do organizacji i zarządzania Transformacjami danych w procesie ELT. Jest zbudowane wokół Twoich plików .sql lub .py definiujących modele w Twojej bazie danych. Dostępna jest darmowa wersja core i płatna usługa chmurowa. Wersja core nie ustępuje możliwościami wersji chmurowej, jednak wymaga włożenia większej pracy w architekturę rozwiązania i jej…
-
Widoki Zmaterializowane w Snowflake’u
Co to jest widok zmaterializowany? Widok zmaterializowany to nic innego, jak wstępnie przeliczony zestaw danych na podstawie definicji zapisanej w widoku. Snowflake przechowuje widoki zmaterializowane tak samo jak tabele. Definicja tworzenia widoku zmaterializowanego jest dość prosta: Żeby z nich skorzystać musisz mieć przynajmniej edycję Enterprise Snowflake’a. Zalety widoków zmaterializowanych Wady widoków zmaterializowanych Kiedy rozpatrzeć wykorzystanie widoku zmaterializowanego? Zgodnie z zaleceniami bezpośrednio od Snowflake’a rozpoczęcie…
-
Czym są wirtualne kolumny w Snowflake?
Wiedzieliście, że Snowflake utrzymuje pewne funkcjonalności w „tajemnicy”? Jedną z takich funkcjonalności są kolumny wirtualne, których definicji i opisu próżno szukać w oficjalnej dokumentacji (poza drobnymi wzmiankami dotyczącymi bezpieczeństwa danych). Szukając ich przez google trafisz w pierwszej kolejności na wpisy w community Snowflake’a i artykuł w Medium. Dowiedziałem się o nich czytając świetną książkę „Data Modeling with Snowflake” autorstwa Serge Gershkovich’a. Jak zdefiniować wirtualną kolumnę? Zróbmy sobie przykładową tabelę,…
-
Jakie rodzaje tabel są w Snowflake’u?
Różne cele do zrealizowania i ich cena. Korzystanie z rozwiązań chmurowych generują koszty… i warto nad nimi panować dobierając odpowiednie narzędzia do wyznaczonego celu.Snowflake udostępnia dużo rodzajów tabel zależnie od Twoich potrzeb. Do wybrania odpowiedniego rodzaju tabeli przydadzą się odpowiedzi na pytania: Z tego wpisu dowiesz się: Zajrzyj też do zapoznania się z wpisem o tym jak bazy kolumnowe przechowują tabele. Stanowi on dobre uzupełnienie wiedzy o tabelach w Snowflake’u. 3 podstawowe…
-
Snowflake – Architektura
Architektura Snowflake’a, ale zanim przejdziemy do niej opiszę 3 wcześniejsze podejścia. W końcu, żeby coś bardziej docenić i zrozumieć warto to porównać z alternatywnymi rozwiązaniami. Architektura Tradycyjna Tutaj wszystko jest dzielone wspólnie: procesor, RAM, dysk. Problemem tego podejścia jest skalowalność. Możesz rozbudować fizyczny serwer o najmocniejsze procesory, najszybszy dysk, więcej szybkiej pamięci RAM, jednak takie rozwiązanie ma swoje ograniczenia. Procesy ETL, ad-hoc’owe zapytania analityczne…