Kategoria: Snowflake

  • Czym są wirtualne kolumny w Snowflake?

    Wiedzieliście, że Snowflake utrzymuje pewne funkcjonalności w „tajemnicy”? Jedną z takich funkcjonalności są kolumny wirtualne, których definicji i opisu próżno szukać w oficjalnej dokumentacji (poza drobnymi wzmiankami dotyczącymi bezpieczeństwa danych). Szukając ich przez google trafisz w pierwszej kolejności na wpisy w community Snowflake’a i artykuł w Medium. Dowiedziałem się o nich czytając świetną książkę „Data Modeling with Snowflake” autorstwa Serge Gershkovich’a. Jak zdefiniować wirtualną kolumnę? Zróbmy sobie przykładową tabelę,…

  • Cache w Snowflake – jak go wykorzystać?

    Zastanawiasz się jak wycisnąć ze Snowflake’a jeszcze więcej? Przyspieszyć wykonywanie zapytań i zmniejszyć koszty? Zastanów się jak wykorzystać pamięć podręczną (cache), której Snowflake udostępnia trzy poziomy: Metadata Cache Zaryzykuję stwierdzenie, że ta pamięć podręczna jest najważniejszą.Snowflake przechowuje metadane w warstwie usług chmurowych. Tak samo przechowuje Query Result Cache, ale w odróżnieniu od niej metadane są przechowywane tak długo, jak tabela, którą opisują. To o co chodzi z tą pamięcią? Metadata Cache to nic…

  • Jakie rodzaje tabel są w Snowflake’u?

    Jakie rodzaje tabel są w Snowflake’u?

    Różne cele do zrealizowania i ich cena. Korzystanie z rozwiązań chmurowych generują koszty… i warto nad nimi panować dobierając odpowiednie narzędzia do wyznaczonego celu.Snowflake udostępnia dużo rodzajów tabel zależnie od Twoich potrzeb. Do wybrania odpowiedniego rodzaju tabeli przydadzą się odpowiedzi na pytania: Z tego wpisu dowiesz się: Zajrzyj też do zapoznania się z wpisem o tym jak bazy kolumnowe przechowują tabele. Stanowi on dobre uzupełnienie wiedzy o tabelach w Snowflake’u. 3 podstawowe…

  • Snowflake – Architektura

    Architektura Snowflake’a, ale zanim przejdziemy do niej opiszę 3 wcześniejsze podejścia. W końcu, żeby coś bardziej docenić i zrozumieć warto to porównać z alternatywnymi rozwiązaniami. Architektura Tradycyjna Tutaj wszystko jest dzielone wspólnie: procesor, RAM, dysk. Problemem tego podejścia jest skalowalność. Możesz rozbudować fizyczny serwer o najmocniejsze procesory, najszybszy dysk, więcej szybkiej pamięci RAM, jednak takie rozwiązanie ma swoje ograniczenia. Procesy ETL, ad-hoc’owe zapytania analityczne…

  • Insert, Update, Delete w Snowflake’u – wpływ na mikro-partycje?

    Jak bazy kolumnowe przechowują fizycznie dane omówiłem tutaj. W tym wpisie omówię jak manipulacja danymi wpływa na już utworzoną tabelę. Teoria Insert a mikro-partycje Mikro-partycje w Snowflake’u są niemutowalne. Nie można ich edytować w miejscu, a jednak baza umożliwia dodawanie nowych wierszy, ich edycję i usuwanie. Załóżmy, że dodajemy do tabeli z poprzedniego wpisu wiersz z nową transakcją (IDTransakcji = 7). Teoretycznie zapis wiersza odbywa się w nowej partycji…

  • Bazy kolumnowe- jak przechowują tabele?

    Żeby efektywnie korzystać z baz kolumnowych, takich jak Snowflake, kluczowe jest zrozumienie jak one przechowują dane. Przedstawię to na podstawie wspomnianego Snowflake’a. Architektura kolumnowa jednak działa praktycznie tak samo we wszystkich bazach kolumnowych jak i indeksie columnstore w MS SQL Server. Jeśli wiesz już jak tabele są materializowane w bazach kolumnowych zajrzyj też do wpisu, gdzie opisałem podstawowe rodzaje tabel w Snowflake’u. Teoria Dla uproszczenia przykład…