2024-05-07 🍻

• Kompilacja softu na mój firewall/router. Korci mnie aby kupić bananaPi który jest silniejszy albo bananaPi który ma więcej portów LAN (mógł bym odpuścić switcha). 🔬
• Przejażdżka rowerowa z synem :) 🚲 🚲
• Spotkanie z dawną ekipą OpusCapita (jej częścią) 🍻
• Zupełnie tego nie przewidziałem ale dostałem masę pamiątek: flachę (nie piję, ale ładnie będzie wyglądała), kubek (wymiata pomimo, że mam zbyt wiele kubków już) i karta do decathlonu (przegięcie - powinni to zachować dla siebie). Za wszystko pięknie dziękuję (jeśli ktoś z Was to czyta) 🫡
• Na koniec kupiłem na szybko zestaw lego... i okazało się, że młody już go ma :( A wszystko to w związku z wróżką Zębuszką i wypadnięciem jedynki u młodego
• W trakcie dnia odzywała się średniego poziomu (juniorka) head hunterka z UK która chciała mnie podrzucić jednej firmie robiącej coś z AI. Dzwoniła gdy byłem na rowerze a później gdy byłem w knajpie. Niestety brak doświadczenia, niesamowicie mocny hinduski akcent oraz brak wiedzy w zakresie IT daje się u tej pani we znaki ale każdy musi gdzieś zaczynać. Tym samym jestem obecnie w trakcie 3 rekrutacji nawet nie szukając jeszcze pracy (podane poniżej chronologicznie według pierwszego kontaktu):
• 1️⃣ firma w trójmieście w której bym chciał pracować ze względu na ludzi, ich doświadczenie, wyzwania technologiczne i dużą ilość danych
• 2️⃣ firma z Bydgoszczy/Warszawy w której bym chciał pracować ze względu na ludzi, atmosferę w firmie, wkład w edukacje lokalnych społeczności oraz zagadnienia
• 3️⃣ ta firma z UK o której nie wiem zbyt wiele i która nie pasuje do mojego profilu
• ponadto 3 osoby zajmujące się pośredniczeniem prosiły mnie o moje CV ale na razie nie pociągnąłem tego tematu a na linkedin
• w sumie mam 17 różnych ofert od początku kwietnia więc rynek jest dużo słabszy niż kiedyś... zdaje się, że kolejne 3 z tych osób mają moje CV co oznacza, że teoretycznie mogę być uwzględniany w aż 6 rekrutacjach (wolał bym aby to była jedna, może dwie rekrutacje na raz aby uniknąć niepotrzebnych inwestycji ze strony firm gdzie po wszystkim może się okazać, że jestem niedostępny... z drugiej strony to nie są rzeczy, które są szybko załatwiane i często brak jest kontaktu z daną firmą przez tydzień lub nawet dłużej)
• Firma z 1️⃣ ma u mnie plusa za to, że miałem dodatkowy kontakt z HR z informacją, że sprawa jest w toku
  
• Każda z powyższych opcji nie jest idealnym dopasowaniem mojego profilu... ale najważniejsze pytanie to czym chciał bym się zajmować... i sam nie potrafię na to odpowiedzieć ponieważ kręcą mnie:
• big data (ale bardziej w kierunku NewSQL niż typowe hadoop+spark)
  
• low level (openWRT, arduino, IoT) ale brak mi doświadczenia
• DevOps (kubernetes itp. - chociaż w tym obszarze stricte nie pracowałem jedynie z doskoku na co dzień dotykając takich tematów)
• Security (ale wiem, że nie mam jeszcze wystarczająco doświadczenia a ponad to może ten obszar być nieprzyjemny ze względu na konieczność szybkiej reakcji w przypadku incydentów)
• Agile a dokładniej SCRUM - ale taki czysty i wiem, że ciężko to wprowadzić bez realnego wkładu ze strony kadry zarządzającej firmy... a z tym często jest słabo i jest wielu ludzi, którzy mają w tym o wiele większe doświadczenie niż ja
  

2024-05-06 🥱

Poranek jak zwykle - pobudka, budzenie dzieciaków, zaprowadzenie młodszego do szkoły.

Później rower - nędzne 17 km na ostrym kole.

Szybko prysznic i dentysta. Muszę się jeszcze umówić na wyrwanie zęba (nie warto go ratować).

Wróciłem i uciąłem sobie drzemkę. Później po młodego do szkoły.

Na koniec po warzywa do sklepu i do Lidla po bułkę dla młodszego (upatrzył sobie akurat te bułki).

Dzień minął a ja mam wrażenie, że nic nie zrobiłem a dzień trwał godzinę.

2024-05-05 🥱

Dzień na spokojnie. Laba. Z żoną obejrzeliśmy jakiś film. Ja już dawno nie oglądałem nic. Całe moje życie to praca na innych a teraz chwilowo jest inaczej. Nawet "wakacje" to czas spędzony na służeniu rodzinie.

Starszy syn miał się uczyć na sprawdzian i na poprawę ocen z jednego przedmiotu. Chciałem mu pomóc w nauce - ale mnie spławił i zamiast tego grał, oglądał filmiki na mediach, był na siłowni i poza domem za laskami się uganiał. Teraz o 22 ma do mnie pretensje, że nie nauczę go magicznie w 5 minut na jutro...

Młodszy dzisiaj sporo grał. Chwilę z nim spędziłem a tak to grał, oglądał coś tam i co chwila wołał mnie. Mamy ani razu.

Szukałem kawy w piwnicy. O dziwo nie znalazłem - a mieliśmy spore zapasy. Jutro poszukam.

Popełniłem krótki artykuł o metodologii agile i jak często jest przeprowadzona z góry skazana na porażkę udawana transformacja na agile. Taką właśnie miałem w opuscapita - tam nikt nie chciał ani transformacji, ani nawet usprawnień. Zarząd jedynie skupiał się na cięciu kosztów i utrzymaniu klientów aby maksymalizować obecne zyski. Parę osób w zarządzie mogło patrzeć szerzej ale całościowo zarząd grał na zatracenie, nie na rozwój. Zarząd odseparował się od pionu technicznego za pomocą nietechnicznych, niebiznesowych managerów niższego szczebla którzy byli pionkami. Takie podejście nie ma szans na sukces. Z zalet to pieniądze były na poziomie ale przy tym atmosfera na wyższych szczeblach nieprzyjemna i przesiąknięta polityką. To jest przykład firmy, w jaką inwestorzy nie powinni inwestować.

2024-05-03 lenistwo

Wczoraj i dzisiaj nic nie robimy. Siedzimy w domu oglądając jakieś bajki, grając w gry Lego, czytając. Ponad to spacery. Sąsiedzi wyjechali nad morze a mają psa co stanowi problem i żona zgodziła się tym psem zająć.

Wczoraj byłem że starszym synem na rowerach i syn chciał żebym mu kupił loda - zgodziłem się ale nie w myślęcinku. Pojechaliśmy do sowy na mostowej. Byliśmy tuż przed zamknięciem i syn dostał resztkę smaku, który chciał. Końcówka inaczej by trafiła do zlewu. Jadł 15 minut a ta "1 gałka loda" to było chyba z pół litra.

2024-01-05 LLM

Wstęp

Poniżej znajduje się podsumowanie mojego obecnego rozumienia dużych modeli językowych (LLM, Large Language Model) potocznie nazywanych sztuczną inteligencją (SI) lub AI (artificial intelligence).

O dużych modelach językowych

Czym są i jak działają LLM

Tworzenie AI zaczynamy od dużego zbioru danych, np. wikipedia, będącego zbiorem danych treningowych (training dataset).

System rozłoży dane wejściowe na tokeny, tzn. niepodzielne cząstki (głoski, litery, wyrazy, fonemy czy cokolwiek tam mu będzie pasować). Na potrzeby uproszczenia opisu poniżej zakładam, że token odpowiada słowu. W rzeczywistości słowo skłąda sie zazwyczaj z dwóch lub więcej tokenów.
Szukamy połączenia (korelacji) między danymi. Przykładowo między słowami i ich umiejscowieniem w zdaniu dzięki czemu potrafimy przewidzieć, że przykładowo po wyrazie "kurka" najczęściej występuje "wodna" ale może też wystąpić "grzyb". Określamy też jak prawdopodobne jest wystąpienie każdego z wyrazów i wyznaczamy prawdopodobieństwo dla wszystkich.

Rzeczywisty system jest bardziej skomplikowany. Dane wejściowe zamieniamy na dane numeryczne. Matematycznie są to jakieś pozycje w przestrzeni tokenów, a podobne tokeny znajdują się w niej niedaleko siebie. Przestrzeń nie jest płaska, ani nawet trójwymiarowa - wymiarów jest dużo więcej.
Pozycje w przestrzeni określamy z jakąś dokładnością. Dla uproszczenia zakłóżmy dwa wymiary i współrzędne (x, y). Słowo "niebieski" może mieć pozycję (100.51, 35.33) a "turkusowy" pozycję (101.02, 34.51), ponieważ te słowa mają zbliżone znaczenie.
Pozycje określamy ze skończoną dokładnością, np. (100.5, 35.3) i (101.0, 34.5) lub (100, 35) i (101, 35). Warto zauważyć, że przy małej dokładności słowa mogą dostać tę samą pozycję. W rzeczywistości wymiarów mamy więcej niż dwa i nawet przy niskiej precyzji modele osiągają stosunkowo dobre wyniki.
W powyższy sposób możemy przewidzieć jakie słowo nastąpi po innym.
Tokeny zbieramy w grupy i powtarzamy z szerszą perspektywą. Dzięki temu możemy rozróżnić "zamek do drzwi" i "zamek u spodni". Tokeny są takie same, lecz ich znaczenie jest zupełnie inne. Token "zamek" powinien posiadać przynajmniej dwa różne położenia w zależności od kontekstu. Jeśli dobrze zrozumiałem LLM to wielowarstwowe przetwarzanie stanowi częściowe obejście tego problemu. Być może dało by się to rozwiązać poprzez przypisanie jednemu tokenowi zestawu pozycji, tzn. zestawu wektorów. Z drugiej strony przetwarzanie na wielu warstwach jest zbliżonym działaniem.
Na koniec system przewiduje jaki token nastąpi po innym tokenie na wejściu oraz po zestawie tokenów.

Praca z problemami wcześniej nie spotykanymi

Chcemy aby AI potrafiło pracować z danymi, które nie są takie same jak zbiór danych treningowych.

• Rzeczywisty model chcieli byśmy "douczyć" w czasie rzeczywistym poprzez podanie skomplikowanego zestawu danych wejściowych, np. stron internetowych. Niestety to jest proces powolny i trzeba szukać alternatywnego rozwiązania.
• Jeśli ilość tokenów na wejściu jest zbyt duża - model ma problem aby określić dobrze kolejne tokeny. Jest to związane z brakiem dobrych dużych danych wejściowych do szkolenia modelu jak i skomplikowanym procesem przetwarzania (i oszczędnościami w obliczeniach).
• Aby zweryfikować czy nasz model radzi sobie dobrze z nieznanymi wcześniej danymi zwykle zbiór danych wejściowych dzielimy na dane treningowe i inne, np. walidacyjne.
• Temperature. Jest to współczynnik który pozwala na wybór niekoniecznie dokładnych korelacji między tokenami (ich odzwierciedleniem w przestrzeniach wielowymiarowych). Wartość 0% (0.00) oznacza dokładny wynik, wartość 20% (0.20) oznacza potencjalnie nieszablonowe rozwiązania (kreatywność).

Wyzwania, problemy i zagrożenia związane z LLM

AI jest obarczona szeregiem problemów i zagrożeń. Często nie można ich uniknąć ale staramy się przynajmniej zminimalizować prawdopodobieństwo niepożądanych efektów.

• Czasem model ma tzw. halucynacje, tzn. wykrył powiązanie między jakimiś miejscami w danych wejściowych a bzdurą, np. ktoś często popełnia literówkę w wikipedii to model przyjmie to za poprawną wartość. Może to być też powiązanie między teoretycznie niepowiązanymi danymi wejściowymi. W zasadzie to nie kontrolujemy tego, co model powiąże ani w jaki sposób. Jedynie nadajemy kierunek tworzeniu tych powiązań. W ten sposób szkolimy model ale nie kontrolujemy go podobnie jak uczymy dziecko (ale dziecko i tak może wyrosnąć na psychopatę).
• Bezgraniczne zdawanie się na modele stanowi niebezpieczny trend. Inwestorzy często nie znają kontekstu swojej inwestycji, w który inwestują pieniądze. Inwestorzy oczekują jedynie zysków a firmy kierują się zyskiem jako słownym wyznacznikiem swoich działań. Przepisy oraz moralność są naginane do granic ryzyka (oraz konsekwencji ich złamania i wykrycia). Takie podejście powoduje skłonności do nadmiernego ryzyka.
• Powierzając AI wykonanie jakiegoś zadania całościowo powinniśmy pamiętać o jego ułomnościach i ograniczeniach.
• Model nie ma emocji i polega jedynie na matrycy prawdopodobieństwa wygenerowanej z danych wejściowych.
• Model jest cyniczny i ślepo wykonuje polecenia.
• Model jest skażony wszelkimi nieprawidłowościami w danych wejściowych i ma tendencje do halucynacji.
• Model nie jest kreatywny a zwiększając "temperaturę" zwiększamy możliwość halucynacji.
• Obecnie powierzamy modelom wykonianie jakiegoś zadania. Następnie dajemy mu kontrolę nad narzędziami do wykonania zadania.
• Wejściowe zadanie zazwyczaj podamy nieprecyzyjnie - nie jesteśmy w stanie przewidzieć wielu komplikacji przed ich wystąpieniem. Degeneracja pierwsza.
  
• Akcje przewidziane przez AI są wydane na powstawie nieprecyzyjnych danych obraczonych cynizmem i halucynacjami. Degeneracja druga.
  
• Akcje wykonane przez AI przy użyciu narzędzi nie są kontrolowane. Mogą one prowadzić do kolejnych zwyrodnień. Degeneracja trzecia.
  
• Efekt końcowy jest efektem danych wejściowych i funkcji na nich wykonanej razem z degeneracją na każdym poziomie, tzn. wynik końcowy zawiera iloczyn degeneracji.
• Im większej kreatywności oczekujemy, tym większe degeneracje i halucynacje. To troszkę jak z schizofrenią. Im większe degeneracje, tym większy błąd wyniku na wyjściu.
• Aby kontrolować potencjalnie niepoprawne (niebezpieczne) wyniki nakłada sie kolejne warstwy AI walidujące wyniki tej pierwszej warstwy. Kreatywne AI jest w stanie (celowo bądź przypadkowo) wygenerować wyniki, które nie zostaną zaklasyfikowane przez warstwę kontroli jako nieprawidłowe (tym bardziej jeśli jest ona zimna i cyniczna, tzn. posiada niską temperaturę).
  

Podsumowanie

Kierując się kapitalizmem firmy powierzają zadania nieprzewidywalnym schzofrenicznym modelom językowym zwiększając ich kreatywność (i poziom schizofreni) przez zwiększenie temperatury. AI ma coraz potężniejsze narzędzia pozbawione kontroli nad ich wykorzystaniem.

I to jest obecny trend na rynku (czyżby do pierwszej większej wtopy zainicjowanej przez AI?).

2024-01-05 Manor lords, grounded

W ostatnich dniach zajmowałem się:

• Marnowaniem życia grając w manor lords na PC
• Manor lords to symulacja (sim city) stawiająca na realizm i wysoki poziom trudności. Spędzasz w grze dużo czasu i jedyne co masz to symulacja rzeczywistości. Ani dzieci tym nie nakarmisz, ani dla społeczeństwa nic nie zrobisz. Równie dobrze dla własnej przyjemności możesz się upijać albo ćpać. Na plus grafika, animacje i mnogość parametrów. Na minus interfejs (często nie wiadomo jak co działa - autorzy pewnie zrobią samouczek ale to jak sprzedawanie długopisu który nie działa i samouczek jak używać ołówka zamiast).
  
• Marnowaniem życia grając w grounded na xbox i PC
• Ciekawa gra od studia microsoftu bazowana na filmie "kochanie, zmniejszyłem nasze dzieci". Niestety wysoki poziom trudności i duża ilość pracy aby cokolwiek w grze zbudować sprawiają, że to kolejny zjadacz czasu. Postanowiłem skorzystać z cheatów aby poznać grę i jej fabułę. Duży świat (cały ogród) który zawiera część naziemną oraz podziemną nie ułatwia rozgrywki.
  
• Modelami językowymi - zrozumieniem jak działają
• Przypomnieniem języka python
• Zrozumieniem jak od sztucznych neuronów, z którymi miałem do czynienia, świat przeszedł do dużych modeli językowych i jak one działają. O tym kolejny post.
  
• Jestem w trakcie rekrutacji do dwóch firm... Troszkę niefajnie się czuję z tym, zę do dwóch jednocześnie startuję (tym bardziej, zę w obydwu fajni ludzie i ciekawe tematy) ale działam nieco pod naciskiem żony a rekrutacja ciągnie się strasznie (gdyby nie opóźnienie w pierwszej to bym z drugą nie rozmawiał). Gdybym wiedział że któraś z tych opcji będzie OK to bym drugą już uciął żeby nie marnować ich czasu. Czas to pieniądz.
• Prywatne:
• Spokojny dzień w domu
• Obejrzałem z żoną jakiś film (nie byłem świadom ale żona wykupiła 5 subskrypcji na platformach streamingowych i używa ich od kilku lat)
• Starszy syn pojechał na hulajnogę a później był na spacerze z koleżanką
• Byłem z młodszym synem na nauce jazdy na rowerze i jest OK ale ruszanie nadal do opanowania
• Odinstalowałem path of exile. Grałem w tę grę od wczesnej bety i gra była OK. Teraz gra zawiera masę zawartości i stała się straszliwie skomplikowana i cierpi na tzw. "power creep", tzn. coraz potężniejsze przedmioty sprawiły, że poziom trudności też rośnie i przedmioty kiedyś dobre teraz są coraz częściej bezwartościowe. Nadal mnie fascynują pewne jej aspekty ale chyba czas na (już kolejną) przerwę.
• Duży poziom złożoności a jednak zachowanie balansu to nie lada wyzwanie.
• Olbrzymia zawartość i model free-to-play.
• Większość płatnych rzeczy to te kosmetyczne. Niestety niektóre płatne dodatki wpływają na grę bardzo mocno a część z nich została dodana jako elementy bez których gra w modelu free-to-play staje się co najmniej trudna.
• Odinstalowałem arcanum. Trzymałem z sentymentu i dla muzyki. Ale nigdy nie uruchomię a nawet gdybym to zrobił to tylko z cheatami bo nie chcę na gry marnować życia.
• Taki mój osobisty bullshit: Powoli czyszczę komputer ze zbędnych rzeczy. Porządkuję. Muszę oczyścić życie. Zawodowe i prywatne. Nie piję (studenckie czasy za mną), nie palę (po byciu biernym palaczem w dzieciństwie), nie ćpam (i nigdy nie ćpałem). Czas na powrót do sportu (którego brak ze względu na rodzinę). Muszę znajdować czas na własne zainteresowania (nie tylko teraz ale również będąc w pracy). Czas dla rodziny - szczególnie dla starszego syna, który jest tzw. "szklanym dzieckiem", tzn. ofiarą swojego młodszego nadaktywnego brata, który wymaga opieki przez cały czas. Podobno w życiu powinny się liczyć praca, rodzina, zdrowie, przyjaciele i umysł (z tym ostatnim mam problem jak to przetłumaczyć). Odnoszę się do przemówienia Briana Dysona. Dla mnie praca była zawsze ważna - dzięki temu mogę utrzymać rodzinę. Rodzina? Skomplikowane. Jestem wdzięczny dwóm osobom w moim życiu, ponieważ mi pomogły. I mam szereg osób, za które jestem odpowiedzialny. Zdrowie? Mocno ucierpiało i zawsze było na dalszym planie - teraz ponoszę tego konsekwencje (a właściwie od kiedy byłem nastolatkiem... ponownie skomplikowane). Przyjaciele? Nie posiadam (a nieliczni z którymi mam jeszcze jakiś kontakt... kontaktujemy się rzadko i wszyscy mamy masę swoich spraw na głowie). Umysł? Dusza? Nie wiem jak to określić. Ja sam zawsze byłem gdzieś poza listą priorytetów... może czas to zmienić?
• Muszę wykombinować jak utemperować młodszego syna i umożliwić mu zapanowanie nad emocjami. To, że ja sobie z tym dałem radę (być może nawet przesadnie) nie oznacza wcale, że on też da radę.
  

2024-04-23 Prezentacja

Dziś głównie prezentacja na JUG.

Mam gotowy wstęp: opis ogólny wirtualizacji, kubernetesa.

Muszę przygotować system: klaster k8s i z 2 laptopy workery. Kiedyś wiedziałem jak to zainstalować ale teraz dużo się zmieniło. Mam problem jak na swoim komputerze uruchomić węzeł roboczy.

Muszę też się przygotować na rozmowę rekrutacyjną - wstępną póki co.

Podczas mycia naczyń potłukłem miseczkę. A przy okazji rozciąłem sobie palec na długości około 2cm :/