Data Life UA

AWS Data Zone - це просто кошмар! 🤬
На роботі стала потреба у створені такого собі посібника де буде відображатись вся інформація про дані, що саме хотілось:

- Що в собі тримає кожне поле (унікальний ID користувача, сума операції в копійка, сума в валюті користувача і тд.)
- Які є нюанси в цьому полі (відсутній період з 2025-01/2025-03-02 - технічна проблема і тд.)
- Звідки береться ця таблиця/поле (назва сервісу, опис івенту в продукті і тд.)
- Час оновлення таблиці
- Як зв'язати одну таблицю з іншою

Спочатку думка була така, взяти та і альтернуть всі таблиці і описати їх, умовно
alter table my_tbl change column my_column my_column string comment 'some comment'

а таблицю через set properties ...

Ніби, як логічно, але захотілось чогось модного-молодіжного і тут натрапив на AWS DataZone (ось вводна стаття про нього AWS https://data-life-ua.com/aws/aws-datazone-korotkyy-posibnyk-iz-sproshchennia-katalohu-danykh-ta-poshuku-danykh/)

Amazon DataZone — це оптимізована служба для управління даними, що забезпечує швидку каталогізацію, пошук, обмін та управління даними в AWS, локальних та сторонніх джерелах. Вона дозволяє адміністраторам та розпорядникам даних регулювати доступ до даних за допомогою точних засобів контролю, забезпечуючи відповідні рівні доступу та контекст. Це спрощує доступ до організаційних даних та спільну роботу з ними для широкого кола користувачів, включаючи інженерів, дата саєнтистів, менеджерів продуктів, аналітиків та бізнес-персонал, що дозволяє приймати обґрунтовані рішення.
А як Ґарно написано, але в мене так і не вийшло його налаштувать, що саме:
- Доступи, так і не зрозуміло, що йому потрібно, або видаляти не потрібні середовища, так і висяться в мене на проекті🙈
- Побудова Lineage - як було написано в документації, то сервіс може відсканувати роботу з даними та видати, шо да як формується (хотілось побачити графіки, де є сорс і є Т-трансофрмація даних і побачити по яким полям з'єднується таблиця)
- Загальна робота сервіса, гадав що це буде якось автоматично скануватись, але ні, потрібно запускати або по розкладу або через cli щоб він сканував таблиці.

Буду далі продовжувати його налаштовувати, але на перший погляд якось дуже не дуже.

Якщо ви вже з таким стикались, то буду радий поспілкуватись на цю тему в наших спільнотах 🤗👇🏻

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

Всіх вітаю з Новим роком 🥳
Бажаю всім та кожному одного, ніколи не здавайтесь, тільки наснага і терпіння може вас привести туди де ви бажаєте бути.

Тому що чудес не буває, тільки ваші зусилля та наполегливість може дати зростання вас у вашій кар'єрі!

Нехай 2026 рік, буде роком росту та підкорення вершин, а кому буде важко ви завжди знаєте куди звернутись

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======
print(" *")
print(" ***")
print(" *****")
print(" *******")
print("*********")
print(" ||")

Зараз стало трошки важче щось писати, прокрастинація не відпускає, але набираємось сил і просимо її дозволити щось робить, далі🥲
Обіцяю, з НР будуть регулярні статті, та буде трошки більше додаткової активності в групах, про це буде ще окремий пост...

А тепер трошки про EXCEL, існує багато жартів, як на цій програмі побудована вся фінансова система світу, як люди працюють без мишки в ньому і тд.

Але, по факту, по причині дуууже низького порогу входу в цю програму, люди відразу обирають її. Це не погано, бо на мою думку, для кожних етапів розвитку компанії чи будь-якого підприємництва, вам не завжди потрібно, з першого дня мати якийсь кластер MPP DB, DBT, PowerBI, AWS S3, GCP BigQuery і ще кучу всяких інструментів, котрі використовуються вже у великих компаніях, де в цьому є реальна потреба, гадаю якась шаурмеша була б і в захваті мати такі інстременти ...🤡

Інколи буває таке, що відбувається зворотна ситуація, коли великі компанії, проекти, нехтують важливістю зберігання та обробки даних, а також безпекою і все це роблять в EXCEL-чику.

От ми і маємо статтю на такий випадок
🔗 https://data-life-ua.com/excel/excel-naynebezpechnishe-prohramne-zabezpechennia-na-planeti/

У розпал епідемії ковіду Національна служба охорони здоров’я Великої Британії втратила результати тестування на ковід у процесі конвертації файлів з формату CSV у XLS. Були втрачені дані про 15 841 пацієнта:
Ви ж сказали, що потрібно в Excel віддати дані, я і віддав😆
У 2023 році австрійська політична партія SPÖ через помилку в Excel оголосила переможцем на виборах не того кандидата.
А в деяких наших сусідах і не потрібен Excel там вже наперед знають "обраного"🤡
Коли Barclays викуповував активи збанкрутілого банку Lehman Brothers, вони приховали 179 рядків з непотрібними активами в таблиці Excel, але не видалили їх. При роздрукуванні документа в PDF ці рядки були надруковані — і суд зобов’язав Barclays викупити в тому числі ці 179 збиткових активів.
CTRL+9

Уявіть, скільки у світі таких великих помилок вже відбулось, а якась частина ще відбудеться, по причині не правильно організованого процесу.
Тому, підбирайте правильні інстременти для роботи з даними, не робіть все за допомогою одного інструменту, намагайтесь будувать процеси, а не красиві формули, запити, UDF і тд. Все має буть системно і на все має бути перевірки та тести.

А що ви думаєте на цю тему?
Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

Дивлюсь Amazon лежить, піду і я полежу 😆
https://downdetector.com/status/blink-security/?_gl=1*13dvegt*_up*MQ..*_ga*MTYxMjA4NDc2MC4xNzYwOTUyNzMz*_ga_0PZM58H213*czE3NjA5NTI3MzIkbzEkZzAkdDE3NjA5NTI3MzIkajYwJGwwJGgw
User reports indicate issues at Amazon Web Services (AWS) in the US-East-1 region. These problems are impacting multiple services that depend on AWS infrastructure. We’re monitoring the situation: check your local Downdetector site for the latest updates.
А як у вас працює інфраструктура ?

Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

Зараз проходжу тему на англійській прокрастинація і випадково натрапив на ось такий цікавий сайт https://musicforprogramming.net/thirty/, де зібрана музика для концентрації.

Коли послухав пару добірок, здалося, що це якийсь білий шум чи сірий (чи коричневий💩😝).
Але як пишуть про цей сайт, самі розробники
we have found that the most compelling music for sustained concentration tends to contain a mixture of the following:

UA
ми виявили, що найпривабливіша музика для тривалої концентрації, як правило, містить поєднання таких елементів:
і перелік цих тем:
Noise
Drones
Arpeggios
Atmospheres
Field Recordings
Arrhythmic Textures
Vagueness (Hypnagogia)
Microtones / Dissonance
Detail / Finery / Patterns
Awesome / Daunting / Foreboding
Vast / Transcendental / Meditative
Drones - канеша, таке собі🙈

І до чого це я, багато з ким спілкувався і люди кажуть, що їм музика заважає сконцентруватись, кажуть якщо там ще є слова, то для них це дуже важко, починають більше співать ніж міркувати над задачею.

Мені, навпаки, якщо потрібно зібратись, відкласти прокрастенацію, сфокусуватись, то потрібна музика, причому будь-яка.
Коли увімкнув добірку з цього сайту, спочатку, як і казав, було не зрозуміло, але згодом, реально, ти починаєш абстрогуватись від зовнішнього світу і починаєш фокусуватись на конкретній задачі.

А як ви концентруєтесь?
Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

Обираємо дату коли буде святкуватись День Аналітика
https://dou.ua/forums/topic/55007/

Мені більше 11.11. сподобалось🤗

Мабуть потрібно і для DE вже обрати🧐

Можемо пофлудить на цю тему в наших групах
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

🔎 В роботі аналітиків та інженерів іноді виникає потреба виправити або переробити аналітичні таблиці. Зазвичай перевірка правильності нового коду проходить просто — треба лише переконатися, що потрібна частина таблиці була виправлена. Наприклад, якщо було пропущене значення, то в новій версії воно існує, або всі невірні значення тепер коректні.

Але що буде з таблицями, які залежать від тієї, яку ми виправили? Чи впевнені ми, що новий код не наробив помилок у залежних таблицях?

Для перевірки цього я розробив і використовую простий SQL-запит, який порівнює рядки в двох таблицях (зазвичай продакшен із девом).

Цей скрипт виводить рядки, які не співпадають у двох таблицях. Далі вже моя робота — зрозуміти, чи це очікувано, чи ні.

Крута особливість цього запиту в тому, що можна додати додаткові WHERE-умови, а також прибрати або додати стовпчики до SELECT.

Код можна https://gist.github.com/oleg-agapov/e3ca452aab6691697bb08fc11413b82e.

#oleg_agapov

Нещодавно в нас спільноті піднялось питання про дату в Excel
Так, може здатись, що Excel це вже в минулому чи це не той інструмент, котрим потрібно користуватись для аналізу.
Скажу так, це все ще має на життя і я їм також користуюсь, для невеличкого аналізу.

Але питання не за Excel, а за дату, чому ж вона так формується, чому 1 == 1900-01-01

Більше детально я описав це в статті
https://data-life-ua.com/excel/yak-formuietsia-data-v-excel/

А якщо стисло, умовно в нас є дві архітектури часо рахування
1. 1900 Date System - це основна архітектура, котрою користується Microsoft. Без технічних деталей, вона має на меті, що початок часу починається з 1900-01-01 00:00:00.000 і в свою чергу дорівнює 1.
Як приклад
1 це 1900-01-01
5 це 1900-01-05
32 це 1900-02-01
В статті ще пояснюю як формується час 🤓

І друга архітектура це EPOCH або UNIXTIME
Вона використовується мабуть в 90% всіх технологіях, потипу Linux, сімейства Unix, різні DB, Andorid і тд.
Суть достатньо проста, в такому випадку дата рахується в секундах подекуди і мілісекундах від 1970-01-01 00:00:00.000
Приклад
1 це 1970-01-0100:00:01.000
2 це 1970-01-0100:00:02.000
2678400 це 1970-02-01 00:00:00.000

Тому, наступного разу, коли побачите у Excel числа замість дати або якийсь набір цифр, ви вже будете знать, що це звичайна дата, котру можна перевести в людський формат.

І авжеш, якщо залишились питання, ви можете задавати питання в наших групах

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======

У світі даних є багато можливостей для карʼєри.

Є багато посад та багато варіантів відшукати саме те, що може сподобатися саме вам.

Як на мене, ваша кар'єра може розвиватися за https://www.linkedin.com/feed/update/urn:li:activity:7343291837949931523/.

🔹 Перша вісь: технології або бізнес.

Ви віддаєте перевагу створенню дата пайплайнів та систем чи аналізу даних та презентації їх бізнес-стейкхолдерам?

🔹 Друга вісь: універсал або спеціаліст.

Ви б краще оволоділи однією чи двома конкретними областями, чи розвинули ширші знання у декількох сферах даних?

🔹 Нарешті, існують три основні кластери:
→ Інженерія
→ Аналітика
→ Менеджмент

Якщо ви на початку своєї кар'єри, перед вами відкриваються широкі можливості. Та навіть якщо ви досвідчений професіонал, все одно є багато шляхів для зростання.

#oleg_agapov

Як ви всі бачите, зараз з'явився великий попит на AI-асистентів, LLM, NLP, генеративний ШІ, як то кажуть ML та нейроні мережі це не вже "торт".

Мені дуже цікава ця тема, бо бачу там напрямок для свого зростання але те що читаю про всі ці напрямки і звучить це все прикольно, але як розгортати та навчати такі моделі, зовсім не зрозуміло.

Люблю спочатку розібратись в питанні, а потім вже його імплементувати десь в роботі. Бо для мене це завжди біль, коли аналітик хоче впровадити якесь "машинне навчання" але при цьому не розуміє, що там під копотом звичайна ARIMA і взагалі людині всеодно, головне щоб прогноз був точний... але він точний сьогодні, а завтра ні, тому що немає розуміння як воно працює.

Можливо я скептик, але кажу як є, тому завтра буде анонс мітапа, нажаль онлайн, але в наш час гадаю будь-який мітап - це вже дуже круто, що він стається🇺🇦🦾
Хочу на нього сходить і от вам рекомендую)

А як ви відноситесь до інтеграції таких речей?
Поспілкуємось
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів https://www.facebook.com/groups/840586934215534 - загальна група в Facebook
https://twitter.com/DataLifeUA - канал в X (Twitter)
======


#data-life-ua