Выложили запись доклада Александра Шелютина на тему «4 лайфхака, которые помогут вам эффективно использовать конвейеры Airflow»
На конференции «Systems Design» Александр Шелютин, опытный Data Engineer с 6-летним стажем, рассказал о важности создания шаблонных DAG на основе конфигурационных и коллективных файлов для повышения эффективности работы с AirFlow. Он также выделил значение генерации автоматических сущностей AirFlow и создания событийных пайплайнов AirFlow.
Тайм-код доклада:
00:00 О спикере
01:09 Что такое AirFlow?
05:54 1. Создавайте шаблонные DAGи на основе конфигурационного файла
13:08 2. Создавайте шаблонные DAGи на основе коллективного файла конфигурации
18:20 3. Генерируйте автоматически, на основе сущностей AirFlow
23:45 4. Создавайте событийные (event-driven) пайплайны Airflow
29:50 В чем разница оркестрации и хореографии?
32:15 Что является событием в тестировании доменной безопасности? Почему не удавалось это сделать по расписанию?
Посмотреть можно на нашем YouTube-канале
>>Click here to continue<<
