홍카나의 공부방

(1) 3월에 태어난 여성 회원 목록 출력하기 https://school.programmers.co.kr/learn/courses/30/lessons/131120 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr LV.2의 SQL문제다. 문제 조건에 요구하는 것이 많으므로 꼼꼼하게 읽어봐야한다. 또한 조건문에서 NULL을 비교할 때는 IS NULL 또는 IS NOT NULL을 사용해야 함을 인지하자. ( != 혹은 = 등으로 수행하지 말것) 또한 DATE_FORMAT 함수에 익숙해져서 DATE 자료형이 나올 때 당황하지 않도록 하자. SELECT MEMBER..

Hello World DAG 만들어보기 Python Operator를 이용하여 Airflow dag를 만들어본다. from airflow.operators.python import PythonOperator from datetime import datetime from airflow import DAG dag = DAG( dag_id ="helloWorld", start_date = datetime(2021,8,26), catchup=False, tags = ['example'], schedule = '0 2 * * *' ) def print_hello(): print("hello!") return "hello!" def print_world(): print("world!") return "world!"..

Airflow 실습을 하다가 task 하나가 실패해서 원인을 찾고자 했다. 1. DAG의 Python 코드를 다시 살펴본다. -> 눈으로 봤을땐 딱히 잘못된 부분이 없어보여서 넘어갔다. 2. airflow CLI를 통해 여러 test를 해본다. airflow dags test {DAG이름} {EXECUTATION_DATE} airflow tasks test {DAG이름} {task이름} {EXECUTAION_DATE} 위 코드로 특정 DAG나 task를 test할 수 있는데, 이 테스트로 딱히 찾지 못했다. 3. 웹 UI 에서 실패한 log를 살펴본다. 이런 식으로 task 정보를 살펴보면 Logs 탭에 로그 기록이 남는다. 나의 경우 SQL INSERT 문에서 작은 따옴표를 작성할 때, INPUT 값에..

airflow를 설치할 때 Airflow.cfg도 함께 제공된다. 이 파일로 airflow의 동작, 설정, 옵션을 수정할 수 있는데 파일 안에 뭐가 있는지 알아야 맛보고 즐길 수 있을 것이다. airflow.cfg 내부의 일부분을 살펴본다. docker를 사용하고 있다면, airflow-webserver 컨테이너 내부의 airflow.cfg를 살펴보면 되겠다. (이 글은 airflow 2.5.1 버전을 기준으로 작성되었다.) 1. DAGs 폴더는 어디에 지정되는가? dags_folder 변수에 절대 경로로 DAG들이 저장되는 폴더를 지정할 수 있다. 보통 코드 레파지토리의 하위폴더 경로로 설정한다고 한다. 기본 값은 /opt/airflow/dags 일 것이다. 2. DAGs 폴더에 새로운 Dag를 만들면..