홍카나의 공부방

암호화폐 데이터를 수집하는 데에는 여러가지 방법이 있습니다. 그 중 하나는 코인마켓캡(coinmarketcap)에서 정보를 얻는 것입니다. 바이낸스나 업비트에서 암호화폐의 데이터를 수집하려면 그 거래소의 historical/realtime 가격 데이터 밖에 수집하지 못하는 등 해당 거래소에 상장된 암호화폐 데이터만 수집할 수 있다는 특징이 있습니다. 단일 거래소만의 가격 데이터만으로 충분하다면 사실 binance나 upbit의 API를 이용하면 됩니다. 그러나 코인이 상장된 여러 거래소의 가격을 합산한 평균 가격 데이터를 수집하길 원하거나, DEX에만 올라가있는 코인의 가격 데이터를 수집하길 원하거나, 가격 데이터가 아닌 다른 데이터도 수집하길 원한다면 코인마켓캡에서 수집하면 됩니다. https://co..

some_task = PythonOperator( task_id = "some_task", trigger_rule = "none_failed" ) 먼저 Airflow가 DAG 내에서 작업(task)을 실행하는 방법을 알아봅시다. Airflow는 DAG를 실행할 때, 각 task를 지속적으로 확인하여 실행 가능 여부를 확인합니다. task 실행이 가능하다고 판단하면, 스케쥴러가 작업을 선택한 후에 실행을 예약합니다. 그렇다면 task 실행이 가능한지는 어떻게 판단할 수 있을까요? 기본적으로 하나의 task는 업스트림(up-stream) task들이 모두 수행되면 다운스트림(down-stream) task들이 실행되는 선형적인 실행 구조를 가지고 있습니다. 이 구조는 기본적인 트리거 규칙(Trigger Ru..