일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- sql
- dockerfile
- 데브코스
- TIL
- 정리
- 데이터엔지니어링
- 파이썬
- Docker
- 가상환경
- Go
- linux
- 데이터 엔지니어링
- 컴퓨터네트워크
- 데이터 파이프라인
- AWS
- 종류
- 자료구조
- 데이터베이스
- http
- HADOOP
- PYTHON
- 운영체제
- S3
- 컴퓨터 네트워크
- redshift
- 데이터 웨어하우스
- TCP
- airflow.cfg
- airflow
- Django
- Today
- Total
목록Docker (19)
홍카나의 공부방
DELETE FROM vs TRUNCATE 분명 DROP까지 포함해서 삭제 쿼리문들의 차이점을 정리해놨었는데, 트랜잭션에서 레코드를 다 날려버릴 때 왜 DELETE를 쓰지? 잠시나마 고민했었다. 생각해보니 TRUNCATE가 auto commit이 되는 명령어라 트랜잭션을 이용하기 어렵겠구나하는 판단이 들었다. https://hongcana.tistory.com/102 정리본을 다시 읽어보자.. [데이터베이스] 삭제 : DELETE vs DROP vs TRUNCATE 데이터베이스 삭제 명령어 DELETE, DROP, TRUNCATE 모두 DB에서 객체를 삭제하는 데 사용하는 명령어다. 하지만 각각의 명령어는 세세한 차이점을 가지고 있다. DELETE DELETE 문은 테이블에서 특정 레코드 hongcana..
Docker에 설치되어 있는 Airflow에 로그인하는 방법을 살펴본다. 전제가 Docker 기반 Airflow임에 유의한다. EC2에 설치된 Airflow나 MMWA의 방법과는 다를 수 있다. 정확하게는 Airflow Scheduler 안으로 로그인하는 과정이다. docker ps 먼저 docker ps라는 명령어를 써서 컨테이너들의 아이디를 알아낸다. 저 중에 scheduler에 로그인을 해야 하고, 컨테이너 아이디는 4c51416a7578이다. docker exec -it 4c51416a7578 sh 위 아이디를 복붙하고, 컨테이너에 로그인을 하기 위해 위 명령코드를 작성해준다. 이렇게 하면 에어플로우 스케쥴러 컨테이너로 접속할 수 있을 것이다. 만약 특정 DAG의 task를 실행시키고 싶다면 다음..
AWS Lambda 내가 만든 함수만 등록해서 서비스를 할 수 있게 만들어주는 서버리스 서비스를 Lambda라고 한다. 위 그림처럼 특정 람다 함수를 생성하고, 테스트를 해보면 된다. 어떤 이벤트가 일어날 때, 특정 람다를 실행시켜 달라는 트리거를 만들 수도 있다. 코드는 웹 상의 편집기에서 추가 및 수정을 진행한 다음 deploy를 눌러서 배포할 수 있다. S3 버킷과 연계해서 사용할 수 있는데, 특정 버킷에 이벤트 알림을 만들어서 객체 생성이나, 제거와 같은 이벤트에 람다 함수가 연계되도록 설정할 수 있다. Docker Docker는 App을 신속하게 구축, 테스트 및 배포할 수 있는 SW 플랫폼이다. Docker는 SW를 컨테이너라는 표준화 유닛으로 패키징한다. 이 컨테이너에는 라이브러리, 시스템 ..