일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- airflow
- 운영체제
- 자료구조
- 종류
- sql
- 컴퓨터 네트워크
- 데이터베이스
- linux
- 데브코스
- TIL
- 파이썬
- 데이터 엔지니어링
- 데이터 파이프라인
- 데이터 웨어하우스
- PYTHON
- Django
- 컴퓨터네트워크
- HADOOP
- Docker
- 정리
- 데이터엔지니어링
- TCP
- Go
- 가상환경
- redshift
- http
- S3
- dockerfile
- AWS
- airflow.cfg
- Today
- Total
목록전체 글 (183)
홍카나의 공부방
동기와 비동기코드가 순차적으로 진행되는 방식을 동기적 처리라고 하고, 그렇지 않은 방식을 비동기적 처리라고 한다. 루틴(routine)루틴은 일련의 명령, 코드의 흐름을 의미한다. 즉, 메인 루틴은 프로그램의 주요 실행 흐름을 담당하는 코드 부분을 의미한다. (보통 프로그램이 실행될 때 가장 먼저 시작되는 루틴이다.) 서브 루틴은 메인 루틴이 아닌 루틴을 의미한다. 일반적으로 메인이 아닌 함수나 메소드를 생각하면 된다. 서브루틴은 특정 작업을 수행하기 위해 호출되며, 하나의 진입점과 탈출점을 가지고 있다. 코루틴(Coroutine)다양한 진입점과 다양한 탈출점이 있는 루틴을 의미한다. 중간에 실행을 멈추고 다른 작업을 수행한 후, 다시 원래 상태로 돌아와서 실행을 이어갈 수 있는 루틴이다. 비동기 프..
DuckDB? DuckDB는 C++로 작성된 오픈소스 컬럼 기반(columnar) 데이터베이스 관리 시스템으로, 인메모리(in-memory)와 OLAP(온라인 분석 쿼리)에 최적화 되어있다는 특징을 보유하고 있다. 표준 SQL을 지원하므로 데이터에 대해 쿼리, 집계, 조인 등의 연산을 수행할 수 있다. SQLite처럼 파일 기반 데이터베이스로, 어플리케이션 내에서 임베디드 되어 실행된다. 별도의 서버 설치가 필요하지 않아 가볍다는 특징이 있다. Python에서의 DuckDB API 사용법DuckDB의 장점은 API를 이용하여 여러 프로그래밍 언어에서 손쉽게 사용할 수 있다는 점이다. 이 글에서는 Python을 통한 DuckDB 사용법을 간단하게 알아보자. 먼저 DuckDB를 사용하여 SQL 쿼리를 실행..
파이썬의 가상환경 파이썬은 가상환경을 이용해서 프로젝트마다 독립된 환경을 만들어 사용할 수 있다. 가상환경 덕분에 각각의 프로젝트가 필요한 패키지와 버전, 그리고 의존성을 관리할 수 있게 된다. 파이썬에서 사용하는 의존성 관리자는 여러 가지가 있다. 파이썬의 공식 의존성 관리자인 pip나 virtualenv를 같이 사용하는 Pipenv가 있는데, 이번 글에서는 poetry를 알아본다. Poetry? Poetry는 가상환경 및 패키지 관리 도구다. 프로젝트마다 필요한 패키지를 명시적으로 관리할 수 있고, 가상환경을 쉽게 관리할 수 있다. 의존성 정보를 모두 명령어로 기록하고 관리할 수 있고, 가상환경까지 자동으로 생성할 수 있어서 프로젝트를 진행할 때 선택할 수 있는 의존성 관리자이기도 하다. Poet..
네이버 클라우드 서버에 SFTP로 연결하는 본격적인 방법 설명 이전에 FTP와 SFTP의 개념, 차이점에 대해서 간단히 짚고 넘어가자. FTP와 SFTP FTP(File Transfer Protocol)와 SFTP는 모두 파일을 전송하기 위해 사용되는 네트워크 프로토콜이다. 두 프로토콜의 큰 차이점은 보안 측면에 있다. FTP는 데이터 전송시 평문으로 전송되어 암호화되지 않아서 제3자가 내용을 가로챌 수 있다는 취약점이 있다. SFTP는 SSH(Secure Shell)프로토콜을 사용하여 모든 데이터를 암호화하므로, 데이터 전송 과정에서 보안을 제공한다. FTP가 암호화 과정이 없기 때문에 보안 취약점이 발생할 수 있는 가능성이 크므로, 파일 전송시 SFTP를 사용하려고 한다. CyberDuck SFT..