일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 가상환경
- AWS
- 컴퓨터 네트워크
- 운영체제
- linux
- S3
- airflow
- Django
- 데브코스
- 데이터엔지니어링
- TIL
- http
- 데이터 웨어하우스
- dockerfile
- sql
- TCP
- 컴퓨터네트워크
- 데이터 파이프라인
- 파이썬
- 데이터 엔지니어링
- PYTHON
- Docker
- airflow.cfg
- 자료구조
- 데이터베이스
- 정리
- 종류
- redshift
- Go
- HADOOP
- Today
- Total
목록데이터엔지니어링 (11)
홍카나의 공부방
Seaborn Jupyter Notebook이나 Colab 환경을 이용하면 시각화를 보다 편리하게 진행할 수 있다. 하지만 오랜만에 코랩이나 쥬피터를 켜기 귀찮으므로(...) VSCODE로 시각화를 진행한다. VSCODE로 시각화를 이용하려면 VSCODE Extension에서 `Jupyter` Extension을 설치해야 한다. 그리고 파일 맨 위에 `#%%`을 추가하고, `Run Cell`을 누르면 시각화가 진행된다. 임의로 시각화 코드를 작성하여 VScode를 통한 시각화를 진행하였다. 코드는 다음과 같다. # %% import seaborn as sns import matplotlib.pyplot as plt # 한글 폰트 사용을 위한 세팅 from matplotlib import font_mana..
BeautifulSoup Library response로 가져오는 HTML 문서를 parsing하는 파이썬의 라이브러리. 주요 활용법 중 일부는 아래 코드로 소개한다. 파고들면 파고들수록 사용할 수 있는 기능이 많은 라이브러리다. 이는 bs4 document 등을 참고하면 좋다. import requests from bs4 import BeautifulSoup res = requests.get("https://www.example.com") # 첫 번째 인자로 resquest의 body를 텍스트로 전달하기 # 두 번째 인자로 parser 종류 입력해주기 soup = BeautifulSoup(res.text, "html.parser") print(soup.title) # soup에 담긴 text중 titl..
HTTP hypertext transfer protocol은 웹 상에서 정보를 주고 받기 위한 하나의 프로토콜이다. 이미지, 동영상, 오디오, 텍스트를 포함한 Hypertext 즉, Hyperlink와 같은 링크 기반의 데이터를 주고 받기 위한 프로토콜이다. FTP, 텔넷 등이 들어있는 OSI Layer 7(응용 계층)에 속해있다. GET과 같은 request를 넣어서 서버의 정보를 얻게 된다. server에 request를 넣으면 이에 대한 response를 서버가 보내게 되는데, HTML 문서의 데이터 형태를 주고 받게 된다. 전공의 컴퓨터 네트워크 수업에서는 딱히 깊게 배우지 않는 프로토콜이다. ( 이는 컴퓨터네트워크 수업의 핵심 주제인 TCP/IP의 내용만 제대로 다뤄도 한 학기가 부족하기 때문이..
HTML VScode의 Live server로 html 문서를 작성한 후, 실시간으로 웹 문서를 확인하는 과정을 거쳤다. 는 문서의 정보가 담기는 영역이라는 것과, , , : script.js의 내용을 include하는 코드 는 이냐 이냐 구분이 된다. ( 자매품 : inline-block ) 쉽게 이야기하면 block 요소인 를 이용하면 한 줄을 다먹고, inline 요소인 을 이용하면 그 원소의 크기 만큼만 공간을 차지하게 된다. , , 도 오랜만에 보는 태그들이었다. 구역을 나누는 데 사용되는 태그들이다. 은 한 번만 사용한다. 은 구역을 나누는 태그인데, 나는 그냥 에 id나 class 속성명을 줘서 구분하며 사용한 경우가 더 많았다. 시맨틱하게 작성하기 위해 , , 등은 사용했다. : 문서에 이..