일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- TIL
- AWS
- redshift
- 정리
- 가상환경
- airflow
- 자료구조
- dockerfile
- 운영체제
- PYTHON
- HADOOP
- linux
- sql
- 데이터 웨어하우스
- Django
- Docker
- 데이터 엔지니어링
- 컴퓨터네트워크
- S3
- 데이터 파이프라인
- 종류
- TCP
- Go
- 데이터엔지니어링
- 데이터베이스
- 파이썬
- 데브코스
- 컴퓨터 네트워크
- http
- airflow.cfg
- Today
- Total
목록Data Engineering/프로그래머스 데브코스 (28)
홍카나의 공부방
토요일은 딱히 TIL을 작성하지 않아도 되는 날이나, 평일에 학습 시간이 부족했기 때문에 주말을 이용해서 추가 학습을 진행했다. 멘토님의 이야기와 팀 미팅 1차 멘토님께서 본인이 DE로 취직하시기 전에 하루 루틴, 취업 준비 과정, 코테 대비 등에 대한 경험을 말씀해주셨다. 확실히 공부 시간을 고3 처럼 정말 많이 가져가셨다. 나는 반성해야겠다.(1) 그리고 고3 마냥 정해진 시간에 공부하고, 운동하고, 취침하는 루틴을 충실히 세우셨다.. 또 반성해야겠다.(2) , 등의 책도 추천해주셨다. 가장 중요한 공부는 CS 기본기라고 강조해주셨다. 티스토리에 네트워크-OS 정리하다가 말았는데 반성해야겠다.(3) 짧은 시간이었지만 반성에 반성에 반성을 하는 계기.. 좀 더 치열함을 가지고 여유를 놔줘야겠다. Hea..
한기용 강사님의 ChatGPT 특강 LLM과 GPT Large Language Model은 문장의 일부를 보고 비어있는 단어를 확률적으로 맞추는 모델이다. 이 모델을 Train할때는 비지도 방식을 사용하는데 웹상에 존재하는 문서들이 모델의 훈련 데이터가 된다. 그리고 Temperature 개념이 들어가는데, 이는 자유도 개념으로써 이를 100으로 줄수록 출력 값이 랜덤으로 정해지고 0에 가까울수록 정해진 답으로 출력한다. GPT는 OpenAI에서 만든 초거대 언어 모델이다. GPT는 Word Completion, Code Completion 두 가지 모델을 제공한다. cf) 네이버의 초거대 언어 모델은 Word Completion만 지원한다. GPT-3 버전은 175B개의 파라미터를 사용하고 Contex..
큐(Queue) FIFO의 형태를 가지고 있는 자료구조 운영체제의 Ready Queue, TCP 계층에서 송/수신 buffer에 Queue 구조를 사용하는 등 시스템 구성에서 많이 이용 특히 서큘라 큐(Circular Queue)의 경우 수신 buffer 구현에 이용하면 좋을 듯 하다. Python에서는 from collections import deque로 덱을 이용하여 큐를 쉽게 구현할 수 있다. 우선순위 큐(Priority Queue) 원소들의 우선순위에 따라 큐에서 빠져나오는 자료구조 운영체제의 CPU 스케쥴러 등에서 사용한다. Enqueue할 때 우선순위 순서를 유지하도록 정렬하면 Dequeue할 때 해당 순서대로 pop할 수 있을 것이다. 연결 리스트를 이용하여 구현하면 시간적 측면에서 유리하..
자료구조와 알고리즘 주어진 문제를 어떤 자료구조와 연산 방법을 선택해서 해결할 것인가? "효율적으로 푼다"라는 것은 결국 개발에서는 무엇이 비용(cost)를 적게하는 방법일까에 대한 고민일듯. 경영으로 보면 자본적 비용(money)이 비용의 주요 의미겠지만, 개발에서는 시간(time)이 비용의 주 의미가 아닐까? 보조적으로 보면 메모리와 CPU 연산 사용을 얼마나 적게, 필요한 만큼만 사용하느냐.. 이런 것도 비용에 포함될듯. 선형 배열(Linear Array) 파이썬에서는 list로 구현 파이썬의 list에서는 원소의 자료형이 동일할 필요가 없다. 아래는 파이썬의 list class의 method들 정리. li = [1,2,3,4] # list 변수 할당 # 리스트 연산 li.append(1) # 원소..