홍카나의 공부방

한기용 강사님의 ChatGPT 특강 LLM과 GPT Large Language Model은 문장의 일부를 보고 비어있는 단어를 확률적으로 맞추는 모델이다. 이 모델을 Train할때는 비지도 방식을 사용하는데 웹상에 존재하는 문서들이 모델의 훈련 데이터가 된다. 그리고 Temperature 개념이 들어가는데, 이는 자유도 개념으로써 이를 100으로 줄수록 출력 값이 랜덤으로 정해지고 0에 가까울수록 정해진 답으로 출력한다. GPT는 OpenAI에서 만든 초거대 언어 모델이다. GPT는 Word Completion, Code Completion 두 가지 모델을 제공한다. cf) 네이버의 초거대 언어 모델은 Word Completion만 지원한다. GPT-3 버전은 175B개의 파라미터를 사용하고 Contex..

자료구조와 알고리즘 주어진 문제를 어떤 자료구조와 연산 방법을 선택해서 해결할 것인가? "효율적으로 푼다"라는 것은 결국 개발에서는 무엇이 비용(cost)를 적게하는 방법일까에 대한 고민일듯. 경영으로 보면 자본적 비용(money)이 비용의 주요 의미겠지만, 개발에서는 시간(time)이 비용의 주 의미가 아닐까? 보조적으로 보면 메모리와 CPU 연산 사용을 얼마나 적게, 필요한 만큼만 사용하느냐.. 이런 것도 비용에 포함될듯. 선형 배열(Linear Array) 파이썬에서는 list로 구현 파이썬의 list에서는 원소의 자료형이 동일할 필요가 없다. 아래는 파이썬의 list class의 method들 정리. li = [1,2,3,4] # list 변수 할당 # 리스트 연산 li.append(1) # 원소..