홍카나의 공부방

한기용 강사님의 ChatGPT 특강 LLM과 GPT Large Language Model은 문장의 일부를 보고 비어있는 단어를 확률적으로 맞추는 모델이다. 이 모델을 Train할때는 비지도 방식을 사용하는데 웹상에 존재하는 문서들이 모델의 훈련 데이터가 된다. 그리고 Temperature 개념이 들어가는데, 이는 자유도 개념으로써 이를 100으로 줄수록 출력 값이 랜덤으로 정해지고 0에 가까울수록 정해진 답으로 출력한다. GPT는 OpenAI에서 만든 초거대 언어 모델이다. GPT는 Word Completion, Code Completion 두 가지 모델을 제공한다. cf) 네이버의 초거대 언어 모델은 Word Completion만 지원한다. GPT-3 버전은 175B개의 파라미터를 사용하고 Contex..

통신서비스의 구분 (1) Unicast : 1대1 통신 방식. 송신자가 하나고 수신자도 하나다. L2 Switch의 통신 방식이다. (2) Multicast : 1 to many 통신 방식. 송신자가 하나고 수신자는 여럿이다. (3) Broadcast : 1 to All 통신 방식. 여기서 All은 하나의 물리 네트워크를 대상으로 한다. 인터넷 전체를 대상으로 하면 해커들은 그냥 브로드캐스트 통신 때리고 딩가딩가해도 될 것이다. (4) Anycast : IP에서는 1 to Any를 지원하는 Anycast 서비스가 존재한다. 성능 향상을 위해 IP주소가 같은 서버를 중복 배치하고, Client가 아무한테나(Any) 연결해도 되지만 연결이 가장 빠른 서버에 연결하는 방식이다. Youtube Live 유튜브 ..