AI7 [LLM] How Transformer LLMs Work : Understanding Language Models 이젠 진짜 해야함 https://www.deeplearning.ai/short-courses/how-transformer-llms-work/?utm_source=pytorchkr&ref=pytorchkr How Transformer LLMs WorkUnderstand the transformer architecture that powers large language models (LLMs) to use them more effectively.www.deeplearning.ai이 강의를 들어보기로 했음한시간반 강의이고 실습 + 강의임무료라서 좋은데 한국말 자막이 안나옴!그래도 영어 스크립트는 줘서 지피티한테 번역시켜서 이해해보려고 함Introduction여기선 llm 아키텍쳐 트랜스포머를 가르쳐준다고 함.. 2025. 11. 2. 2025 LG전자 채용계약학과 합격 후기 안녕하세요 제가 드디어 취뽀를 했습니다.사실 아직 학부생이지만, 상반기부터 준비를 했다보니 취준 기간은 한 6개월정도 되었던 것 같아요.이 전형을 준비할 때 정보가 많이 없기도 했고, 이전년도 합격자분들이 블로그에 써주신 글이 많이 도움이 되었어서 저도 써보려고 합니다.혹시 문제가 되는 정보가 있다면 바로 삭제처리 하겠습니다. 우선 LG전자 채용계약학과는 바로 입사를 하는 전형은 아니고, 정해진 대학교의 대학원에서 석사 학위를 취득하고 LG전자로 입사를 하게 되는 전형입니다.부서는 졸업 후 정해지고, SW R&D 직무로 근무를 하게 될 것 같습니다석사 기간 2년동안에는 학비 + 약간의 생활비와 해외학회 참석비용, 인턴 근무 기회가 제공됩니다!수혜기간의 2배 즉, 4년을 의무근무를 해야한다는 조항이 있긴 .. 2025. 9. 30. [LLM] 안드레이 카파시 : ChatGPT와 같은 LLM 기술의 심층 분석(훈련 과정) 컨택한 랩실 교수님께 LLM에 대해서 기초적인 지식을 쌓고 싶다고 말씀드렸더니 석사분들을 통해서 강의를 추천해주셨다! Pretraining(사전 훈련 단계)download, preprocesspretraining의 첫번째 단계는 인터넷에서 정보를 다운받는 것이다.(데이터 수집)우리는 고품질, 아주 많은 데이터를 얻고자 노력한다. 이것을 달성하기 위해서는 위와 같은 단계를 거친다.url filtering은 데이터를 수집하고싶지 않은 사이트(광고, 유해사이트 등등)을 필터링하고, text extraction에서는 html 코드에서 필요한 정보 텍스트만 얻는 등의 과정을 거친다.또한 language filtering은 데이터셋에 언어를 어떤 비율로 포함시킬 것인지를 정할 수 있다. 만약 영어 비율을 높인다면 .. 2025. 9. 24. UCSD Qualcomm Institute AI Project 5주차 마지막 주차다이 주는화요일까지 논문, 워크플로우 제출수요일 위클리 프레젠테이션금요일 최종발표로 굉장히 바빴다ㅜㅜ 알고리즘시간관계상 하이퍼파라미터 종류가 많은 xgboost나 adaboost를 쓰는 것 보다 종류가 적은 lr과 랜덤포레스트를 활용하라는 피드백을 받고 이전에 했던 건 그냥 덮기로 했다.그래도 랜덤포레스트를 계속 시도하던 팀원이 있어서 다행이었다. 나는 lr을 중점적으로 다뤘다. Logistic Regression이번에도 유튜브와 지피티를 활용해서 공부해보았다. 박사님께서 lr은 하이퍼파라미터 조정이 필요없고, 컴버지때의 값이 하이퍼파라미터 값이라고 하셨다.컴버지가 뭐지...아는게 없으니 막막했다. 그래서 TA분께 여쭤봤다. 인도분이셨는데 내 허술한 영어도 친절하게 다 받아주셨고, 설명도 정말.. 2025. 2. 23. UCSD Qualcomm Institute AI Project 4주차 사실 이제 한국에 왔다. 4주차랑 5주차는 너무너무 바빠서 바로바로 블로그를 쓰지 못했다ㅜㅜ지금이라도 쭉 정리해보려고 한다. 아 그리고 우리팀의 논문 1저자는 내가 되었다.. 잘 완성시켜야지 피쳐분석우리가 박스플롯, 파이차트 등으로 분석한 피쳐들을 가지고 박사님과 미팅을 하였다.이런식으로 30개의 피쳐를 모두 분석했다!박사님께서 이상치가 있는 것들은 그 값을 분석해서 정말 이상치인 것들은 제거하라고 하셨고 결측값이 많거나 예약 취소와 관련 없는 피쳐들은 빼라고 하셨다. 그리고 이 날 해결하지 못한 부분이런 것들은 추후 다시 분석해서 가져갔다알고리즘 공부이 주부터는 모델을 만들어보아야한다고 하셨다.그래서 조원마다 각자 공부하고 돌려볼 알고리즘들을 정해주었다.] 나는 XGBOOST와 ADABOOST를 공부하.. 2025. 2. 23. UCSD Qualcomm Institute AI Project 3주차 이번 주는 주제를 바꿨다.주제를 바꾸게 된 이유저번 주 부터 계속해서 문제가 되었던 부분이 있었다. 바로 우리 피쳐들 중 "현재 신용계좌에 있는 잔액 수", "지난 12개월동안 신용조회된 횟수"와 같이 현재 시점에 관련된 것들이 많았다.그런데 아무리 찾아도 저 현재 시점이 언제를 의미하는지를 알 수 없었다. 시점을 찾는데 굉장히 많은 시간과 노력을 투자했음에도 불구하고 진전이 거의 없어서 결국 주제를 바꾸는 것이 낫다고 판단하게 되었다. 주제 선정 주제 선정 기준선정 기준은 이전 데이터셋에서 문제가 되었던 것들을 피하기 위한 것들과 좋은 성능을 낼 수 있는 조건들로 구성되었다.피쳐의 의미를 명확하게 알 수 있어야한다.피쳐가 너무 많거나 적지 않을 것(이전 꺼는 150개..)데이터 분석을 위해 필요한 배경.. 2025. 2. 8. 이전 1 2 다음
