Create: Update:
معلم دلها، معلم معلمها، خوشگل پسر، آقای Andrej Karpathy، ویدئوی جدیدی منتشر کرده!
موضوع ویدئو: Deep Dive into LLMs like ChatGPT
مدت زمان: 3 ساعت و 30 دقیقه
فهرست مطالب:
introduction
pretraining data (internet)
tokenization
neural network I/O
neural network internals
inference
GPT-2: training and inference
Llama 3.1 base model inference🔴
pretraining to post-training
post-training data (conversations)
hallucinations, tool use, knowledge/working memory
knowledge of self
models need tokens to think
tokenization revisited: models struggle with spelling
jagged intelligence
supervised finetuning to reinforcement learning
reinforcement learning🔥
DeepSeek-R1🔥
AlphaGo
reinforcement learning from human feedback (RLHF)
preview of things to come
keeping track of LLMs
where to find LLMs
grand summary
باید در اسرع وقت زمان باز کنم و ببینمش. احتمالا مشاهده این ویدئو به یک روز کاری (8 ساعت) زمان نیاز داره.
لینک
