NLP/LLM 1

CME295 Navigator

Lectures

1. Transformer · 2. Transformer-based models & tricks · 3. Large Language Models · 4. LLM training · 5. LLM tuning
· 6. LLM reasoning · 7. Agentic LLMs · 8. LLM evaluation · 9. Current trends

Papers

Lecture 1

word2vec · Attention · Transformer

Lecture 2

Transformer · T5 · ALiBi · RoPE · Pre-Norm · RMSNorm · LongFormer · BERT · ELMo · DistilBERT · RoBERTa

Lecture 3

MoE · Switch Transformers · Mixtral · Context Rots · GPT-3 · CoT · CoT-SC · vLLM · DeepSeek-V2 · Speculative Decoding · MTP

Lecture 4

LLaMA 3 · Scaling Laws · Chinchila Law · Adam · AdamW · ZeRO · FlashAttention · AMP · FLAN · LoRA · QLoRA

Lecture 5

InstantGPT · RewardBench · PPO · GAE · DeepSeekMath · DPO

Lecture 6

HumanEval · DeepSeek-R1 · R1-Zero · DAPO

Lecture 7

RAG · SBERT · HyDE · ReAct

Lecture 8

METEOR · BLEU · MT-Bench · PIQA · T-Bench

• CME295 1 posts