Простыми словами
Контекст - это рабочий стол модели. Что на столе лежит, то она и учитывает. Убрали со стола - модель об этом больше не знает, даже если обсуждали это пять минут назад.
Зачем нужен
Качество ответа зависит от того, что попало в контекст. Точный кусок кода и живая документация дают верный ответ, а пересказ по памяти - выдумку. Поэтому подбор контекста - отдельная работа, а не мелочь.
Как работает
Перед каждым вызовом обвязка собирает окно: системные правила, историю, вложенные файлы, ответы инструментов. Всё это считается в токенах и не может превысить предел модели, поэтому старое вытесняется или сжимается.
Когда не нужен
Следить за контекстом вручную не нужно на коротких разовых вопросах: окна хватает с запасом. Забота о нём начинается там, где в работу втягиваются большие файлы и длинные диалоги.