Энтропия

Проверять существование префиксного кода с помощью неравенства Крафта—Макмиллана.

Выводить границы H(X) ≤ L* < H(X) + 1 для ожидаемой длины оптимального двоичного префиксного кода.

Строить код Хаффмана для заданного распределения и измерять его избыточность.

Реализовать упрощённое арифметическое кодирование для дискретного источника.

Оценивать размер типичного множества с помощью асимптотического свойства равновероятности.

Оценивать энтропийную скорость конечного марковского источника по условным энтропиям и сопоставлять результат с эмпирической степенью сжатия.

Разлагать cross-entropy на энтропию истинного распределения и KL-дивергенцию.

Доказывать неотрицательность KL-дивергенции с помощью неравенства Йенсена и формулировать условие равенства.

Проводить численный эксперимент с прямой и обратной KL-дивергенцией на мультимодальном распределении и объяснять возникающие mode-covering и mode-seeking эффекты при ограниченном семействе аппроксимаций.

Вычислять Jensen—Shannon divergence и сопоставлять её симметрию и ограниченность со свойствами KL-дивергенции.

Вычислять взаимную информацию из совместного и маргинальных распределений.

Преобразовывать взаимную информацию между эквивалентными формами через энтропии и KL-дивергенцию.

Применять неравенство обработки данных к марковской цепочке представлений модели и определять, где может теряться информация.

Вычислять дифференциальную энтропию равномерного, экспоненциального и гауссовского распределений.

Выводить закон преобразования дифференциальной энтропии при обратимой замене координат через якобиан.

Доказывать максимальность энтропии гауссовского распределения при заданных среднем и ковариации.

Оценивать дискретную энтропию plug-in методом и экспериментально измерять зависимость его смещения от размера выборки и алфавита.

Применять поправку Миллера—Мэдоу и объяснять её ограничения для разреженных распределений с большим алфавитом.

Оценивать взаимную информацию с помощью дискретизации и выявлять чувствительность результата к разбиению и конечному размеру выборки.

Решать задачу максимизации энтропии при линейных ограничениях и выводить соответствующее экспоненциальное семейство распределений.

Выводить распределение Гиббса из ограничения на среднюю энергию.

Вычислять статистическую сумму, среднюю энергию и энтропию конечной модели Гиббса.

Объяснять, когда энтропия Гиббса сводится к формуле Больцмана S = k_B log Ω, и различать информационную и физическую размерности энтропии.

Выводить тождество между вариационной свободной энергией и KL-дивергенцией и указывать условия, при которых этот мост применим в вероятностном выводе и ML.

Выводить softmax cross-entropy как отрицательное лог-правдоподобие категориальной модели.

Реализовать численно устойчивую softmax cross-entropy через log-sum-exp в PyTorch.

Выводить градиент cross-entropy по логитам и интерпретировать его влияние на вероятности классов.

Представлять label smoothing как смешивание one-hot цели с равномерным распределением и анализировать его влияние на оптимальные предсказания.

Строить reliability diagram, вычислять ECE и показывать, почему predictive entropy сама по себе не измеряет калибровку.

Разлагать неопределённость ансамбля на ожидаемую условную энтропию и mutual information как приближения алеаторической и эпистемической составляющих.

Сравнивать predictive entropy и mutual information как функции приобретения в небольшом эксперименте по active learning.

Разлагать лог-правдоподобие последовательности на токенные условные лог-правдоподобия.

Вычислять perplexity из средней token-level cross-entropy и корректно интерпретировать её зависимость от единицы токенизации.

Сравнивать модели при разной токенизации с помощью bits per byte.

Оценивать условную энтропию следующего токена по позициям и типам контекста.

Диагностировать переуверенность языковой модели по калибровке токенных предсказаний и отличать predictive entropy от cross-entropy и perplexity на данных.

Формулировать knowledge distillation как минимизацию cross-entropy, или прямой KL, между температурно сглаженными распределениями учителя и ученика.

Выводить цепное правило KL для авторегрессивных распределений и связывать sequence-level KL с ожидаемой суммой token-level KL.

Вычислять влияние temperature scaling на распределение токенов.

Выводить зависимость энтропии softmax-распределения от температуры и доказывать её монотонность при недегеративных логитах.

Реализовать greedy, temperature, top-k и nucleus sampling для одной модели.

Сравнивать стратегии декодирования по предиктивной энтропии, разнообразию и выбранным показателям качества генераций.

Выявлять сигналы схлопывания и чрезмерной случайности по траекториям токенной энтропии, не трактуя энтропию как самостоятельную метрику качества.

Спроектировать и проверить адаптивную стратегию декодирования, изменяющую параметры выборки на основе локальной энтропии модели.

Выводить градиент энтропийного бонуса для категориальной политики.

Формулировать maximum-entropy RL как регуляризованную задачу оптимизации политики.

Выводить soft Bellman backup для дискретного пространства действий.

Выводить оптимальную политику для целевой функции с KL-штрафом относительно reference policy.

Сопоставлять entropy bonus и KL penalty как способы управления исследованием и дрейфом политики.

Оценивать sequence-level KL методом Монте-Карло через сумму token-level логарифмических отношений и анализировать смещение практических token-level приближений.

Выявлять сигналы mode collapse, reward hacking и избыточного дрейфа политики по совместному анализу reward, held-out evaluation, entropy и KL, не считая отдельную метрику достаточным диагнозом.

Реализовать небольшой PyTorch-эксперимент с KL-регуляризованным обновлением языковой политики.

Построить карту связей между surprisal, entropy, conditional entropy, cross-entropy, KL-divergence, mutual information, perplexity, длиной кода и free energy с указанием единиц и предпосылок.

Объединить ранее реализованные компоненты в PyTorch-ноутбук для измерения entropy, cross-entropy, KL и mutual information на синтетических распределениях и выходах модели.

Провести на малой авторегрессивной модели контролируемый эксперимент о влиянии temperature и KL-регуляризации на разнообразие, качество и дрейф распределения генераций.

Сформулировать границы применимости физических аналогий при объяснении информационной энтропии в ML.