E9 — Teoria da informação e seleção de modelos

Divergência de Kullback–Leibler e AIC. AICc, BIC, pesos de Akaike e razões de evidência. Model averaging. Crítica ao dredge. LOO e WAIC.

Sexta, 25 de setembro de 2026 · manhã · 4,5 h

O encontro sobre a pergunta que vem depois de ajustar vários modelos — e sobre por que ela é mais perigosa do que parece.

Slides

Abrir slides

Conteúdo

Bloco 1 — teoria da informação (3,5 h)

  1. Contexto — Akaike (1974), Burnham & Anderson (2002), e a virada de “testar hipóteses” para “comparar modelos”.
  2. Divergência de Kullback–Leibler — a distância entre o modelo e a realidade, e por que o AIC é uma estimativa dela.
  3. AIC, AICc e BIC — o que cada um penaliza, quando usar, e por que não se comparam modelos ajustados a conjuntos de dados diferentes.
  4. Pesos de Akaike e razões de evidência — como se leem, o que não dizem.
  5. Model averaging com MuMIn::model.avg() — e as condições em que faz sentido.
  6. Crítica ao garimpo — por que dredge() sobre 20 preditoras não é análise, e o que fazer no lugar: conjunto de modelos definido a priori a partir de hipóteses biológicas.
  7. Relato segundo Gerstner et al. (2017).

Bloco 2 — bayesiano (45 min)

  1. WAIC e PSIS-LOO com loo::loo_compare().
  2. Quando LOO é preferível a AIC em modelos hierárquicos.
  3. Fecho — Burnham & Anderson versus Gelman, Hill & Vehtari: não selecionar, mediar.

Dados

  • RoadKills.txt — anfíbios atropelados em 52 segmentos da IP2, sul de Portugal (Ascensão & Mira 2005). O mesmo conjunto do Encontro 1; aqui ele vira o conjunto de modelos definidos a priori, e também a demonstração do VIF iterativo nas 17 preditoras de paisagem.

Exercícios extras no swirl

Opcional, em português, no console. A instalação está em Instalação › swirl.

  • Sobreajuste e Subajuste — as duas metades do problema deste encontro, e sem mencionar AIC uma única vez. A lição simula com simbias() para mostrar que omitir uma preditora correlacionada enviesa o coeficiente que sobra, e que incluir preditoras a mais infla os erros-padrão sem enviesar nada; depois compara modelos aninhados com anova(fit1, fit3) e reconstrói a estatística F à mão, a partir das deviances. Ver esse par de custos isolado do critério de informação ajuda a entender o que o AIC está tentando equilibrar quando ele aparece no bloco 1.
  • Fatores de Inflação da Variância — a lição anterior, se quiserem a metade “incluir demais” também por simulação.

Perto do fim, ela usa shapiro.test() nos resíduos para decidir sobre normalidade. Metade disso está certa: é no resíduo que a premissa se checa, não no dado bruto. A outra metade, não — teste de significância para checar premissa tem o problema de sempre: com \(n\) pequeno ele não detecta nada, e com \(n\) grande ele rejeita desvios irrelevantes. As duas metades são exatamente as duas perguntas de Kozak & Piepho (2018), que respondem a primeira a favor do resíduo e a segunda a favor do gráfico. Olhem o quantil-quantil, como fazemos no Encontro 2, e deixem o shapiro.test() no máximo como nota de rodapé — Shatz (2024) faz a mesma crítica por simulação e cita o Shapiro–Wilk pelo nome como exemplo do problema.

Dá para ver isso acontecer: o teste de normalidade, ao vivo roda a simulação no navegador, sem instalar nada.

Leituras

Obrigatória

Por que trabalhar com modelos

De onde vem o ritual

O que não fazer

Boas práticas

  • Gelman, A.; Hill, J. & Vehtari, A. 2020. Regression and Other Stories. Cambridge University Press. — a seção 11.8 é validação cruzada, a 12.6 é construir e comparar modelos para predição, e o item B.6 dos dez conselhos do apêndice é, literalmente, “Fit many models”. É o contraponto amigável ao Burnham & Anderson: mesma recusa do modelo único, outro caminho.
  • Popovic, G. et al. 2024. Four principles for improved statistical ecology. Methods in Ecology and Evolution 15:266–281.
  • Gerstner, K. et al. 2017. Will your paper be used in a meta-analysis? Methods in Ecology and Evolution 8:777–784.

Bayesiano

Prática, para acompanhar

O roteiro do fim do deck, rodado nos dados do curso, com um take-home por item: exercicios/e09.R.

Recursos externos