Introdução à Ciência de Dados

Introdução à Inferência Estatística

Prof. Washington Santos da Silva

IFMG - Campus Formiga

4 de julho de 2025

Diário de Bordo

O que vimos até hoje?

  • Aula 1 ✅

    • Introdução e Contextualização ✅
    • O que é Ciência de Dados? ✅
    • Papéis Profissionais na Área de Dados ✅
    • Áreas de Aplicações ✅
    • Habilidades Interpessoais e Analíticas ✅
    • Apresentação da Disciplina ✅
  • Aula 2 ✅

    • Metodologia CRISP-DM ✅

    • Tipos de Análise ✅

      • Descritiva ✅
      • Diagnóstica ✅
      • Preditiva ✅
      • Prescritiva ✅
    • Configurações: Git/GitHub ✅

  • Aula 3 ✅

    • Introdução ao RStudio ✅

      • Criação do seu Projeto RStudio da Disciplina ✅
  • Aula 4 ✅

    • Introdução ao Git e GitHub ✅

      • Criação do seu repositório do projeto RStudio da disciplina no GitHub ✅
  • Aula 5 ✅

    • Breve Revisão do IDE RStudio ✅

    • Introdução ao Sistema de Publicação Quarto ✅

    • Sessão Prática Guiada com Relatório 1 ✅

      • Execução dos comandos git essenciais ✅
  • Aula 6 ✅

    • Parte I ✅

      • O Relatório Junglivet e a Metodologia CRISP-DM ✅
      • Primeiro contato com a linguagem R por meio dos códigos do relatório ✅
    • Parte II ✅

      • Para alunos com projetos estruturados ✅
      • Atividade prática ✅
      • Para alunos com dificuldades técnicas ✅
      • Atendimento individualizado para estruturação de projetos ✅
  • Aula 7 ✅

    • Introdução ao sistema Quarto (continuação) ✅

      • Gerar relatório no formato pdf ✅
      • Gerar relatório no formato docx ✅
    • Introdução à Linguagem R (continuação) ✅

      • Conceitos: Variáveis e observações ✅
      • Estrutura tabular organizada de dados ✅
      • Tipos e classes de dados principais em R ✅
      • Estruturas de dados: vetores e data frames ✅
  • Aula 8 ✅

    • Início do estudo do pacote dplyr para manipulação de dados ✅

      • CRISP-DM: Fase 2 (Entendimento dos dados) e Fase 3 (Preparação dos dados) ✅
        de um projeto de análise ou ciência de dados ✅
      • O que é o dplyr? ✅
      • A Filosofia Tidy Data (Dados Organizados) ✅
      • Dados Organizados (Tidy Data) ✅
      • Por que usar o dplyr? ✅
      • Fluxo de trabalho com dplyr ✅
      • Boas Práticas com dplyr ✅
      • Função dplyr::select() ✅
      • Função dplyr::filter() ✅
  • Aula 9 ✅

    • Solução dos exercícios práticos sobre as funções select e filter ✅
    • Função dplyr::mutate() ✅
  • Aula 10 ✅

    • Soluções dos exercícios práticos sobre a função mutate ✅
    • funções dplyr::group_by(), dplyr::summarize() e dplyr::arrange() ✅
  • Aula 11 ✅

    • Metodologia CRISP-DM e Pacote dplyr ✅
    • Revisão sobre Dados Organizados (Tidy Data) ✅
    • Exemplos de Dados Desorganizados Comuns em Administração ✅
    • Pacote tidyr: Função pivot_longer ✅
  • Aula 12 ✅

    • Metodologia CRISP-DM e o tidyverse ✅
    • Dados Organizados: Potencializando Análises ✅
  • Aula 13 ✅

    • Avaliação 1 ✅
  • Aula 14 ✅

    • Tipos Básicos de joins do pacote dplyr ✅
  • Aula 15 ✅

    • Variáveis Aleatórias em Finanças ✅
    • Distribuições de Probabilidade ✅
    • Início: Distribuição Normal (ou Gaussiana) ✅
  • Aula 16 ✅

    • Distribuição Normal (ou Gaussiana) - Parte 2 ✅
    • Características da Distribuição de uma VA ✅
      • Valor Esperado (Média) ✅
  • Aula 17 ✅

    • Características da Distribuição de uma VA ✅

      • Variância e Desvio-Padrão ✅
      • Variância: Propriedades Básicas ✅
      • Aplicação: Valor-em-Risco (VaR) ✅
      • Assimetria e Curtose ✅
  • Aula 18 ✅

    • Características da Distribuição de uma VA ✅

      • Covariância e Correlação ✅
      • Fundamentos de Simulação de Monte Carlo ✅
  • Aula 19 ✅

    • Teoria da Probabilidade e Análise Estatística de Dados ✅

    • CRISP-DM e Análise Exploratória de Dados ✅

    • Análise Exploratória Numérica ✅

      • Medidas de Posição (ou de Tendência Central) ✅
      • Medidas de Variabilidade ✅
      • Medidas de Correlação ✅
  • Aula 20 ✅

    • Análise Exploratória Gráfica ✅

      • Visualização de Dados e o Pacote ggplot2 ✅

      • Gráficos para Visualizar a Distribuição de Variáveis Numéricas ✅

        • Histograma ✅
        • Densidade Empírica (ou Kernel da Densidade) ✅
        • Boxplot ✅
        • Boxplot Comparativo ✅
  • Aula 21 ✅

    • Gráfico Univariado para Variáveis Categóricas:

      • Gráfico de Barras (Barplot)
    • Gráficos Bivariados:

      • Gráficos de Barras Agrupadas e Empilhadas - Variáveis Categóricas ✅
      • Gráfico de Dispersão - Variáveis Numéricas ✅
    • Gráfico para Séries Temporais: ✅

      • Gráfico de Linha Univariado (1 Série Temporal) ✅
      • Gráfico de Linha Bivariado (2 Séries Temporais) ✅
  • Aula 22 ✅

    • Lista de Exercícios - Treino para Avaliação 2 ✅
  • Aula 23 ✅

    • Avaliação 2 ✅
  • Aula 24 ✅

    • CRISP-DM: Fase 4 - Modelagem/Análise ✅

    • Introdução à Inferência Estatística ✅

      • População e Amostra ✅
      • Amostragem: Conceitos Básicos ✅
      • Parâmetro, Estimador, Estimativa e Estatística ✅
  • Aula 25 ✅

    • Distribuição Amostral da Média e Proporção ✅

      • O Problema Central da Inferência Estatística ✅
      • Distribuição Amostral da Média ✅
      • Distribuição Amostral da Proporção ✅
    • Tópico Extra: Interpretação de Gráficos de Séries Temporais ✅

  • Aula 26

    • Introdução à Inferência Estatística - Parte 2 ✅
      • Estimação por Intervalo de Confiança: ✅
        • Intervalo para Uma Proporção Populacional ✅
        • Intervalos para Diferença entre Duas Proporções ✅
        • Intervalo para Uma Média Populacional ✅
        • Intervalos para Diferença entre Duas Médias ✅
        • Implementação em R ✅

Nesta Aula

Tópicos

  • Introdução à Inferência Estatística - Parte 4

    • Fundamentos de Testes Estatísticos de Hipóteses (ou de Significância)

Arquivo para esta Aula (26)

Instruções

  • Abra o RStudio e o seu Projeto da Disciplina

  • Crie a subpasta 16-relatorio dentro da pasta relatorios.

  • Acesse o site da disciplina e baixe o arquivo 16-relatorio.zip

  • Descompacte o arquivo, copie/recorte o arquivo 16-relatorio.qmd e cole dentro da subpasta 16-relatorio.

Diretrizes para Aulas Mais Produtivas

🔊 Mantenha conversas em volume baixo

⌨️ Código com método:

95% dos erros são evitáveis com:

  • Atenção na digitação
  • Respeitar a sequência lógica de etapas
  • Revisão antes de pedir ajuda

🤝 Inteligência colaborativa:

  • Compartilhe conhecimento
  • Resolva questões técnicas simples com colegas próximos
  • Reserve ao professor as dúvidas conceituais complexas

💪 Capacidade de Resolver Problemas

Cada erro resolvido é uma evolução da sua habilidade analítica

Testes Estatísticos de Hipóteses

Testes de Significância

Hipóteses como Previsões

  • Um objetivo de muitas pesquisas é usar dados para verificar certas previsões.

  • As previsões, que geralmente resultam da teoria que fundamenta a pesquisa ou de estudos anteriores, são hipóteses sobre características (parâmetros) da população do estudo.

Testes de Significância

Exemplos de Hipóteses em Estatística

  • Em Estatística, uma hipótese é uma declaração sobre um parâmetro (característica) da distribuição de uma população.

  • A hipótese assume forma de uma previsão sobre o valor de um parâmetro da distribuição da população de interesse.

  • Ex.: um parâmetro em particular tem o mesmo valor para dois grupos sendo comparados.

Testes de Significância

Exemplos (Hipotéticos) de Hipóteses

  • “Considerando todos os funcionários de uma rede de fast-food, o salário médio é o mesmo para mulheres e homens.”

  • “Para todos os estudantes universitários no Brasil, não há correlação entre o número semanal de horas gastas estudando e o número de horas gastas em festas.”

  • “Apenas metade dos adultos no Reino Unido estão satisfeitos com seu serviço nacional de saúde.”

Testes de Significância

Hipóteses Alternativas

  • As hipóteses são investigadas com referência à hipóteses alternativas.

  • Por exemplo: “Considerando todos os funcionários de uma rede de fast-food, o salário médio é maior para homens do que para mulheres.”

Testes de Significância

Descrição

  • Os testes de significância estatística são procedimentos usados para determinar se uma hipótese específica sobre um parâmetro (característica) de uma população é suportada pelos dados da amostra.

  • De forma alternativa, um teste de significância usa dados para resumir a evidência sobre uma hipótese, comparando uma estimativa pontual do parâmetro de interesse com o valor previsto pela hipótese.

Exemplo Fictício

Elementos de um Teste de Significância

  • Uma rede de supermercados em Formiga seleciona periodicamente funcionários para receber treinamento em gestão.

  • Um grupo de funcionárias afirmou recentemente que a empresa seleciona homens a uma taxa desproporcionalmente alta para este treinamento. A empresa negou essa alegação.

  • Nos últimos anos, alegações semelhantes de discriminação contra as mulheres foram feitas sobre promoções e salários para mulheres que trabalham para várias empresas.

  • Suponha que o grupo potencial de funcionários para treinamento em gestão seja grande e tenha 40% de homens e 60% de mulheres.

  • A alegação da empresa de ausência de viés de gênero é uma hipótese de que, outras coisas sendo iguais, a cada escolha, a probabilidade de selecionar um homem é igual a 0,40 e a probabilidade de selecionar uma mulher é igual a 0,60.

  • A alegação das mulheres é uma hipótese alternativa de que a probabilidade de selecionar um homem excede 0,40.

  • Suponha que na última seleção de funcionários para treinamento em gestão, 9 dos 10 escolhidos eram homens. Nesse caso, podemos ficar inclinados a acreditar na alegação das mulheres.

  • No entanto, devido à variação de amostragem, mesmo se selecionados aleatoriamente do grupo de funcionários, não exatamente 40% dos escolhidos precisam ser homens, e talvez 9 homens de 10 escolhidos seja plausível ou provável.

  • Para avaliar a questão estatisticamente, devemos analisar se esse resultado de seleção seria improvável, se não houvesse viés de gênero.

A seguir, veremos uma estrutura estatística para testar a alegação das mulheres.

Elementos de um Teste de Significância

Elementos

Cada teste de significância possui 4 elementos:

  • Suposições
  • Hipóteses
  • Estatística de Teste
  • Valor-p e Conclusão

Elementos de um Teste de Significância

Descrição dos Elementos

Aleatorização:

A maioria dos testes de significância pressupõe que a coleta de dados empregou aleatorização, como uma amostra aleatória simples ou um experimento aleatorizado.

Tipo de dados

Cada teste de significância se aplica a diferentes tipos de dados, que podem ser numéricos ou categóricos.

Distribuição da População:

Alguns testes de significância pressupõem que a variável tem distribuição populacional que pertence a uma família particular de distribuições de probabilidade, como a distribuição normal ou a distribuição binomial.

Tamanho da amostra:

Alguns testes de significância, como aqueles baseados no Teorema Central do Limite, são válidos somente quando o tamanho da amostra é suficientemente grande. Enquanto outros são válidos, ou tem bom desempenho, em amostras pequenas.

Elementos de um Teste de Significância

Hipóteses

  • Os testes de significância têm duas hipóteses sobre distribuições populacionais, geralmente expressas em termos de parâmetros dessas distribuições.

Hipótese Nula \(H_0\)

  • A hipótese nula, denotada por \(H_0\), é uma afirmação de que um parâmetro assume um valor particular.

  • A hipótese nula é geralmente conservadora, no sentido de que reflete o status quo. Assim, muitas vezes, a hipótese nula assume a forma “nenhuma diferença” ou “nenhum efeito”.

Hipótese Alternativa \(H_A\)

  • A hipótese alternativa, denotada por \(H_A\), afirma que o parâmetro assume valor em algum intervalo alternativo.

  • A hipótese alternativa reflete alguma suspeita sobre os valores que o parâmetro pode assumir. A \(H_A\) assume uma forma que pode ser interpretada como “há uma diferença” ou “há um efeito”.

Observações

  • As hipóteses são formuladas antes da análise dos dados.

  • As hipóteses alternativas geralmente são hipóteses que o analista/pesquisador deseja verificar se os dados a suportam, ou não.

Elementos de um Teste de Significância

Retornando ao Exemplo Hipotético

  • Na seleção de funcionários da rede de supermercados para treinamento em gestão, seja \(p\) a probabilidade de que um funcionário selecionado seja homem.

  • No exemplo, a alegação da empresa de que \(p = 0,40\) é um exemplo de uma hipótese nula, ou seja, nenhum efeito referente à discriminação contra as mulheres.

  • A hipótese alternativa reflete a crencá das funcionárias de que essa probabilidade excede 0,40.

  • O teste de significância, nesse caso, é formulado como:

\[ \begin{cases} H_0: p = 0.40 \\ H_A: p > 0.40 \end{cases} \]

  • Repare que \(H_0\) pode assumir um único valor (Hipótese Simples) e \(H_A\) pode assumir um intervalo de valores (Hipótese Composta).

  • Os intervalos de valores possíveis para \(H_O\) e \(H_A\) devem ser mutuamente exclusivos, ou seja, não podem se sobrepor.

Elementos de um Teste de Significância

Decisão em Testes de Significância

  • Um teste de significância clássico analisa se os dados contradizem \(H_0\), ou não. As opções disponíveis para usar são:

    • rejeitar a hipótese nula (\(H_0\))

    • não rejeitar a hipótese nula (\(H_0\))

  • Em testes de significância, usamos uma abordagem similar à prova por contradição: assumimos que \(H_0\) é “verdadeira” e verificamos se os dados fornecem evidências suficientes para rejeitar essa hipótese.

  • A prova por contradição é um método lógico em que se assume o contrário do que se quer provar e, através de uma série de deduções lógicas, se chega a uma contradição, provando assim que a suposição inicial estava errada.

  • Se rejeitarmos \(H_0\), esta rejeição nos leva a suportar a hipótese alternativa \(H_A\) por meio de uma prova ou evidência indireta (contradição), mas não podemos afirmar diretamente que \(H_A\) é “verdadeira”.

  • \(H_0\) é presumida como “verdadeira”. Sob essa presunção, se os dados observados forem muito improváveis, a evidência da amostra suporta \(H_A\).

Elementos de um Teste de Significância

Retornando ao Exemplo Fictício

  • Ao testar a potencial discriminação contra as mulheres, presumimos que \(H_0: p = 0,40\) seja “verdadeira” e analisamos se uma proporção amostral de homens igual a \(\hat{p} = 9/10\) seria improvável, sob essa hipótese. Se for, os dados da amostra fornceriam suporte à alegação das mulheres.

  • Entretanto, se a diferença entre a proporção amostral, 9/10, e o valor sob \(H_0\) de 0,40 for plausível, ou seja, for devida à variabilidade da amostragem, os dados da amostra forneceriam suporte à alegação da empresa de ausência de discriminação contra as mulheres

Elementos de um Teste de Significância

Estatística de Teste

  • A estatística de teste resume o quão longe a estimativa pontual do parâmetro de interese está do valor do parâmetro sob a \(H_0\), pelo número de erros-padrão entre eles.

  • Estatística de Teste para uma Média:

\[ Z = \frac{\bar{x} - \mu_0}{\hat{\sigma}_{\bar{x}}} = \frac{\bar{x} - \mu_0}{\frac{s}{\sqrt{n}}} \]

Elementos de um Teste de Significância

Estatística de Teste e Regiões de Rejeição e Não Rejeição da Hipótese nula

Elementos de um Teste de Significância

Valor-p e Conclusão

  • Diferentes testes de significância usam diferentes estatísticas de teste, e interpretações mais simples resultam da transformação da escala da estatística de teste para um sumário de probabilidade da evidência contra \(H_0\).

  • Para isso, usamos a distribuição amostral da estatística de teste, sob a presunção de que \(H_0\) é verdadeira. Quanto mais perto a estatística de teste estiver dos extremos da distribuição amostral na direção prevista por \(H_A\), mais forte é a evidência contra \(H_0\).

Elementos de um Teste de Significância

Valor-p e Conclusão

  • Podemos resumir o quão distante ela se encontra na extremidade da distribuição amostral pela probabilidade de cauda desse valor de estatística de teste e de valores mais extremos.

\[ \text{valor-p} = P(T \geq t \mid H_{0})\,\, \text{teste bilateral} \]

  • Esses valores de estatística de teste fornecem pelo menos tanta evidência contra \(H_0\) quanto a estatística de teste observada, na direção prevista pela \(H_A\). Essa probabilidade é chamada de valor-p.

O valor-p é a probabilidade, presumindo que \(H_0\) seja verdadeira, de que a estatística de teste seja igual ou maior que o valor observado na direção prevista por \(H_A\).

  • Um pequeno valor-p, como 0,01, significa que é improvável obter uma estatística de teste como a obtida, se \(H_0\) for verdadeira. Como um estatística de teste utiliza dos dados da amostra, podemos dizer, que um pequeno valor-p, como 0,01, signfica que os dados da amostra são improváveis de terem sido observados, se \(H_0\) for verdadeira.

  • Um valor-p de moderado a grande, como entre 0,26 e 0,83, significa que os dados são consistentes com \(H_0\); Ou seja, os dados observados não são improvaváveis, se \(H_0\) for verdadeira

Elementos de um Teste de Significância

Como Interpretar o Valor-p em Testes de Significância?

Objetivo: Verificar se os dados fornecem evidência suficiente para rejeitar a hipótese nula (\(H_0\))

  • Hipótese Nula (\(H_0\)): Não há efeito ou diferença.
  • Hipótese Alternativa ( \(H_A\)): Existe um efeito ou diferença.

Comparação entre Valor-p e o Nível de Significância

  • Se valor-p < 0,05: Rejeitamos \(H_0\)
    • Evidência estatisticamente significativa
    • Resultado improvável se H₀ fosse verdadeira
  • Se valor-p ≥ 0,05: Não rejeitamos \(H_0\)
    • Não há evidência suficiente contra a \(H_0\)
    • O resultado pode ser explicado pelo acaso

⚠️ Observações Importantes

  • O valor-p NÃO é a probabilidade de que \(H_0\) seja verdadeira.

  • O valor-p É a probabilidade de observar uma estatística de teste tão extrema quanto a obtida, assumindo que a \(H_0\) é verdadeira.

  • O limite de 0,05 é uma convenção — pode ser ajustado conforme o contexto (ex: 0,01 em pesquisas médicas críticas).

Nível de Significância (\(\alpha\)) de um Teste

Nível de Significância

  • O nível de significância de um teste é um número entre 0 e 1, tal que rejeitamos \(H_0\) se o valor-p \(\leq \alpha\), e não rejeitamos \(H_0\) se valor-p \(> \alpha\).

  • Os níveis mais comuns são 0.01 (1%), 0.05 (5%) e 0.10 (10%).

  • Na prática, é melhor relatar o valor-p do que indicar apenas se \(H_0\) é rejeitada.

  • Os valores-p de 0,049 e 0,001 resultam na rejeição de \(H_0\) quando \(\alpha\) = 0,05, mas o segundo caso fornece evidências muito mais fortes.

  • Os valores-p de 0,049 e 0,051 fornecem, em termos práticos, a mesma quantidade de evidências sobre H_0.

  • Os artigos científicos relatam o valor-p em vez de uma decisão sobre \(H_0\).

  • A partir do valor-p, podemos visualizar a força das evidências contra \(H_0\).

Erros em Testes de Significância

Erro Tipo I

  • Por causa da variabilidade da amostragem, podemos cometer erros nas conclusões de um teste.

  • Os dois erros potenciais são chamados de Erro Tipo I e Erro Tipo II.

  • Erro Tipo I: Probabilidade de rejeitar \(H_0\) quando não deveríamos rejeitar \(H_0\), ou seja, quando ela é “verdadeira”.

  • É um “falso positivo”: concluir que há um efeito ou diferença quando, na verdade, não há.

  • Se \(H_0\) é “verdadeira”, \(P(\text{Erro Tipo 1})\) = \(\alpha\) = nível de significância do teste.

  • Fixado na construção dos testes.

Erros em Testes de Significância

Erro Tipo II

  • Erro Tipo II: Probabilidade de não rejeitar \(H_0\) quando deveria rejeitar \(H_0\), representada por \(\beta\).

  • É um “falso negativo”: não perceber um efeito ou diferença quando ele realmente existe.

  • Erro Tipo II decresce na medida que

    • O Erro Tipo I aumenta
    • \(n\) aumenta
    • o “verdadeiro” valor do parâmetro está mais distante do valor sob \(H_0\).

Erros em Testes de Significância

Erro Tipo I e Erro Tipo II

O quadro abaixo exibe as 4 decisões que podem ser tomadas em um teste de significância:

Situação Real Decisão
Rejeitar H₀ Não Rejeitar H₀
H₀ é “verdadeira” Erro Tipo I (α) Decisão Correta
H₀ é “falsa” Decisão Correta Erro Tipo II (β)

Erros em Testes de Significância

Erro Tipo I e Erro Tipo II

  • Não se pode reduzir simultaneamente os dois tipos de erros.

  • Na construção dos testes de significância, o erro tipo I é fixado com um valor suficientemente pequeno (1% ou 5% são os mais comuns), então determina-se um método de teste que minimiza o erro tipo II.

Solução do Exemplo Fictício

Há Evidência de discriminação?

  • O teste de significância, nesse caso, é formulado como:

\[ \begin{cases} H_0: p = 0.40 \\ H_A: p > 0.40 \end{cases} \]

n <- 10     # número total de funcionários selecionados
x <- 9      # número de homens selecionados
p0 <- 0.40  # proporção sob a hipótese nula

# Teste de proporção
prop.test(x, n, p = p0, alternative = "greater")

    1-sample proportions test with continuity correction

data:  x out of n, null probability p0
X-squared = 8.44, df = 1, p-value = 0.0018
alternative hypothesis: true p is greater than 0.4
95 percent confidence interval:
 0.59463 1.00000
sample estimates:
  p 
0.9 

O resultado do teste fornece evidências de que a hipótese nula deve ser rejeitada com um nível de significância de 5%.

Os dados fornecem evidências de que a alegação da empresa de que não há discriminação contra as mulheres na seleção de funcionários para a participação em programas de treinamento em gestão não é suportada pelos dados da amostra (valor-p = 0,002)

Exercício 2

Eficácia de Campanha de E-mail

Uma equipe de marketing deseja avaliar se a nova linha de assunto personalizada realmente aumenta significativamente a taxa de cliques em comparação com a linha tradicional.

Dados do Teste A/B:

  • Versão A (linha tradicional):
    • E-mails enviados: 8.500
    • Cliques: 612
  • Versão B (linha personalizada):
    • E-mails enviados: 8.200
    • Cliques: 697

Questões para Análise:

  1. Formule as hipóteses nula e alternativa.

  2. Realize o teste com a função prop.test() usando alternative = "greater".

  3. Apresente o valor-p e conclua com base em um nível de significância de 5%.

  4. Interprete os resultados e recomende uma ação.

Solução do Exercício 2

Solução

Hipóteses

  • \(H_0: p_B \leq p_A\)
  • \(H_1: p_B > p_A\)

Código R

cliques <- c(697, 612)     # B, A
envios  <- c(8200, 8500)   # B, A

prop.test(x = cliques, n = envios, 
          alternative = "greater", 
          correct = FALSE)

    2-sample test for equality of proportions without continuity correction

data:  cliques out of envios
X-squared = 9.76, df = 1, p-value = 0.00089
alternative hypothesis: greater
95 percent confidence interval:
 0.0061495 1.0000000
sample estimates:
prop 1 prop 2 
 0.085  0.072 

Resultado

  • Taxa de cliques (A): \(\hat{p}_A = \frac{612}{8500} \approx 7{,}2\%\)

  • Taxa de cliques (B): \(\hat{p}_B = \frac{697}{8200} \approx 8,5\%\)

  • Valor-p = 0.00089

Conclusão

  • Como \(\text{valor-}p< 0{,}05\), rejeitamos a hipótese nula (\(H_0\)).

  • Os dados fornecem evidências de que a versão B tem taxa de cliques significativamente maior que a versão A.

  • Recomendação: adotar a versão B da linha de assunto.

Poder do Teste

Poder do Teste

Quando \(H_0\) não é “verdadeira”, a probabilidade de rejeitar (corretamente) a \(H_0\) é chamada de poder do teste. Para um valor particular do parâmetro dentro do intervalo em \(H_A\) temos:

\[ \begin{align} Poder &= P(\text{Rejeitar}\,\, H_0 | H_0 \,\,\text{deve ser rejeitada}) \\ &= 1 - \beta \end{align} \]

Poder e Determinação do Tamanho de Amostra

Um Experimento Simples

  • Digamos que suspeitamos que temos uma moeda que quando lançada, exibe cara 75% das vezes em vez dos 50% esperados. Assim, resolvemos desenhar um experimento para testar se a moeda é, ou nào, viesada.

  • O experimento consiste em lançar a moeda um certo número de vezes e observar a proporção de caras.

  • Em seguida, conduziremos um teste de proporção para ver se a proporção de caras é significativamente diferente do que esperaríamos com uma moeda não viesada.

  • Julgaremos a significância estatística pelo valor-p. Se o valor-p estiver abaixo de um certo limite, digamos 0,05, concluiremos q ue o comportamento da moeda é inconsistente com o de uma moeda não viesada.

Portanto, o teste de hipóteses do experimento é:

\[ \begin{cases} H_0: p = 0.50 \\ H_A: p > 0.50 \end{cases} \]

Poder e Determinação do Tamanho de Amostra

Um Experimento Simples

  • Quantas vezes devemos lançar a moeda para ter um alto poder (probabilidade), digamos 0,80 (80%), de rejeitar corretamente \(H_0: p = 0.50\) se a moeda for realmente viesada para exibir cara 75% das vezes?

Podemos determinar isso usando a função pwr.p.test do pacote pwr:

library(pwr)

pwr.p.test(h = ES.h(p1 = 0.75, p2 = 0.50), # h de Cohen
           sig.level = 0.05,
           power = 0.80,
           alternative = "greater")

     proportion power calculation for binomial distribution (arcsine transformation) 

              h = 0.5236
              n = 22.551
      sig.level = 0.05
          power = 0.8
    alternative = greater

Portanto, seria necessário lançar a moeda pelo menos 23 vezes (tamanhos de amostra são sempre arredondados para o número inteiro superior mais próximo) para ter 80% de poder do teste, ou seja, de probabilidade de rejeitar corretamente a hipótese nula no nível de significância de 0,05 (5%).

O tamanho do efeito (effect size) é inserido no argumento h. O rótulo h é devido a Cohen (1988).

O h de Cohen é uma medida do tamanho do efeito que quantifica a diferença entre duas proporções. Ele transforma as proporções em uma valores \(z\) e calcula a diferença entre esses valores \(z\).

\[ 2 \times asin(\sqrt(p1))-2 \times asin(\sqrt(p2)) \]

Poder e Determinação do Tamanho de Amostra

Um Experimento Simples

  • Neste exemplo da proporção de caras, essa é a diferença entre 75% e 50%. Poderíamos dizer que o efeito foi de 25%, mas lembre-se de que tivemos que transformar a diferença absoluta das proporções para outra quantidade usando a função ES.h.

Essa é uma parte crítica do uso correto do pacote pwr: você deve fornecer um tamanho de efeito na escala esperada.

Em caso de dúvida, podemos usar tamanhos de efeito convencionais. Esses são tamanhos de efeito pré-determinados para efeitos

  • “pequenos” (small);
  • “médios ou moderados” (medium), e;
  • “grandes” (large)”

A função cohen.ES retorna um tamanho de efeito convencional para um dado teste. Por exemplo, o tamanho de efeito médio para o teste de proporção é 0,5:

cohen.ES(test="p", size="medium")

     Conventional effect size from Cohen (1982) 

           test = p
           size = medium
    effect.size = 0.5
  • Significância Estatística não implica Significância Prática.

Tamanhos de efeito convencionais:

Teste Pequeno Médio Grande
teste de proporções (p) 0.2 0.5 0.8
testes de médias (t) 0.2 0.5 0.8
teste qui-quadrado (chisq) 0.1 0.3 0.5
teste de correlação (r) 0.1 0.3 0.5
ANOVA (anov) 0.1 0.25 0.4
modelo linear geral (f2) 0.02 0.15 0.35

Poder e Determinação do Tamanho de Amostra

Nota

E se assumirmos que o efeito do viés é menor? Isto é, a moeda exibe cara 65% das vezes. Quantos lançamentos precisamos fazer para detectar esse efeito menor sendo \(\alpha = 0,05\), com 80% de poder e a alternativa mais conservadora two.sided?

\[ \begin{cases} H_0: p = 0.50 \\ H_A: p \neq 0.50 \end{cases} \]

pwr.p.test(h = ES.h(p1 = 0.65, p2 = 0.50),
           sig.level = 0.05,
           power = 0.80)

     proportion power calculation for binomial distribution (arcsine transformation) 

              h = 0.30469
              n = 84.544
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

Quanto menor o tamanho do efeito que se deseja “detectar” maior o tamanho de amostra necessário.

Funções do Pacote pwr.
Função Descrição
pwr.p.test teste de proporção para uma amostra
pwr.2p.test teste de proporção para duas amostras
pwr.2p2n.test teste de proporção para duas amostras (tamanhos desiguais)
pwr.t.test testes t para duas amostras, uma amostra e amostras pareadas
pwr.t2n.test teste t para duas amostras (tamanhos desiguais)
pwr.anova.test ANOVA balanceada de um fator
pwr.r.test teste de correlação
pwr.chisq.test teste qui-quadrado (ajuste de distribuição e associação)
pwr.f2.test teste para o modelo linear geral

Poder do Teste

Exemplo da Rede de Supermercados

  • \(n\) para Detectar Efeito Pequeno
pwr.p.test(h = 0.2, 
           power = 0.80,
           sig.level = 0.05, 
           alternative = "greater")

     proportion power calculation for binomial distribution (arcsine transformation) 

              h = 0.2
              n = 154.56
      sig.level = 0.05
          power = 0.8
    alternative = greater
  • \(n\) para Detectar Efeito Médio/Moderado
pwr.p.test(h = 0.5, 
           power = 0.80,
           sig.level = 0.05, 
           alternative = "greater")

     proportion power calculation for binomial distribution (arcsine transformation) 

              h = 0.5
              n = 24.73
      sig.level = 0.05
          power = 0.8
    alternative = greater
  • \(n\) para Detectar Efeito Grande
pwr.p.test(h = 0.8, 
           power = 0.80,
           sig.level = 0.05, 
           alternative = "greater")

     proportion power calculation for binomial distribution (arcsine transformation) 

              h = 0.8
              n = 9.6603
      sig.level = 0.05
          power = 0.8
    alternative = greater

Exercício: Testes Estatísticos de Hipóteses

Como Escrever Hipóteses com LaTeX?

Escrevendo Hipóteses em LaTeX

Em alguns exercícios, você precisará escrever as hipóteses nula (\(H_0\)) e alternativa (\(H_A\)).

Você pode fazer isso facilmente com LaTeX, a melhor linguagem para escrever matemática, na verdade, é a melhora linguagem para escrever qualquer coisa que precise de formatação.

Modelo Básico:

$$
\begin{cases}
H_0: p_1 = p_2 \\
H_A: p_1 > p_2
\end{cases}
$$

produz:

\[ \begin{cases} H_0: p_1 = p_2 \\ H_A: p_1 > p_2 \end{cases} \]

  • $$ ... $$ → abre uma equação centralizada
  • \begin{cases} ... \end{cases} → cria um bloco alinhado de hipóteses
  • H_0, H_A → índices usando underline _
  • p_1, p_2, \mu_1, \mu_2 → parâmetros como proporções ou médias

Sinais Matemáticos Úteis no LaTeX:

Símbolo Código LaTeX Significado Exemplo
= = Igual H_0: p_1 = p_2
\neq Diferente H_A: p_1 \neq p_2
> > Maior H_A: \mu_1 > \mu_2
< < Menor H_A: p_1 < p_2
\geq Maior ou igual H_0: p_B \geq p_A
\leq Menor ou igual H_0: \mu_1 \leq \mu_2

Exemplo com \leq:

$$
\begin{cases}
H_0: p_B \leq p_A \\
H_A: p_B > p_A
\end{cases}
$$

produz:

\[ \begin{cases} H_0: p_B \leq p_A \\ H_A: p_B > p_A \end{cases} \]

Esse tipo de hipótese é comum quando queremos mostrar melhoria ou aumento em relação a uma condição atual.

Você pode copiar e adaptar esses modelos nos exercícios!

Exercício 3

Teste A/B

Uma empresa de varejo online está testando duas páginas diferentes de produto para aumentar a taxa de conversão (clientes que efetuam a compra). Os visitantes do site foram aleatoriamente divididos entre as duas versões:

  • Versão A (página atual):
    • Visitantes: 4.200
    • Compras: 294
  • Versão B (nova página):
    • Visitantes: 4.100
    • Compras: 348

A equipe deseja saber se a nova versão aumenta significativamente a taxa de conversão.

Parte 1: Teste de Hipóteses

  1. Formule as hipóteses nula e alternativa para o problema.

  2. Realize o teste de proporção utilizando prop.test(), com alternative = "greater".

  3. Apresente o valor-p e avalie a significância ao nível de 5%.

  4. Interprete o resultado em termos de decisão de negócios.

Parte 2: Planejamento de Experimentos Futuros

  1. Suponha que, para um próximo teste, a equipe acredite que a nova página aumente a taxa de conversão de 7% para 9%. Quantos visitantes devem ser alocados por grupo para que o teste tenha 80% de poder, com \(\alpha = 0,05\)?

Utilize a função pwr.2p.test() do pacote pwr.

Atualizando os Repositórios

Instruções

  1. No terminal do RStudio, verifique quais arquivos/pastas foram modificados ou criados com:
git status
  1. Você pode adicionar todos os arquivos de uma vez com:
git add .
  1. Execute git status novamente para confirmar que todos os arquivos foram adicionados (aparecerão em verde sob “Changes to be committed”):
git status
  1. Se tudo estiver em verde, faça um commit com uma mensagem descritiva:
git commit -m "atualizacoes aula 27"
  1. Se algum arquivo ou pasta ainda aparecer em vermelho após o segundo git status, adicione as pastas/arquivos um por um:
git add relatorios/15-relatorio/16-relatorio.qmd
  1. Execute git status novamente e faça o commit quando todos os arquivos estiverem em verde:
git commit -m "atualizacoes aula 27"
  1. Envie o repositório local atualizado para o GitHub:
git push origin main

Referências

COHEN, J. Statistical Power Analysis for the Behavioral Sciences. 2nd. ed. Hillsdale, NJ: Lawrence Erlbaum Associates, 1988.
DEVORE, J. L. Probabilidade e Estatística para Engenharia e Ciências. São Paulo: Thomson, 2006.
TRIOLA, M. F. Introdução à Estatística. 10. ed. Rio de Janeiro: LTC, 2008.