Estatística Básica

Resumão dos Tweets

Muito do que posto no Twitter acaba não vindo parar aqui. Às vezes são coisas tão breves que nem conseguiria elaborar um post. Outras vezes, são threads que até caberiam aqui, mas que são mais fáceis de se postar por lá. E tem coisa também que são só reflexões aleatórias ou piadinhas. De qualquer forma, aqui vão alguns dos tweets recentes, para quem não acompanha a conta saber mais ou menos qual é a pegada por lá. No fim deste post, há uma thread que essa sim acho essencial para todos que estudam ciência de dados. (mais…)

Anúncios

Algoritmo de Classificação: KNN (K Nearest Neighbors)

O algoritmo KNN, abreviação de K Nearest Neighbors, é um algoritmo bastante utilizado por cientistas de dados, principalmente pela sua facilidade de implementação (além de ser um lazy learner*). É um algoritmo supervisionado de machine learning, utilizado para problemas de classificação e regressão. Hoje, o foco é na parte de classificação. A ideia é simples, separar os indivíduos em grupos (ou classes) de acordo com a semelhança existente. Vamos entender o que isso quer dizer… (mais…)

Everest Regression

Alguém postou recentemente um comentário sobre Everest Regression no Twitter – não me recordo, mas creio que tenha sido o @lmonasterio. Acabei me recordando desse termo maravilhoso que ouvi somente umas duas vezes, mas que acho bem divertido e interessante. Sendo assim, vamos entender o que ele significa! (mais…)

Gráficos com ou sem muitos detalhes?

Sempre tive um pé atrás com relação ao exagero em qualquer tipo de apresentação. Seja na minha dissertação de mestrado, que teve 33 páginas, ou nas apresentações no trabalho, onde evitava encher slides com muitas informações, preferia apresentar algo enxuto que focava no que importava. Por estes motivos, meus gráficos sempre foram os mais simples possíveis. Achava inclusive que encher de detalhes, legendas e outras anotações, iria tirar o foco do leitor. Mas o que diz a literatura sobre isso? (mais…)

Qual amostra mais confiável, uma de 90% da população ou uma de 5%?

Lembra daquelas pesquisas eleitorais de Twitter ou qualquer outra plataforma falando: entre aqui e marque em quem você vai votar, vamos fazer uma amostra de X milhões de pessoas, mais confiável que as pesquisas atuais? Eu lembro bem, pois é sofrível para alguém que adora estatística ouvir isso. Se você está minimamente próximo da estatística na sua vida profissional ou acadêmica e ainda acredita que é uma amostra de 1 milhão de pessoas é mais confiável do que uma de 5 mil, se você é desses que não desconfia de pesquisas feitas na internet onde participa quem se dispõe a clicar e preencher as respostas, então aconselho a leitura de uma discussão de hoje que aconteceu no Twitter. (mais…)

Exercício: Analisar Gráficos que Induzem ao Erro na Interpretação

Resolvi compartilhar um exercício que tive que fazer, no qual o objetivo era analisar um gráfico e localizar suas falhas. Isto tudo com base num trabalho de Alberto Cairo, chamado Graphics Lies, Misleading Visuals (recomendadíssimo!). Recebi 15/15 pontos de três avaliadores, mas fica aí aberto para quem tiver críticas ou sugestões. Recomendo também que façam este tipo de exercício, ainda que não tenham um avaliador. Só o fato de parar para pensar no tema já traz uma boa evolução. (mais…)

Variáveis Aleatórias Contínuas

Dando continuidade aos posts sobre variáveis aleatórias (se você ainda não leu os demais, vá em Variáveis: Definição e Classificação e Variáveis Aleatórias Discretas), vamos falar agora das variáveis aleatórias contínuas. Vamos entender a definição destas variáveis, entender suas funções e como calcular o valor médio e a variância. (mais…)

Variáveis Aleatórias Discretas

No passado, foi introduzido o conceito de variáveis no post Variáveis: Definição e Classificação. Agora, vamos introduzir o conceito de variável aleatória e derivados, como função de probabilidade, função de distribuição, além da forma de se calcular a média e a variância para estas variáveis. (mais…)

Localizando Outliers Através do Intervalo Interquartil (+ Boxplot + Código SAS)

Recentemente, estava trabalhando com uma base de mais ou menos 500 mil linhas, onde a maior parte dos dados de uma determinada variável estava no intervalo de 0 a 1.000. Esta mesma variável, no entanto, possuía algumas linhas em que o valor dela era 5.000, 10.000 e até 15.000. Ou seja, haviam alguns outliers. Isto era um problema, principalmente, quando eu construía um gráfico de distribuição. Para lidar com isso, eu exclui os outliers com base no conceito do intervalo interquartil. (mais…)

Probabilidade (II): Princípio Fundamental da Contagem

Em análise combinatória, princípio fundamental da contagem é a ideia de que a quantidade de formas que ações independentes distintas podem ocorrer é a multiplicação do número de modos em que elas podem se apresentar. Em outras palavras, se você tem um evento X que pode ocorrer de n formas, um evento Y, distinto e independente, que pode ocorrer de formas, o número de formas com que esses dois eventos podem se apresentar será n*m. (mais…)