Tutorial: Limpeza e Análise de Dados com Python na Prática

Hoje vamos aprender algumas coisas que podem ser feitas quando se trabalha com dataframes no Python. Como filtrar uma base? Como converter textos para números? Como extrair um valor de moeda no formato texto para o formato numérico (ex.: converter R$ 15,00 no formato texto para 15 no forma numérico)? Como obter as estatísticas descritivas? Como obter o percentil? Como criar novas colunas? Como criar novas colunas com base nas informações de outras colunas? Como traçar um histograma? Como localizar valores nulos e preenchê-los com a média da coluna?

Tudo isso será abordado nesse post! (mais…)

Anúncios

Análise dos Jogadores de Fifa 19 Usando Python

Ok, confesso, este post é parcialmente um click bait. Parcialmente porque tem alguns códigos em Python, mas está tudo meio bagunçado ainda. De qualquer jeito, alguns podem se divertir, aprender como calcular correlação entre as variáveis de um Dataframe do Pandas, como calcular quartil, plotar histogramas já filtrando algum campo (ex.: Calcular a distribuição do campo Overall, mas só para jogadores cuja coluna Nacionalidade for England) e por aí vai. (mais…)

Selecionando Apenas Colunas Numéricas no Python + Listando Todas as Colunas de um Dataframe (Pandas)

Recentemente fui analisar várias colunas de um dataframe no Python, mas as funções que estava utilizando eram todas numéricas. Ou seja, as colunas que não eram numéricas estavam atrapalhando meu código. Para resolver este problema, descobri que era possível selecionar somente as colunas numéricas no Python com uma função bem simples: (mais…)

Obter e Alterar o Working Directory no Python

Quando você trabalha no R, Python ou qualquer linguagem análoga, você está trabalhando os arquivos em algum diretório local. Quando você salvar o objeto de saída do seu código, ele será salvo neste diretório; quando você importar um arquivo escrevendo somente o nome do arquivo, ele só será importado se estiver neste diretório. Sendo assim, é importante saber em que diretório o software está trabalhando. Aqui, explico como obter o working directory no Python e como alterá-lo. (mais…)

Gráficos com ou sem muitos detalhes?

Sempre tive um pé atrás com relação ao exagero em qualquer tipo de apresentação. Seja na minha dissertação de mestrado, que teve 33 páginas, ou nas apresentações no trabalho, onde evitava encher slides com muitas informações, preferia apresentar algo enxuto que focava no que importava. Por estes motivos, meus gráficos sempre foram os mais simples possíveis. Achava inclusive que encher de detalhes, legendas e outras anotações, iria tirar o foco do leitor. Mas o que diz a literatura sobre isso? (mais…)

Group By no Python + Group By com Base Filtrada

O termo group by é muito popular para quem trabalha com base de dados. Quando temos repetições para o elemento chave e queremos fazer um resumo, um agrupamento, é esse o comando a ser utilizado. Um exemplo clássico é quando você tem os dados dos gastos feitos por clientes de uma loja e sua base contém um gasto por linha. Para obter o total gasto por cada cliente, você irá recorrer ao group by. (mais…)

Maconha: A Porta de Entrada Para Outras Drogas?

A maconha é vista como a porta de entrada para drogas mais potentes pelos mais conservadores e receosos com o uso da substância. Ainda que este argumento tenha sido criado com a onda da proibição, junto com outros argumentos que já foram comprovados como sendo falaciosos, até hoje ele é utilizado e tido como uma verdade absoluta por muitos. O grande problema é que, assim como a vasta maioria dos argumentos utilizados por quem é a favor da proibição da droga, ele é comumente levantado sem nenhum tipo de dado científico. (mais…)

O Parque dos Ratos: O Vício Além dos Componentes Químicos

mouse-addiction-pic

Como não escrevo mais para nenhum outro site, este texto teve que ser publicado aqui mesmo. Sei que não tem a ver com o EstatSite, mas é o jeito.

Drogas viciam, todo mundo sabe disso. O motivo parece óbvio, há alguns componentes químicos que agem sobre seu cérebro de forma a criar uma dependência. É assim com álcool, nicotina, maconha, cocaína e muitas outras substâncias conhecidas. Ao menos, é assim que o senso comum costuma tratar o vício. O que poucos sabem é que no caso das drogas, assim como em muitos outros temas, o senso comum não segue à risca o que a ciência diz. Há muito tempo, ainda que isso não seja muito falado, descobriu-se que o vício possui outras origens que vão além da química e elas estariam no ambiente em que o indivíduo faz parte. (mais…)

Experimentos Controlados: Intenção-de-Tratar

Os experimentos aleatórios controlados, famosos RCTs (Randomized Controlled Trials), trazem consigo alguns problemas no que diz respeito aos indivíduos que fazem parte do estudo. Pense, por exemplo, num indivíduo que faz parte de um estudo com um novo remédio que deve ser tomado para baixar seu colesterol. É impossível para o cientista que está realizando o estudo saber se o paciente vai tomar ou não o remédio. É impossível também ele fazer com que o indivíduo não desapareça do nada. Para lidar com estes problemas, é comum adotamos a abordagem Intenção-de-Tratar (nome traduzido diretamente de Intention to Treat). Apenas para facilitar a escrita, chamaremos a abordagem de sua abreviação no inglês, ITT. (mais…)