Abordagem Wrapper

Introdução à Seleção de Características

Conceito de Seleção de Características

• A seleção de características é um processo que visa identificar o melhor conjunto de atributos em uma base de dados, eliminando redundâncias que podem prejudicar a classificação e predição.

Abordagem Wrapper

• A abordagem wrapper utiliza algoritmos de machine learning para medir a qualidade dos subconjuntos de características selecionadas, focando na eficiência do modelo final.

Dependência do Algoritmo

• A abordagem wrapper depende da performance do algoritmo de aprendizado, diferindo da abordagem filtro que não considera essa dependência. O desempenho é avaliado após cada iteração até atingir um critério de parada.

Técnicas e Algoritmos Utilizados

Bibliotecas e Métodos

• Na linguagem Python, a biblioteca scikit-learn oferece duas abordagens principais: seleção sequencial (sequential feature selection) e eliminação recursiva (recursive feature elimination).

Funcionamento da Seleção Sequencial

• A seleção sequencial pode ser feita por adição (forward selection) ou remoção (backward elimination), onde atributos são iterativamente adicionados ou removidos para otimizar a análise dos dados.

Processo Iterativo na Seleção

Avaliação das Características

• Durante o processo iterativo, cada característica é avaliada isoladamente para determinar qual delas contribui mais para métricas como acurácia.

Combinações Óptimas

• Após identificar as melhores características individuais, combinações são testadas para verificar se a inclusão de novos atributos melhora ainda mais o desempenho do modelo.

Algoritmos de Seleção de Características

Funcionamento do Algoritmo

• O algoritmo executa até que um número específico de características seja alcançado; no exemplo, parou em três características.

• O método backward começa com todas as características e avalia a acurácia, removendo aquelas com menor importância.

• A condição de parada pode ser definida para encontrar apenas duas características relevantes, como no caso das características um e quatro.

Diferenças entre Métodos

• A abordagem sequencial se diferencia pela direção informada ao algoritmo; o RFE (Eliminação Recursiva de Recursos) é menos complexo computacionalmente.

• O RFE utiliza coeficientes de peso para algoritmos lineares e baseados em árvore, aproveitando a importância dos atributos já calculada por esses modelos.

Comparação entre SFS e RFE

• Enquanto o SFS requer uma métrica associada ao classificador (como acurácia), o RFE não depende disso, focando em pesos específicos dos atributos.

• Essa diferença resulta em comportamentos distintos entre os dois métodos, mas ambos ainda consideram a escolha baseada no classificador.

Implementação Prática

• Ambos os algoritmos estão disponíveis na subclasse "Feature Selection" do scikit-learn. O RFE permite especificar o classificador desejado e limites para as características selecionadas.

• O Sequential Feature Selector também possui uma assinatura semelhante ao RFE, permitindo definir a direção da seleção (forward ou backward).

Uso do Pipeline

• É importante usar a biblioteca pipeline do scikit-learn para automatizar processos sequenciais em data mining, começando pelo pré-processamento até a avaliação final do modelo.

• O uso do pipeline organiza tarefas e facilita a implementação de etapas complexas dentro do fluxo de trabalho.

Entendendo o Pipeline de Pré-processamento em Machine Learning

Funcionamento do Pipeline

• O pipeline automatiza a transição entre tarefas, onde a saída de uma tarefa se torna a entrada da próxima, culminando no resultado final pelo classificador.

• Em bases de dados complexas com alta dimensionalidade, é necessário separar os dados em arquivos distintos para treino e teste, sendo que o arquivo de teste deve passar por pré-processamento novamente.

• O fluxo do pipeline permite que o arquivo de teste seja pré-processado de forma simples devido ao workflow já desenvolvido.

Estrutura do Pipeline

• Um exemplo de pipeline inclui etapas como normalização e treinamento automático com o conjunto de treino, transformando os dados no DataFrame recebido.

• Após a normalização, uma tarefa adicional pode ser a redução da dimensionalidade (feature selection), onde as características são transformadas antes do treinamento final do algoritmo.

Eficiência e Automatização

• Com um pipeline pronto, o conjunto teste não requer re-treinamento; apenas passa pela normalização e redução das características para realizar predições.

• A implementação do pipeline resulta em ganho significativo de tempo e trabalho, além de permitir um código mais genérico para testar diferentes bases de dados.

Práticas Comuns em Mineração de Dados

• A automação no pré-processamento é comum na prática da mineração de dados, utilizando bibliotecas robustas que facilitam a organização do código fonte.