Árvore de decisão em machine learning

Posts Relacionados:

Conjuntos de treinamento e teste em machine learning

Scikit-learn – a melhor escolha para machine learning

Matrizes de confusão com Python

25.06.24

Uma árvore de decisão é um algoritmo de machine learning hierárquico que modela uma série de decisões e suas possíveis consequências.

Receba nossa newsletter

Árvore de Decisão

Uma árvore de decisão é um algoritmo de machine learning usado para tarefas de classificação e regressão. Ele é um modelo hierárquico, semelhante a uma árvore, que representa uma série de decisões e suas possíveis consequências.

As árvores de decisão são algoritmos com boa interpretabilidade e capazes de lidar com cenários complexos de tomada de decisão. Do ponto de vista técnico, a implementação de uma árvore de decisão exige pouca preparação dos dados. Por exemplo, as árvores de decisão não requerem dimensionamento de recursos, o que pode ser um benefício em alguns cenários. E elas lidam com dados numéricos e categóricos sem problemas. No entanto, árvores de decisão são algoritmos propensos a overfitting. Como consequência, elas podem não generalizar bem para novos dados se não forem treinadas corretamente.

O Algoritmo

Uma árvore de decisão aprende dividindo recursivamente os dados com base no recurso que melhor separa a variável de destino. Esse processo continua até que um critério de parada seja atendido, como atingir uma certa profundidade ou alcançar pureza suficiente dentro dos nós foliares.

A estrutura do algoritmo consiste em um nó raiz, ramificações, nós internos (nós de decisão) e nós de folha (nós terminais). Em cada nó interno, um teste é executado em um atributo e, com base no resultado, os dados são divididos e fluem para diferentes ramificações. Os nós foliares representam a decisão final ou previsão. O processo de construção de uma árvore de decisão envolve a seleção do melhor atributo para dividir os dados em cada nó, com base em métricas como impureza de Gini ou ganho de informação.

O Funcionamento do Algoritmo

As árvores de decisão são algoritmos recursivos. Eles operam através da seleção e divisão dos melhores atributos usando métricas como impureza de Gini. O algoritmo é iniciado selecionando um atributo para dividir os dados. Os dados são divididos em subconjuntos com base no atributo selecionado. O processo de divisão é repetido recursivamente para cada subconjunto, criando novos nós internos ou nós folha até que um critério de parada seja atendido (por exemplo, todas as instâncias em um nó pertencem à mesma classe).

Árvores de decisão com scikit-learn

A biblioteca Scikit-learn fornece duas implementações amigáveis de árvores de decisão, uma para regressão (DecisionTreeRegressor) e outra para classificação (DecisionTreeClassifier). Veja um exemplo básico usando DecisionTreeClassifier para classificar o conjunto de dados Iris:

				
					from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

# Carrega os dados
iris = load_iris()

# Divide os dados em recursos (X) e variável de destino (y)
X = iris.data
y = iris.target

# Cria o classificador
clf = DecisionTreeClassifier(max_depth=3)  # Controle da profundidade da árvore 

# Treina o modelo
clf.fit(X, y)

# Realiza previsões em dados novos - exemplo
new_data = [[5.1, 3.5, 1.4, 0.2]]  # dado de exemplo
prediction = clf.predict(new_data)
print(prediction)  # Resulatdo: [0] - classe 0, o resultado pode variar por causa do treinamento

A implementação de árvores de decisão com scikit-learn conta com vários parâmetros para personalização, incluindo:

max_depth: controla a profundidade máxima da árvore ajudando a evitar overfitting.

criterion: especifica o critério métrico da divisão (por exemplo, “gini” para classificação).

min_samples_split: define o número mínimo de amostras necessárias para dividir um nó.

min_samples_leaf: define o número mínimo de amostras permitidas em um nó foliar.

Para conhecer melhor os detalhes sobre esses parâmetros, consulte a documentação oficial.