A seleção de um modelo de machine learning é o processo de escolha de um entre muitos modelos candidatos para um problema de modelagem preditiva. Ela pode ser aplicada tanto em diferentes tipos de modelos (por exemplo, redes neurais, kNN) quanto em modelos do mesmo tipo configurados com diferentes hiperparâmetros (por exemplo, números diferentes de vizinhos em implementações de kNN).

Mas o que torna um modelo um bom candidato?

Um modelo bom é aquele que atende aos requisitos e restrições do projeto. Ou seja, ele deve ser suficientemente hábil dado o tempo e os recursos disponíveis.

Embora o desempenho de um modelo seja um critério essencial em sua escolha, ele não é o único. Existem vários fatores adicionais que precisam ser considerados, como complexidade, capacidade de manutenção e recursos disponíveis.

Outros fatores a serem considerados incluem o tamanho do conjunto de dados, a necessidade de interpretabilidade dos resultados e a importância da precisão. Interpretabilidade pode ser um critério decisivo se o modelo será apresentado para possíveis clientes.

Evidentemente, todos os fatores mencionados variam muito de caso a caso, mas existem técnicas de seleção gerais que podem auxiliar em qualquer cenário. As duas principais classes de técnicas de seleção de modelos são medidas probabilísticas e métodos de reamostragem.