O gap entre notebook e produção

Estima-se que 87% dos modelos de machine learning nunca chegam à produção. O gap entre um modelo funcionando em um Jupyter Notebook e um modelo servindo predições em tempo real para milhões de usuários é enorme.

MLOps (Machine Learning Operations) é a disciplina que preenche esse gap, aplicando práticas de engenharia de software ao ciclo de vida de modelos de ML.

Os desafios únicos de ML em produção

Versionamento de tudo

Em software tradicional, você versiona código. Em ML, você precisa versionar código, dados, modelos, hiperparâmetros e ambientes. Se não consegue reproduzir exatamente como um modelo foi treinado, não consegue debugar problemas em produção.

Model drift

Modelos de ML degradam ao longo do tempo porque o mundo muda. O comportamento dos usuários evolui, sazonalidades mudam e novos padrões surgem. Um modelo treinado há 6 meses pode estar tomando decisões subótimas hoje.

Latência e throughput

Um modelo que leva 5 segundos para fazer uma predição em batch é aceitável. O mesmo modelo servindo uma API que precisa responder em 50ms exige otimizações significativas: quantização, distillation, caching, batch inference.

Pipeline MLOps completo

Feature Store

Centralize a engenharia de features em um repositório compartilhado. Isso evita duplicação de trabalho entre data scientists e garante consistência entre treinamento e inferência.

Treinamento automatizado

Configure pipelines que retreinam modelos automaticamente quando novos dados estão disponíveis ou quando o drift é detectado. Use ferramentas como Kubeflow, MLflow ou Vertex AI Pipelines.

Model Registry

Versione modelos em um registry centralizado com metadata: métricas de performance, dataset de treinamento, hiperparâmetros. Facilita comparação entre versões e rollback.

Serving

Para servir modelos em produção, as opções principais são:

  • API REST/gRPC: modelo empacotado em um container servindo predições via HTTP
  • Batch inference: processamento periódico de grandes volumes de dados
  • Edge inference: modelo rodando no dispositivo do usuário (mobile, IoT)

Monitoramento

Monitore não apenas métricas de infraestrutura (latência, throughput, erros) mas também métricas de ML:

  • Distribuição dos dados de entrada vs treinamento (data drift)
  • Performance do modelo ao longo do tempo (accuracy, precision, recall)
  • Fairness e bias em predições

Re-treinamento: quando e como

Defina triggers para re-treinamento:

  • Periódico: semanal ou mensal, independente de drift
  • Baseado em drift: quando métricas de monitoramento ultrapassam thresholds
  • Baseado em evento: quando novos dados significativos estão disponíveis

Automatize o pipeline completo: coleta de dados, feature engineering, treinamento, validação, deploy. Humanos devem aprovar, não executar.

Comece pequeno

Não tente montar uma plataforma MLOps completa no dia 1. Comece com: versionamento de modelo (MLflow), API simples (FastAPI + Docker), monitoramento básico (métricas de latência e erro) e re-treinamento manual com script documentado. Evolua conforme a necessidade.