Comparativo de Modelagem de Dados Sequenciais

1. Recurrent SVM (Support Vector Machine):

À esquerda, temos uma arquitetura de aprendizado de máquina baseada em SVM combinada com informações temporais (time lag).

: Representa a entrada no tempo .

: É a saída ou estado oculto do tempo anterior (), que captura informações temporais passadas.

: Combinação da entrada atual () com o estado anterior () para produzir um novo vetor de características no tempo .

SVM: A representação vetorial () é passada a um modelo SVM que realiza a classificação ou predição. Os vetores de pesos () representam a contribuição de cada dimensão na decisão do SVM.

2. LSTM (Long Short-Term Memory):

À direita, temos um bloco de memória LSTM, projetado para lidar com dependências de longo prazo em sequências de dados.

: Função sigmoide, utilizada para gerar valores entre 0 e 1, funcionando como "portas" que controlam o fluxo de informações.

Bloco de memória : Representa o estado da célula no tempo , que armazena informações importantes ao longo do tempo.

Portas (gates):

Porta de entrada (): Determina quanta informação da entrada atual () será armazenada no estado da célula ().

Porta de esquecimento (): Decide quanto da informação do estado anterior () será descartada.

Porta de saída (): Controla quanta informação será extraída do estado da célula para o próximo passo.

Tanh: Normaliza os valores no intervalo , usado para atualizar e .

Peephole connections: São conexões adicionais (em verde) que permitem que o estado da célula influencie diretamente as portas, melhorando o controle das dependências temporais.

Diferencial entre as abordagens:

A abordagem Recurrent SVM é mais simples, pois combina entradas sequenciais usando uma técnica de aprendizado linear. Porém, ela não é otimizada para capturar dependências de longo prazo.

O LSTM é mais complexo e projetado para processar sequências mais longas e não sofrer com problemas como o desaparecimento ou explosão de gradientes, comuns em outras arquiteturas recorrentes.