MÉTODOS PARA PREPARAR MODELO ESTATÍSTICO MULTIMODAL, MÉTODO PARA REALIZAR UMA TAREFA DE PREVISÃO USANDO O MESMO, SISTEMAS, E MEIO DE ARMAZENAMENTO LÉGIVEL POR COMPUTADOR NÃO TRANSITÓRIO

IPC Classification

Priority claims

Abstract

A presente invenção refere-se a técnicas para realizar uma tarefa de previsão usando um modelo estatístico multimodal configurado para receber dados de entrada de múltiplas modalidades, incluindo dados de entrada de uma primeira modalidade e dados de entrada de uma segunda modalidade diferente da primeira modalidade. As técnicas incluem: obter informações especificando o modelo estatístico multimodal, incluindo valores de parâmetros de cada um dos múltiplos componentes do modelo estatístico multimodal, os múltiplos componentes incluindo primeiro e segundo codificadores para processar dados de entrada para a primeira e segunda modalidades, respectivamente, incorporação das primeira e segunda modalidades, uma representação de modalidade conjunta e um preditor; obter os primeiros dados de entrada para a primeira modalidade de dados; prover os primeiros dados de entrada ao primeiro codificador para gerar um primeiro vetor de recursos; identificar um segundo vetor de recursos usando a representação de modalidade conjunta, a incorporação da primeira modalidade e o primeiro vetor de recursos; e gerar uma previsão para a tarefa de previsão usando o preditor e o segundo vetor de recursos.