MÉTODOS E APARELHOS PARA A PREVISÃO MULTIMODAL USANDO UM MODELO ESTATÍSTICO TREINADO

IPC Classification

Priority claims

Abstract

A presente invenção refere-se a métodos e aparelhos para prever uma associação entre dados de entrada em uma primeira modalidade e dados em uma segunda modalidade usando um modelo estatístico treinado para representar interações entre dados tendo uma pluralidade de modalidades incluindo a primeira modalidade e a segunda modalidade, o modelo estatístico compreendendo uma pluralidade de codificadores e decodificadores, cada um dos quais é treinado para processar dados para uma da pluralidade de modalidades, e uma representação de modalidade conjunta acoplando a pluralidade de codificadores e decodificadores. O método compreende selecionar, com base na primeira modalidade e na segunda modalidade, um par de codificador/decodificador ou um par de codificadores, a partir de entre a pluralidade de codificadores e decodificadores, e processar os dados de entrada com a representação de modalidade conjunta e o par de codificador/decodificador selecionado ou o par de codificadores para prever a associação entre os dados de entrada e os dados na segunda modalidade.