PROCESSAMENTO DE ENTRADAS MULTIMODAIS USANDO MODELOS DE LINGUAGEM

IPC Classification

Priority claims

Abstract

PROCESSAMENTO DE ENTRADAS MULTIMODAIS USANDO MODELOS DE LINGUAGEM. Métodos, sistemas e aparelhos, incluindo programas de computador codificados em meios de armazenamento de computador, para processamento de entradas multimodais utilizando modelos de linguagem. Em particular, as entradas incluem uma imagem, e a imagem é codificada por uma rede de codificador de imagem para gerar uma sequência de incorporações de imagem que representam a imagem. A sequência de incorporações de imagem é fornecida como pelo menos parte de uma sequência de entrada que é processada por uma rede neural de modelo de linguagem.