ADAPTADOR DE RECURSOS DE CONHECIMENTO AUMENTADO PARA REDES NEURAIS DE MODELO DE VISÃO-LINGUAGEM

IPC Classification

Abstract

ADAPTADOR DE RECURSOS DE CONHECIMENTO AUMENTADO PARA REDES NEURAIS DE MODELO DE VISÃO-LINGUAGEM. A presente invenção refere-se a métodos, sistemas e aparelhos, incluindo programas de computador codificados em mídias de armazenamento de computador, para executar uma tarefa de aprendizado de máquina multimodal em uma entrada de rede que inclui texto e uma imagem para gerar uma saída de rede. Um dos sistemas inclui uma rede neural de modelo de visão-linguagem (VLM). A rede neural de VLM inclui uma rede neural de backbone VLM e um adaptador de recursos baseado em atenção. A rede neural de VLM tem acesso a um conjunto de dados externo que armazena vários itens de texto.