SISTEMAS E MÉTODOS PARA GERAR DADOS MULTIMODAIS USANDO UMA ARQUITETURA SINGLE-TOWER COM UM SUBSISTEMA DE GERAÇÃO DE DADOS

IPC Classification

Priority claims

Abstract

SISTEMAS E MÉTODOS PARA GERAR DADOS MULTIMODAIS USANDO UMA ARQUITETURA SINGLE-TOWER COM UM SUBSISTEMA DE GERAÇÃO DE DADOS. Um método implementado por computador para gerar dados multimodais. O método compreende o uso de uma rede neural de geração de token para gerar, autorregressivamente, uma sequência de saída de tokens multimodais e, em resposta a um próximo token multimodal, sendo um token de início de imagem, gerar uma imagem usando um subsistema de geração de imagem condicionado a recursos que representam a sequência atual de tokens multimodais obtidos da rede neural de geração de token. O método compreende ainda o processamento da imagem para converter pixels da imagem em uma sequência de tokens de imagem, cada token de imagem compreendendo uma codificação em bloco de valores dos pixels em uma região diferente da imagem que mapeia um conjunto de valores dos pixels para um respectivo token de imagem e anexando a sequência de tokens de imagem à sequência de saída atual de tokens multimodais como os próximos tokens multimodais na sequência de saída de tokens multimodais.