SISTEMA, MEIO NÃO TRANSITÓRIO DE ARMAZENAMENTO EM COMPUTADOR E MÉTODO DE REDES NEURAIS DE TRANSDUÇÃO DE SEQUÊNCIAS BASEADAS EM ATENÇÃO

IPC Classification

Priority claims

Abstract

Métodos, sistemas e aparelho, incluindo programas de computador codificados em um meio de armazenamento em computador, para gerar uma sequência de saídas a partir de uma sequência de entradas. Em um aspecto, um dos sistemas inclui uma rede neural codificadora configurada para receber a sequência de entradas e gerar representações codificadas das entradas de rede, a rede neural codificadora compreendendo uma sequência de uma ou mais sub-redes codificadoras, cada sub-rede codificadora configurada para receber uma respectiva entrada de sub-rede codificadora para cada uma das posições de entrada e para gerar uma respectiva saída de sub-rede para cada uma das posições de entrada, e cada sub-rede codificadora compreendendo: uma subcamada de autoatenção codificadora que é configurada para receber a entrada de sub-rede para cada uma das posições de entrada e, para cada posição específica de entrada na ordem de entrada: aplicar um mecanismo de atenção sobre as entradas de sub-redes codificadoras usando uma ou mais consultas obtidas a partir da entrada de sub-rede codificadora na posição específica de entrada.