TÉCNICAS PARA CORRIGIR O VIÉS DE TREINAMENTO LINGUÍSTICO EM DADOS DE TREINAMENTO

Classificação IPC

Prioridades unionistas

Resumo técnico

TÉCNICAS PARA CORRIGIR O VIÉS DETREINAMENTO LINGUÍSTICO EM DADOS DE TREINAMENTO Em sistemas de assistentes automatizados, um modelo de aprendizado profundo na forma de um classificador de memória de longo prazo (LSTM) é usado para mapear perguntas para classes, com cada classe tendo uma resposta curada manualmente. Uma equipe de especialistas cria manualmente os dados de treinamento usados para treinar esse classificador. Apoiar-se na curadoria humana muitas vezes resulta em tais viés de treinamento linguístico rastejando em dados de treinamento, uma vez que cada indivíduo tem um estilo específico de escrever uma linguagem natural e usa algumas palavras apenas em um contexto específico. Os modelos profundos acabam aprendendo esse viés, em vez das principais palavras-conceito das classes-alvo. Para corrigir esse viés, sentenças significativas são geradas automaticamente usando um modelo generativo e, em seguida, usadas para treinar um modelo de classificação. Por exemplo, um auto codificador variacional (VAE) é usado como modelo gerativo para gerar novas sentenças e um modelo de linguagem (LM) é utilizado para selecionar sentenças com base na probabilidade.