REDE DNN ALUNO APRENDIZ VIA DISTRIBUIÇÃO DE SAÍDA

IPC Classification

Abstract

A presente invenção refere-se a sistemas e métodos para a geração de um classificador de rede DNN por meio do "aprendizado" de um modelo de rede DNN "aluno" a partir de um modelo de rede DNN "professor" mais preciso e maior. A rede DNN aluno pode ser treinada a partir de dados de treinamento não rotulados ao passar os dados de treinamento não rotulados pela rede DNN professor, a qual poderá ser treinada a partir de dados rotulados. Em uma modalidade, um processo iterativo é aplicado no sentido de treinar a rede DNN aluno ao minimizar a divergência das distribuições de saída dos modelos de redes DNN professor e aluno. Para cada iteração até a convergência, a diferença nas saídas dessas duas redes DNN é usada no sentido de atualizar o modelo de rede DNN aluno, e saídas são determinadas novamente, usando os dados de treinamento não rotulados. O modelo de rede DNN aluno treinado resultante poderá ser adequado para a provisão de aplicações de processamento de sinal precisas em dispositivos que tenham limitados recursos em termos de computação ou de armazenamento, tais como dispositivos móveis ou vestíveis. Em uma modalidade, o modelo de rede DNN professor compreende modelos de conjuntos de redes DNN.