Esta pesquisa propõe um sistema de quatro ações para o ensino na resolução de problema em matemática na educação superior baseado na teoria psicológica de formação por etapas das ações mentais de Galperin, na direção do processo de ensino aprendizagem fundamentada pela teoria geral da direção, os princípios de resolução problema de Polya e com apoio de um programa do tipo sistema de computação algébrica ao que se denomina Atividade de Situações Problema em Matemática. Foi realizado um estudo quase experimental e um estudo de caso, em ambos se trabalhou com alunos da disciplina de Álgebra Linear do curso de bacharelado em Sistema de Informação da Faculdade Atual da Amazônia. Utilizando dados quantitativos e qualitativos obtidos durante o processo investigativo, concluiu-se que o ensino centrado na resolução de problemas matemáticos resultou mais eficaz utilizando Atividade de Situações Problema em Matemática comparada com os métodos tradicionais.