Segundo José Pedro Machado, no seu Dicionário Onomástico Etimológico da Língua Portuguesa, o topónimo Brasfemes deve tratar-se de um genitivo do antropónimo Brafeme, embora não se encontre explicação para o aparecimento do “s”.

Em 1139, aparece nos Documentos Medievais Portugueses, publicados pela Academia Portuguesa de História e nas Chancelarias Medievais Portuguesas como Brafemes contudo, em documentos mais antigos, surge com o nome de Abrahemes, provavelmente um antropónimo derivado do genitivo Abraheme, nome do individuo a quem terá sido dada a tarefa de repovoar esta zona, então reconquistada por D. Fernando aos mouros em 1064, para uma eficaz defesa do território e para a extração de pedra do Monte Oleaster (hoje, Serra do Alhastro) para ampliação do Mosteiro de Lorvão.

Outra hipótese, esta mais lendária do que científica, é a relação do nome Brasfemes com o antropónimo “Brás” à qual se terá juntado a palavra “fêmeas”, remetendo-nos assim para a lenda do “Brás das fêmeas” (Brásfêmeas – Brasfemeas – Brasfemes).

Como hipótese remota, o topónimo pode ainda derivar do vocábulo brasfemos, que designa os que dizem blasfémeas embora aos brasfemenses custe a aceitar esta última teoria.