O uso do "pelo mais" e "pelo menos"

Não é incorreto usar "pelo menos" entre vírgulas. Na verdade, em qualquer posição de qualquer período, pode-se usá-lo entre ou sem vírgulas, visto que possui dois termos. Para termos com função sintática de adjunto adverbial, até dois termos, é facultativo — não obrigatório — o uso de vírgulas. Para três ou mais termos, entretanto, é obrigatório o uso de vírgulas se o adjunto adv. em questão estiver antes do verbo principal da frase, como em "Se houvesse viajado, teria conhecido lugares novos." Mesmo se um adj. adv. possuir três ou mais termos, é facultativo o uso de vírgulas para separá-lo se estiver após o verbo, como em "Teria conhecido lugares novos se houvesse viajado." — sendo possível, assim, também, "Teria conhecido lugares novos, se houvesse viajado." [Neste caso, "se houvesse viajado" tem função de oração subordinada adverbial, empregando papel de adjunto adverbial, em outros termos.]
Em relação à função sintática de "pelo menos", seria adjunto adverbial, mas desconheço se o seria "de Limite", como você propôs, visto que ele não estabelece um limite, mas um ponto mínimo. (Por exemplo, "Andou pelo menos um quilômetro.") Desconheço quaisquer empregos de "pelo mais". (Isso existe?)