Когда-то, давным-давно, в мужицкой среде было принято носить огромные бороды (как у Льва Толстого, а может быть, и больше). Так или иначе, но когда такой мужчина работал, борода его вместе с усами естественным образом теряли спокойствие и приходили в движение соответственно тому, насколько мужчина усердно и страстно трудился. Нетрудно догадаться, что если мужчина не трудился, но у него ус был спокоен, как и весь уклад жизни человека, не обмеренного трудом.
Фразеологизм?