Существует несколько версий происхождения этого выражения. Но....есть вот и такое толкование : ".....Во Франции слово «рогоносец» означало «муж постоянной или временной любовницы короля». Впоследствии рогоносцами стали называть всех супругов, жёны которых грешили с другими мужчинами. Именно эта версия закрепилась в русском языке."