25 января 1958 г. совместным указом Министра обороны СССР, Министра внутренних дел СССР и председателя Комитета Государственной безопасности СССР была учреждена медаль «За безупречную службу» в Вооруженных Силах I, II и III степени – специально для военнослужащих, прослуживших 10, 15 и 20 лет.
Медалью «За безупречную службу» награждались военнослужащие, имевшие положительные аттестации и успешно справлявшиеся с возложенными на них обязанностями по службе, как правило, один раз в год – 23 февраля (в День Советской Армии и Флота), или в дни профессиональных праздников.
Награждение производилось последовательно: III степенью – прослужившие 10 лет, II степенью – 15 лет, I степенью – 20 лет.
Кроме медалей «За безупречную службу» общесоюзных министерств (МО СССР, МВД СССР) для внутренних войск МВД СССР и КГБ СССР практически во всех 15 союзных республиках в различные периоды были также учреждены и непродолжительное время вручались медали «За безупречную службу» I, II и III степени республиканских Министерств охраны общественного порядка (МООП); в РСФСР, Армянской, Таджикской, Литовской, Молдавской ССР – также Министерств внутренних дел этих республик, в связи с чем данная награда имела около 25 разновидностей по содержанию надписи на реверсе медали.