Нагрудный знак «Отличник милиции» был впервые учреждён приказом Министерства внутренних дел СССР № 246 от 23 декабря 1953 года. В 1960 году МВД СССР было упразднено, было создано Министерство охраны общественного порядка СССР. В 1968 году МООП СССР было переименовано в МВД СССР. Приказом Министра внутренних дел СССР № 386 от 14 ноября 1969 года знак «Отличник милиции», претерпев значительные геральдические изменения, был учреждён вновь.
Как отмечал исследователь М. А. Рогов, знак «Отличник милиции» стал самой массовой из ведомственных наград советской милиции.
В системе ведомственных наград российских органов внутренних дел обновлённый знак «Отличник милиции» появился в 2000 году. Он был учреждён приказом МВД России от 14 июня 2000 года № 633 «Об учреждении знаков МВД России»
В связи с реформой МВД России наградная система органов внутренних дел была подвергнута изменениям. Приказом МВД России от 31 октября 2013 года № 998 «О ведомственных знаках отличия Министерства внутренних дел Российской Федерации» знак «Отличник милиции» был заменён знаком «Отличник полиции».