В гербе города отражена его историческая заслуга. Изображение стропил один над другим с соприкасающимися остриями означает военную схватку, закончившуюся победой одного из противников (того, что сверху). Стропило, означающее победителя, окрашено в красный цвет — цвет гербового щита Москвы, стропило, означающее побеждённого, имеет зелёный цвет — цвет ислама.

Идея создания герба для города Арзамаса относится к эпохе Петра I, когда в 1722 году по его указу была утверждена правительственная Герольдмейстерская контора.

Рисунок герба Арзамаса в 1781 году назван старым, ибо в его основу лёг эскиз графа Франциска де Санти (приглашённого из Италии и возглавившего работу по созданию гербов). Герб нарисован примерно между 1725—1727 годами, во времена царствования императрицы Екатерины I и предназначался первоначально для помещения на полковую амуницию и полковых знамёнах Арзамасского полка.

Впервые утверждён 16 августа 1781 года указом Екатерины II. В 1993 году городская администрация вновь утвердила этот герб как официальный.