Moment apparaît dans plusieurs locutions, tantôt au singulier, tantôt au pluriel :

• au choix dans à tout moment ou à tous moments (= sans cesse, à toute heure),
  
  Il peut arriver à tout moment ou à tous moments.
  
  
• au pluriel dans par moments (= de temps en temps, par intervalles),
  
  Par moments, le soleil fait son apparition.
  
  
• au singulier dans au moment où/de, sur le moment, du moment que, de moment en moment, d'un moment à l'autre, pour le moment, etc.

(Livre de Patrick Dard, Editions France Loisirs)