Это из-за не специализированнной одежды - на спине она натягивается и по этому снижается теплоизоляция.

Очень рекомендую использовать велосипедные тайтсы с начесом на лямках - очень удобно, ну и поясница лучше защищена будет