Отказаться от замещения временно отсутствующего работника

Можно отказаться, но последствия могут быть разными на усмотрение нанимателя. Ваше несогласие будут расценивать как неисполнение той или иной обязанности, а соответственно результат может быть разный.

Всего доброго!

Здравствуйте.
Вам необходимо внимательно ознакомится с Вашим коллективным договором и другими внутренними документами, там могут быть регламентированы санкции Нанимателя в Вашем случае.
Если не предусмотрено, то Вы можете получить только негативное отношение Нанимателя, это может грозить самыми разнообразными последствиями( придирки, уменьшение премии)