Я предпочитаю прямое объяснение: "Я не могу" - далее причина. Или на худой конец "я не хочу".
Но только не игру в догадки.
Еще хуже - хорошая мина при плохой игре. Не хочется принимать предложение - говорите, а не отмалчивайтесь. Потому что молчать тут - это не вежливость, а лицемерие.
А если обстоятельства встали на пути планов, то, дорогие мои, стоит об этом все-таки сказать. И не только как о гипотетической возможности, но и как о свершившимся факте. А то откуда я знаю, произошло событие или просто человеку не охота.