Нет, ответственность делится поровну между обоими. Собеседник может слушать или не слушать. Говорящий может не воспринимать это как помеху или воспринять. Причём даже если говорящего внимательно слушают, ему всё равно может показаться, что собеседник отвлёкся, поскольку смотрит в другую сторону. И это может раздражать говорящего или не раздражать.

Некоторым людям просто невозможно угодить, они обязательно найдут, к чему прицепиться, независимо от того, что ты делаешь (или не делаешь). В случае, если говорящий относится к данной категории, от его собеседника мало что зависит.

Другим же, сильным и уверенным в себе, по барабану любые твои выходки, любые потуги вывести их из равновесия. И в этом случае от тебя также ничего не будет зависеть.