Спасибо topol9! Подстройка AGG ничего не дает, только ухудшает. А 8PSK, по-видимому, устанавливается автоматически. Выбрать можно только SD или HD. Все дело в том, что с такой настройкой на других HD-каналах проблем нет. Остается предположить, что все дело в головке. Она у меня не НТВшная, а с вручную вставленной диэлектрической пластиной. И верхняя частота гетеродина для этой головки потребовалась не 10750, а 10600. А поскольку транспондер на границе диапазона, то для этой частоты и возникают проблемы. Придется ставить стандартную головку НТВ, но это дело не нескольких минут.
Спасибо и за картинки. Глядя на них я понял, что с установками у меня все в порядке и принял решение менять головку.