Есть же вроде вполне конкретный параметр "угловой размер" и способность человеческого глаза различать предметы с разным угловым размером на разных расстояниях.
Очевидно что более "толстая" мачта будет иметь бОльший угловой размер.
А по расстоянию между мачтами можно определить курсовой угол корабля.
дальность видимости определяется поэтому не возможностями глаза, а кривизной земной поверхности и погодными условиями.
Сплошная мачта м.б. хуже видима в дымке, чем ажурная из тонких деталей. Но точно можно сказать только из опыта.