Приведенную фразу можно переписать в виде:Yes I am. I haven't been wrong yet.
Ето просто ДВА предложения соединенные в одно и между ними стоит запятая. Ни о каких ответах типа:Yes I haven't речи не идет и идти не может. В силу грамматики английского языка.
Т.е. ответа:"Да, не был" не присутствует, а присутствует:
-Вы обычно правы?- спросил Том
-Да, я есче не ошибался.