Conta a lenda que há muitos anos vivia nesta casa uma senhora sozinha e certo dia bateu-lhe á porta, um homem com aspeto de mendigo. Trazia às costas um saco e pedia comida e abrigo, pois não tinha onde ficar.

A senhora, com pena do pobre homem, deu-lhe comida e abrigo, apesar de não saber o seu nome nem de onde vinha. O homem que abrigara em sua casa não era um pobre mendigo mas sim um nobre fidalgo fugido aos piratas, que trazia no saco um tesouro.

À chegada à ilha fora tratado pelos frades jesuítas, devido ao seu estado de fraqueza provocado pela viagem de barco. Mas vendo que corria perigo decidiu então ir para o centro da ilha e por lá ficar escondido. Mas certo dia os piratas chegam á ilha á procura do nobre e do tesouro, que não o encontrando junto ao mar vão procurá-lo e acabam por o encontrar. A dona da casa, que havia saído, quando voltou encontrou três homens mortos e o seu protegido a agonizar. Apercebeu-se logo que eles o tinham vindo roubar. O nobre não resistiu e acabou por morrer tendo sido enterrado neste prédio. Não sabendo o seu nome a dona da casa fez-lhe uma cruz com a seguinte inscrição “aqui jaz o bravo”.

Bravo por ter morto os três piratas.

O tesouro, conta a história, também está enterrado algures nesta Quinta. Passados largos anos foi construída a estrada e como era muito falado o que se tinha passado nesta casa, as autoridades competentes deram á rua o nome de: Rua Lomba da Cruz do Bravo. Em 1942, na altura da II Guerra Mundial, esta casa serviu de apoio aos militares que procuravam as grandes casas para seu uso que assim se fixaram nesta freguesia. Foi hospital e serviu de refeitório dos oficiais. Ao longo doa anos esta casa tem conhecido diversos ofícios na sua loja tais como: sapateiro, barbeiro, marceneiro, taberna e armazém de vinhos.

Devido ao seu tamanho os antigos donos arrendavam a loja que era dividida por vários rendeiros enquanto os proprietários viviam no andar superior.