El trayecto duraba dos largas jornadas, por lo que tanto los romeros como los encargados de trasladar la Imagen, necesitaban un lugar para descansar, reponerse de las fatigas del viaje y protegerse de las inclemencias del tiempo. De este modo nació la Ermita de Nuestra Señora del Rosario, situada a la mitad del camino. Es una de las muchas que por su sencillez refleja los primeros momentos de la sociedad cristiana en Tenerife, siendo, quizá, una de las más antiguas. Por sus características se asemeja a las de San Juan o San Benito de La Laguna.

A tiro de piedra de la ermita y junto al camino se encuentra la casa de Amaro Pargo, hombre de mar que tuvo en jaque a los hombres de su época y que, como todos los corsarios, fue envuelto en los velos de la fantasía popular. Unos le temían como al diablo, mientras otros le acumulaban virtudes que lo colocaban poco menos que en el terreno de la santidad. La vivienda a la que hemos hecho referencia, conocida como "Casa del Pirata o del Rosario", es una casa solariega de grandes dimensiones, muy diferente a las demás. Envuelta también en el misterio, se encuentra en total estado de abandono pues, desde la desaparición de su último morador, D. Felipe Trujillo Trujillo, gentes de toda la Isla han destrozado suelos, paredes, etc. tratando de descubrir un supuestos tesoro escondido. Precisamente D.Felipe, Mayordomo de la ermita en 1917 y miembro de la Hermandad de la primera Virgen de Candelaria, relató a Concepción Reig que "cuando había secas y no llovía. llevaban a la Virgen a hombro de Candelaria a La Laguna, y en cada descanso dejaban una Cruz de tea. En la finca -la de Amaro Pargo, a la que llegó como medianero- hicieron cuatro descansos:uno al pie de la cuesta de El Rosario, donde llaman la "Cruz de Cho Trujillo", otro frente a la casa y al calvario, otro donde dicen La Herrera y otro al fin de la finca de Toriño, que es la "Fuente Nucva".