¿Cómo crear una página maestra usando HTML?

Tengo un sitio web en el que quiero tener un estilo consistente (un encabezado y un menú lateral) en cada página.

Quiero crear algo similar a una página maestra para él. No quiero usar marcos

¿Cómo podría lograr esto usando HTML, CSS, JavaScript y jQuery?