Hijo del relojero e inventor Gustav Horstmann (1828-1893), quien emigró de Westfalia en 1850, consiguiendo más de 100 patentes en su vida, como el micrómetro con una precisión de 10/10.000 pulgadas, en 1856 .
Gustaf tuvo 7 hijos, 4 de los cuales le siguieron en el negocio de relojería, mientras que Sydney se dedicó al desarrollo de la transmisión variable continua para vehículos automóviles, consiguiendo la patente
En 1901, fundó la "Horstmann Gear Co." para evaluar la patente. No tuvo éxito, pero la compañía se hizo un nombre con movimientos de relojes, cronómetros y temporizadores mecánicos.
En 1903, fundo la "Horstmann Cars Ltd.," dedicándose plenamente a la fabricación de voiturettes para luego proseguir con los automóviles hasta 1929.