Das Olivenkraut ist eine aromatischer und immergrüner Halbstrauch. Es wird 30 bis 70 Zentimeter hoch, ist drüsig aber nicht klebrig, kahl bis verkahlend, mehr oder weniger strahlend grün.
Die wechselständigen, kleinen und olivgrünen Laubblätter sind länglich-linealisch mit gezähnten bis kammförmig fiedrigen Rändern.
5 bis 15 (selten 20) Zentimeter hohe verholzende Hauptstängel tragen (10)15 bis 23(35) Zentimeter hohe, kahle Blütenstandsschäfte mit Ende Frühjahr Blütenkörben mit einem mehrreihigen, kahlen Hüllkelch an den Enden. Es sind nur zwittrige, gelbe Röhrenblüten mit reduziertem Kelch und Spreuschuppen vorhanden.
Die bräunlichen, 1,5 bis 2,6 Millimeter langen Achänen sind glatt mit vier oder fünf schwach ausgeprägten Rippen und ohne Pappus.