귀신고래는 겉으로 보기에 수염고래와 참고래의 중간 정도의 모습을 취하고 있다.[24] 위에서 보면 머리는 가늘며 삼각꼴이다.[10] 입의 모양은 약간 아치 모양으로 생겼으며, 양쪽에는 130에서 180개의 누런 빛의 고래수염판이 나 있다.[10]
귀신고래의 피부에는 긁힌 자국, 흩어져 붙어 있는 흰 따개비, 바다벼룩 등이 있으며, 기생체는 특히 머리 부분에 많이 나 있다. 하지만 우측에는 기생체가 거의 없는데,[25] 해저면에서 먹이를 뒤질 때 우측으로 기울기 때문이다. 갓 태어난 새끼는 회색에서 검은색이지만, 어떠한 개체는 구별되는 하얀 점 등을 지닐 수 있다.[25]
다른 수염고래와는 달리 귀신고래는 등지느러미가 없다. 하지만 몸의 뒷 부분에는 두드러지는 6에서 12개의 쐐기와 같은 것이 이어져 꼬리까지 나 있다. 가슴지느러미는 노처럼 생겼으며 끝은 뾰족하다. 꼬리의 길이는 가로로 3.7미터 정도이며, 중앙은 깊게 들어가 있다.[25]
다 자란 수컷의 몸길이는 13.7에서 14미터이며, 다 자란 암컷의 길이는 15m로 수컷보다 약간 크다. 성체의 몸무게는 27.2톤에서 36.3톤이다.[25]
귀신고래는 종종 머리를 드러내 수면 위를 엿보기를 한다. 머리의 윗부분에 있는 2개의 숨구멍을 이용해 공기를 들어 마신다. 쉴 때는 분당 2~3번씩 호흡을 하며, 깊게 잠수할 때는 3에서 5분 동안 숨을 마시기도 한다.[25] 이들이 뿜는 고래 분수의 높이는 3에서 4미터 정도이며, 소리는 1킬로미터 정도의 반경에서 들을 수 있다.[25] 분수에는 종종 냄새가 배어 있기도 하는데, 귀신고래가 질병에 걸렸을 때, 다쳤을 때, 먹고난 후 등에 냄새가 난다.[26]