史学界关于张作霖祖籍主要有两说:一为山东说。《中华民国陆海军大元帅张公行状》中写道:“公讳作霖，字雨亭，奉天海城人，远祖居山东，族甚蕃，清道光初徙居海城。
祖发业农，称素封。”“行状”是过去死者家属叙述死者世系、籍贯、事迹的纪念文体。该文称“远祖居山东”，主山东省说。
一为河北说。河北中又有大城、高阳、河间三说。在《中华民国陆海军大元帅张公雨亭神道碑》写道:“公讳作霖，字雨亭。其先为直隶人，清末迁奉天海城。”这通碑文是督军署参谋长臧式毅领衔，又有8位处长署名的，载于《张大元帅哀挽录》。文中明确地说“其先为直隶人”，即是河北人，主河北说。
从有关历史记载看，张作霖的祖籍是诸说并存，多数学者主河北省说。张作霖之子张学良多次自称祖籍是河北省大城县。据《大城县志》记载及当地老人记述，第一次直奉战争期间，张作霖曾回到河北省大城县南赵扶冯庄认祖，但由于族中老人反对(族人认为其年轻时当过“胡子”，有辱门风，担心奉系失败牵连族人)而未能归宗，张作霖一直对此耿耿于怀。
