1870年，李鸿章任直隶总督兼北洋大臣后，力主速开铁路，并言铁路可“为国家立致富之基，谋自强之道”。他在筹议海防折中称“有内地火车铁路，屯兵于旁，闻警驰援，可以一日千数百里”。1880年，直隶提督刘铭传上奏《筹造铁路以图自强折》，引发了朝野论战。此间，唐胥铁路已在酝酿之中。
吴淞铁路开通时，轮船招商局总办唐廷枢因“轮船恃烟煤为命脉”，派员到开平寻找矿源。1876年11月，唐廷枢在勘察报告中，提到修建一条铁路运煤。当时天津英国总领事也认为“修建一条运煤的铁路，不会有什么困难”。1877年，兼任开平矿务局总办的唐廷枢向李鸿章建议，并奏请清政府修建唐山至北塘全长46公里的铁路，却遭到守旧派的阻挠。不久，清政府收回成命。为此，开平矿务局调整计划，改为开凿运河，东由胥各庄起，西至芦台，连接已有的蓟运河，通至北塘海口。而唐山至胥各庄长约11公里地势陡峻，不宜开凿运河。几经交涉又获批准，仅允许修唐山到胥各庄一段专为运煤。这条铁路1880年正式开工，全长9.67公里。翌年通车，该铁路被命名为“唐胥铁路”。修建铁路由开平矿务局英国工程师金达负责，铁路通车之初，以骡马为牵引动力，运输效率很低。1881年，中国工人根据金达的图纸，利用矿场起重机锅炉和竖井架的槽铁等旧材料，试制成功了一台蒸汽机车（只有三对动轮，无导轮和从轮）。1881年6月9日，正逢“世界铁路之父”乔治·斯蒂芬森100周年诞辰纪念日，由开平矿务局总工程师伯奈特夫人主持典礼，该机车被命名为“中国火箭号”，这是我国自制的第一台蒸汽机车。随后，又从英国购买了两台机车。
1884年，天津海关总税务司德璀琳向总理事务衙门奏请修建铁路，并提出八个理由：“文报可速、征调可捷、额兵可减、商贾可便、矿产可兴、国用可利、车歇无碍生计、敌兵无虑猝至。”从军事和经济上阐述修铁路的好处，得到清廷的重视。1886年，经德璀琳的推荐，金达就铁路发展问题拜访了李鸿章。于是，李鸿章上奏朝廷，计划将铁路延修至芦台。这年10月，法国人在海大道以西展示三里长的铁路，李鸿章与周馥、伍廷芳等人一同乘坐，颇为嘉许。1886年11月23日，金达夫人在芦台钉下了第一颗道钉，铁路延长线于1887年正式竣工。
唐胥铁路的延长，增强了李鸿章拓展铁路的雄心，随后以海防为由，奏请将铁路延展至天津。时醇亲王负责海军事务衙门，津沽铁路获准修建。随后遇到经费问题，由于招商不力，准备向外国银行借款，一名叫李福明的武举站出来反对。他向督察院呈递条陈，认为建铁路与其修自洋人，不如修自中国，与其修自官府，不如修自民间，如对天津各华商因势利导，筹措巨款不难，并说“所知各家，即可立办”。条陈理由看似十分充足，实际上是一桩骗局，那时华商并无筹措巨资的财力。不过李鸿章认为，“如李福明果有力筹，自应准其兴办”。这个骗局，很快为李鸿章识破。
1888年，铁路由芦台经塘沽修到天津，李鸿章于10月13日亲往验路，并参加了通车仪式。李鸿章对铁路事业颇有贡献，曾鲲化《中国铁路史》称，在修建铁路过程中，“李则以盖世之才、吐虹之气，挟山超海之势，刃解数十折片，拆之屈之，反复而辩难之”。
