该折上后，清廷亦无相关谕旨下发。张荫桓在京仍以惯常方式行事：十月十七日请训，十九日辞别掌控军政诸要务的醇亲王奕，二十一日出京，二十四日会见直隶总督、北洋大臣李鸿章。随后南下上海、香港。十二月初四日开始，张荫桓奉旨在广州与两广总督张之洞筹议华侨捐造兵船等事务，直到次年二月初三日才将相关事务议完，后由张之洞、张荫桓联衔上奏。
光绪十二年二月初八日（1886年3月13日），张荫桓从香港登轮，经日本，三月初四日到达旧金山，二十日到达华盛顿，二十四日（4月27日）正式接任。由此至光绪十五年九月初四日（1889年9月28日），他担任了约三年半的驻美公使。中国第一历史档案馆保存其部分折片，记录事功，更重要的文献是其日记。从这些文献可以看出，他的主要事务是保护侨民，属领事事务。他对外交的这种认识，与他在烟台、芜湖与各国领事打交道的经历有关，也与此期总理衙门诸大臣整年忙着与各国公使处理商务纠纷、教案等事务相关。（后将叙述）当时的美国，还不是帝国主义国家，经历了南北战争（1861—1865）之后，正处在由东海岸向西海岸的发展过程中，许多“准州”（Territory）陆续成为正式的州（State）；而美国国内的排华活动正处在高潮期，护侨确实是当时中美关系最主要的事务。也正是为了护侨，清朝于光绪元年（1875）派原任留美学童学务局正监督陈兰彬改为首任驻美公使、副监督容闳为驻美副使。张荫桓与美国国务卿贝亚德（Thomas Francis Bayard，张在日记中称“叭夏”）多次交涉，还拟定了相关的条约。除了护侨事务外，张在日记中所录多为西洋情事景象。若以近代外交观念来阅读，值得关注者，有三事：一是刚入美国境，海关官员要求索看国书，被张严拒。他以为此举颇显维护国家尊严之意，多处提及此事。二是到华盛顿7个月后，张在清朝驻美公使馆内“发现”前任翻译官蔡锡勇所译美国宪法，并在日记中全本录之，由此可知其赴美之前完全不知道美国宪法，总理衙门也没有提示，尽管蔡锡勇译完后由驻美公使陈兰彬将该宪法呈交总理衙门。三是到华盛顿近一年后，张又发现清朝驻美公使馆并无道光二十四年（1844）《中美望厦条约》的文本，而美方照会多次引用之，他派翻译到美国国务院“将原约之配送汉文者照抄一分，拟寄署刊之”。然此三事，恰恰可以测出张荫桓、总理衙门诸大臣对近代外交的程式与功用缺乏相应的理解。他的这部日记，对不了解外部世界的国人而言，自然会有“走向世界”的功用；若以近代外交、近代国际关系、近代思想文化为标准，他对美国的政治、工业、教育的实情，没有具体观察，对美国此时期迅速走向富强，没有认真思考，与十多年前日本驻美公使森有礼（1847—1889）的《文学兴国策》，是无法相比拟的，只能称之为肤浅之作。
清朝驻美公使当时例兼驻西班牙、秘鲁公使。张荫桓于光绪十三年三月二十五日离开华盛顿，经巴黎，于四月二十四日到达西班牙首都马德里，至五月二十九日离开马德里，居留计月余，六月二十四日返回纽约。此行主要是呈递国书等外交礼仪事务，并办理在菲律宾设领事之事。他又于光绪十四年四月初五日离华盛顿，经巴拿马，于五月十一日到达秘鲁首都利马，至八月二十一日离开利马，居留三月余，九月初九日回到纽约。此行的目的除呈递国书等外交礼仪事务外，更多是处理秘鲁护侨事务。
在任期间，张荫桓的本缺官职也多次升迁：再次补授太常寺少卿，继迁通政使司副使（正四品）、太仆寺卿（从三品）。
光绪十五年三月初一日，清廷命翰林院侍讲崔国因继任驻美公使；初六日，张荫桓收到了国内电报。九月初四日，新旧两使在华盛顿交接。初八日，张荫桓离开美国，经欧洲，由地中海、过苏伊士运河，于十一月十三日到达香港。
光绪十六年二月，张荫桓进京复命。是年闰二月初九日（1890年3月29日），他再次出任总理衙门大臣。按照清朝的制度，总理衙门有如“外交委员会”，各位大臣为“兼差”，另有本缺官职。此时阎敬铭已退官多年，总理衙门有8位大臣：御前大臣、庆郡王奕劻，军机大臣、兵部尚书许庚身，军机大臣、刑部尚书孙毓汶，户部尚书福锟，户部侍郎徐用仪，礼部侍郎廖寿恒，户部侍郎续昌，户部侍郎曾纪泽，皆是朝中要员；张只是第9位。而奕劻平时多处理慈禧太后身边事，军机大臣孙毓汶因背靠醇亲王奕而权重一时，但毕竟不熟悉外部事务。曾任驻英、法公使、熟悉外部事务的曾纪泽，此时已病重，张回任后未久，便于闰二月二十五日去世了。张在总理衙门地位最低，因熟悉外部事务，仍有着较大的发言权。同年五月二十八日，张上奏“遵旨恭缮日记进呈御览折”，称言：
