زیارت سخی در دامنه‌ی کوه آسمایی در منطقه‌ی کارته سخی قرار دارد. طرف غرب آن پوهنتون کابل و شفاخانه علی آباد، طرف شرق آن کوه‌ تلویزیون، طرف جنوب آن تپه‌ی سلام و طرف شمال آن تپه‌ی خاکی گردنه قرار دارد.

این زیارت به دستور احمد شاه بابا درانی (۱۷۷۳-۱۷۴۷) ساخته شده است.
زمانی که احمد شاه بابا دستور می‌دهد که خرقه‌ی مبارک پیامبر اسلام (ص) را از بخارا به قندهار انتقال دهد، کاروان مذکور در کابل در منطقه کنونی (زیارت سخی) اطراق می‌کند.

روایت است که نگهبانان دو شب پی در پی حضرت علی (ع)، خلیفه چهارم اسلام و امام اول شیعیان را خواب می‌بینند که این‌جا آمده، شمشیرش را بالای سنگ کلانی گذاشته و نماز می‌خواند. هنگامی‌که کاروان به قندهارمی‌رسد، این موضوع را به احمد شاه بابا می‌گویند و او دستور می‌دهد که زیارتی آن‌جا بسازد و آن را «زیارت سخی شاه مردان» می‌نامد.