גריי נולד בניו קאסל שבדלאוור. לאחר שלמד משפטים עם אביו, הוא החל ללמוד בפקולטה למשפטים של אוניברסיטת הרווארד. בשנת 1863 הוסמך כעורך דין. הוא עבד באופן עצמאי בניוקאסל בתור עורך דין, עד לשנת 1879.
לאורך כהונתו שימש כיושב ראש ועדת הסנאט העוסקת בפטנטים, יו"ר ועדת הסנאט העוסקת בפריבילגיות ובבחירות ויו"ר ועדת הסנאט העוסקת בטענות מהפכניות בקונגרס ה-53. בנוסף, הוא השתתף בוועדת "ג'וינט היי" (Joint High Commission), שהתכנסה בקוויבק באוגוסט 1898 במטרה ליישב חילוקי דעות בין ארצות הברית לקנדה. גריי שירת כחבר בוועדה שנועדה להסדיר תנאי שלום בין ארצות הברית וספרד, ולסיים את מלחמת ארצות הברית–ספרד.
גריי נפטר ב-7 באוגוסט 1925 בווילמינגטון שבדלאוור, ונקבר בניוקאסל.