På gatan utanför pågick våldsamma sammanstötningar mellan demonstranter och säkerhetsstyrkor, och Ye ville inte riskera familjens säkerhet.
Men i tisdags kväll kom våldet farligt nära, när hundratals hankinesiska demonstranter beväpnade med påkar, hammare och tegelstenar totalförstörde restaurangen inför ögonen på familjen.
– Jag minns att jag tänkte: tar de sig in i vårt hus kommer vi alla att dö, säger Ye.
Familjen klarade sig, men efter de senaste dagarnas oroligheter – som krävt minst 156 liv – har Ye och hans hustru, likt tusentals andra, tagit beslutet att lämna Ürümqi och flytta tillbaka ut på landsbygden. Alternativet hade varit att stanna kvar i en stad där de inte längre känner sig säkra eller välkomna.
– Före tisdagens händelser trodde jag att oroligheterna skulle blåsa över och livet i Ürümqi återgå till det normala, säger Ye.
Ye är 40 år och tillhör den kazakiska minoriteten, en till övervägande del muslimsk folkgrupp från området nära gränsen till Kazakstan. Tillsammans med sin uiguriska hustru Mu Heti och en rad släktingar kom han till Ürümqi för åtta år sedan.
Han fick jobb som översättare mellan ryska och kinesiska och familjen etablerade sig snabbt. En bra månad kunde Ye tjäna motsvarande 3 600 kronor, flera gånger mer än han kunde tjäna på landsbygden.
Men det goda livet i Ürümqi handlade om mer än pengar. Ye blev förtjust i storstaden: han lärde sig det kinesiska spelet mahjong och berättar hur han kunde sitta i timmar på något gatukafé och diskutera med sina grannar över en kopp te.
Hans tolvåriga brorsdotter Ye Ziang kom som enda student från en minoritetsgrupp in på en av stans bästa skolor och fick många hankinesiska vänner. Hon lärde sig engelska och drömde om att börja på universitetet och bli läkare.
– Allt det där känns så avlägset nu, mot bakgrund av allt som hänt, säger Ye och Mu.
På senare tid har provinsen Xinjiang upplevt en dramatisk inflyttning av hankineser som lockats dit av regeringens löften om en snabb ekonomisk utveckling. Enligt den senaste folkräkningen (från år 2000) är 40 procent av provinsens invånare hankineser. 1949 var motsvarande siffra 6 procent. Inkomster och levnadsstandard har ökat för alla grupper – men det har också lett till nya hierarkier. Cheferna är oftast hankineser, medan arbetarna kommer från någon av minoriteterna.
Kina säger att man ”befriat” befolkningen i Xinjiang, men enligt många uigurer och kazaker är syftet att utplåna deras språk, kultur och religion.
I femvåningshuset där Ye och hans familj har sin lägenhet bodde till nyligen ett hundratal personer, både kazaker och uigurer som kommit till Ürümqi i sökandet efter ett bättre liv. Nu finns bara 25 kvar i huset. De andra har flyttat till olika delar av Xinjiang, till områden där inslaget av hankineser är mindre.
Trots allt som skett hyser Ye en viss medkänsla för sina hankinesiska grannar.
– Det är inte bara vi som är rädda. De är också rädda, säger han och berättar hur han under oroligheterna i tisdags tog emot en grupp hankinesiska kvinnor som sökte skydd undan våldet på gatan.
På gatan utanför den förstörda restaurangen har en grupp förbipasserande hankineser samlats. Flera av männen är beväpnade med påkar och stirrar nyfiket när en skara uigurer – mest kvinnor och barn – med sänkt blick för att slippa ögonkontakt lämnar huset där Ye hade sin bostad.