Brown seger stod klar när över 80 procent av Massachusetts valkretsar räknats. Han ledde då med fem procentenheter före Coakley.
Demokraternas förlust är ett svårt bakslag för president Barack Obama när han ska genomdriva sitt förslag till sjukvårdsreformer för USA.
Brown har lovat att bekämpa förslaget och utan en demokratisk majoritet på 60 mandat får Obama svårt att baxa det genom kongressen med mindre än kraftiga dröjsmål. Med 41 mandat i senaten kan republikanerna fördröja processen.
Nu fruktar demokraterna dessutom att de ska mista sin absoluta majoritet i båda kongresskamrarna i höstens kommande val, då sjukvården kan bli en avgörande stridsfråga.
Massachusettsvalet gällde det mandat som den i fjol avlidne Edward Kennedy lämnade efter sig. Mandatet i den liberala delstaten ansågs länge vara säkert för demokraterna — det hade ju varit i deras händer sedan Kennedys bror John F Kennedy erövrade det i början av 1950-talet.
Men Massachusetts riksåklagare Martha Coakley, som ställde upp efter Edward Kennedy, har kallats okarismatisk och fått kritik för att vara sent ut i valkampanjen.
Och republikanerna såg sin möjlighet att göra livet surt för president Obama genom att erövra ett nyckelmandat inför kampen om sjukvårdsreformen. De chansade hårt på Scott Brown som undan för undan förmådde arbeta sig i kapp den i opinionen från början ledande Coakley.
President Barack Obama gratulerade Scott Brown till "en välskött kampanj" och segern i Massachusetts senatsval, sade Vita husets talesman Robert Gibbs.
- President sade till senator Brown att han ser fram mot att få samarbeta med honom om de akuta ekonomiska utmaningar som möter hushållen i Massachusetts liksom kämpande familjer runtom i vårt land".
- Jag är förkrossad och vet att ni är det också, sade Martha Coakley till sina anhängare i Boston när hon erkände sig besegrad av Scott Brown.
- Vi önskar honom lycka till i sin offentliga tjänst, tillade hon.
Det officiella beskedet om Browns seger kom från den demokratiska majoritetsledaren i senaten Harry Reid. Han sade att Brown ska vara installerad så snart pappersexercisen är avklarad.
Efter valet har demokraterna 58 egna mandat i senaten. Ett 59:e mandat tillhör den oberoende Joe Lieberman, tidigare även han demokrat, från Connecticut. Lieberman stödjer Barack Obamas sjukvårdsförslag.
- Folk vill inte ha en sjukvårdsplan för biljontals dollar, sade Scott Brown när han förklarade valresultatet i sitt segertal.
Han hävdade att president Obamas förslag "höjer skatter, skadar sjukvården, förstör arbetstillfällen och ökar statsskulden" om det blir verklighet.