2016 이전 버전은 json 지원이 안 된다. 대충 이렇게 만들면 된다. json이나 xml이나 로직은 똑같다.

--데이터 만들기
--drop table #temp
select N'A' 그룹, N'1' 값 into #temp union all
select N'A' 그룹, N'2' 값 union all
select N'A' 그룹, N'3' 값 union all
select N'B' 그룹, N'100' 값 
go

--조회
declare @json nvarchar(4000)

select 
    @json = isnull(@json, '') + ',' + quotename(그룹, '"') + ':' + 
        '[' + quotename(stuff((select ',' + cast(값 as nvarchar(4000)) as 'text()' from #temp where a.그룹 = 그룹 for xml path('')),1,1,''), '"') + ']'
from (select distinct 그룹 from #temp) a

select convert(nvarchar(100), '{' +  stuff(@json, 1, 1, '') + '}') json


/* 결과
json
----------------------------------------------------------------------------------------------------
{"A":["1,2,3"],"B":["100"]}
*/