GoogleBigQuery union aggregate function

test GoogleBigQuery with sample data

SELECT COUNT(*) FROM
(SELECT weight_pounds FROM
( SELECT weight_pounds,father_age,mother_age FROM [publicdata:samples.natality]),
( SELECT weight_pounds,father_age,mother_age FROM [logger.natality_copy] )
GROUP BY weight_pounds,father_age,mother_age);

มันคือการ SELECT COUNT ของข้อมูลด้านในที่ union กัน แล้วค่อยมาสั่ง group by ทีหลัง

ด้วยขนาดข้อมูลในแต่ละ table ขนาด 21.9 GB จำนวนข้อมูล 137 ล้าน rows ได้ COUNT DISTINCT ข้อมูลออกมา 2.3 ล้านข้อมูล ใช้เวลา Query ทั้งหมดประมาณ 17 วินาที

ถ้าเอา SELECT COUNT(*) รอบนอกออก ก็จะได้ เนื้อข้อมูลที่ไม่ซ้ำกันว่ามี weight_pounds,father_age,mother_age ที่ไม่ซ้ำกันแต่ละแบบ
ก็ลองแก้ๆเล่นดูได้ครับ

Related posts:

This entry was posted in BigQuery, knowledge, technology. Bookmark the permalink.