รวมบทความเกี่ยวกับวิศวกรรมข้อมูล (Data Engineering) ครอบคลุมถึงเรื่องการจัดการข้อมูลขนาดใหญ่ (Big Data) ด้วยเครื่องมือต่าง ๆ อาทิ Hadoop, MapReduce Spark, Hive, และบริการ Cloud ชื่อดังต่าง ๆ ไม่ว่าจะเป็น Amazon Web Services (AWS), Google Cloud Platform (GCP), และ Azure
หัวข้อ Data Engineer นี้ครอบคลุมถึงการวางแผนและพัฒนาระบบ ETL (Extract-Transform-Load), Data Ingestion, Data Integration ไปจนถึงการสร้าง End-to-End Data Pipeline ที่สามารถรับส่งข้อมูลได้ตั้งแต่ต้นจนจบ
Data Maturity หรือ ระดับการใช้ Data ในองค์กรได้ดี ส่วนตัวมองว่าเป็นหลักการที่ดีมาก สำหรับองค์กรที่สนใจหันมาใช้ Data เพื่อให้รู้จุดเริ่มต้น และจุดที่ต้องเติบโตไปในอนาคต หรือ ถ้าองค์กรไหนใช้ Data อยู่แล้ว พอดูเรื่อง Data Maturity ก็จะรู้ว่าตอนนี้องค์กรของคุณอยู่ในระดับไหน และจะเติบโตไปอย่างไร
Data Governance คือ แนวคิดและกระบวนการสำหรับการจัดการข้อมูลในการทำให้มั่นใจว่าข้อมูลจะมีคุณภาพสูงตลอด Lifecycle
เรามี 10 เทคนิค ที่จะช่วยให้ Resume ของคุณโดดเด่น โดยเก็บรวบรวมมาจากประสบการณ์ที่ทำงานในสาย Data และมีโอกาสช่วยนักเรียน DataTH กว่าร้อยคน ในการหางานครับ
ในบทความนี้ เราจะมาพูดถึงบริการด้าน Storage & Database หรือ บริการที่เก็บข้อมูล กันบ้างครับ ซึ่ง Google Cloud มีทั้งบริการที่เก็บไฟล์ (Object Storage / Data Lake) และบริการฐานข้อมูลกับคลังข้อมูล (Database, Data Warehouse)
แนะนำวิธีการสร้างระบบดึง API ด้วย Amazon web services ตั้งแต่เริ่มต้น ไปจนถึงแนะนำ service ใน aws ตั้งแต่ s3, lambda และ cloudwatch และ cloudformation
รีวิวการสอบ AWS Solution architect แบบฉบับเข้าใจง่าย ภายใน 2 สัปดาห์ พร้อมเนื้อหาสรุปที่ต้องทำความเข้าใจก่อนเริ่มสอบแบบละเอียด
Hadoop เครื่องมือประมวลผล Big Data ผ่านคอมพิวเตอร์หลายเครื่อง ประกอบไปด้วย 3 ส่วนหลัก HDFS, MapReduce และ YARN
การทำ Big Data Project ตั้งแต่ต้นจนจบนั้นเป็นอย่างไร ในทีมจะต้องมีใครบ้าง แต่ละคนมีหน้าที่อย่างไรบ้าง มาดูกัน
ETL และ ELT เป็นกระบวนการในการนำข้อมูลจากหลายแหล่ง มารวมกัน แปลงให้อยู่ในรูปแบบที่สอดคล้องกับปลายทางที่เราต้องการเก็ยข้อมูลเพื่อนำไปใช้ต่อ แตกต่างกันที่ลำดับการจัดการ
มารู้จักกับ 7 เทคโนโลยีที่ Data Engineer ต้องรู้จัก อ่านจบแล้วคุณจะสามารถเลือกเทคโนโลยีที่เหมาะกับงานได้ดีขึ้น และถ้าไม่รู้จักเทคโนโลยีไหน ก็มีแนะนำแหล่งเรียนต่อให้ตอนท้ายบทความ