อเล็กซ์ มอร์แกน
วิศวกรข้อมูล
- อเล็กซ์.มอร์แกน@เอ็กแซมเพิล.คอม
- +1 555 0100
- Denver, CO
สรุปประวัติ
วิศวกรข้อมูลที่มีประสบการณ์ 6 ปีในการสร้างแพลตฟอร์มข้อมูลบนคลาวด์ให้ทีมซอฟต์แวร์ B2B และทีมวิเคราะห์ข้อมูลค้าปลีก มีความเชี่ยวชาญด้านการพัฒนาไปป์ไลน์ด้วย Python และ SQL การสร้างแบบจำลองข้อมูลเชิงมิติ และการจัดตารางเวิร์กโฟลว์ด้วย Airflow ปรับปรุงเวลารีเฟรชและความน่าเชื่อถือของข้อมูลด้วยการทำให้การตรวจสอบเป็นไปโดยอัตโนมัติและปรับแต่งเวิร์กโหลดบน Snowflake และ Spark
ประสบการณ์
วิศวกรข้อมูลระดับ II ที่ Summitline Data Works, Denver, CO (2022 – ปัจจุบัน)
- สร้างไปป์ไลน์ด้วย Python และ Spark สำหรับแหล่งข้อมูลค้าปลีก 14 แหล่ง ลดเวลารีเฟรชคลังข้อมูลรายวันจาก 5 ชั่วโมงเหลือ 2.5 ชั่วโมง
- สร้างแบบจำลองตารางวิเคราะห์ 22 ตารางใน Snowflake ด้วย dbt ทำให้ทีมการเงินและปฏิบัติการใช้คำจำกัดความเดียวกันในการจัดทำรายงานรายสัปดาห์
- เพิ่มการตรวจสอบความใหม่ของข้อมูลและค่าว่างใน Airflow สำหรับตารางสำคัญ 35 ตาราง ลดเหตุการณ์ปัญหาคุณภาพข้อมูลที่เกิดซ้ำจาก 12 เหลือ 7 ครั้งต่อไตรมาส
วิศวกรข้อมูลที่ Juniper Ridge Software, Boulder, CO (2020 – 2022)
- ทำให้การนำเข้าข้อมูลจากสตรีมเหตุการณ์ผลิตภัณฑ์ 8 รายการเป็นไปโดยอัตโนมัติด้วย Kafka และ Python ลดเวลาเตรียมข้อมูลด้วยตนเองได้ประมาณ 10 ชั่วโมงต่อสัปดาห์
- ปรับแต่งการแปลงข้อมูลด้วย SQL และการแบ่งพาร์ทิชันสำหรับชุดข้อมูลรายงาน 6 ชุด ลดเวลาเฉลี่ยในการประมวลผลคิวรีจาก 18 นาทีเหลือ 11 นาที
การศึกษา
วิทยาศาสตรบัณฑิต สาขาวิทยาการคอมพิวเตอร์ — Alpine Basin University, Fort Collins, CO (2019)
ทักษะ
- Python
- SQL
- Apache Spark
- Snowflake
- Apache Airflow
- Kafka
- dbt
- การพัฒนาไปป์ไลน์ ETL
- การสร้างแบบจำลองข้อมูลเชิงมิติ
- การทดสอบคุณภาพข้อมูล
- คลังข้อมูลบนคลาวด์
แพลตฟอร์มและเครื่องมือ
• Snowflake และคลังข้อมูลบนคลาวด์
• Apache Spark และ Kafka
• Apache Airflow และ dbt
โครงการที่คัดเลือก
• ปรับปรุงการนำเข้าข้อมูลเหตุการณ์ผลิตภัณฑ์ด้วยการประมวลผลแบบเพิ่มทีละส่วนและการตรวจสอบสคีมา
• บันทึกข้อมูลผู้รับผิดชอบแหล่งข้อมูลและข้อกำหนดด้านความใหม่ของข้อมูลสำหรับสตรีมเหตุการณ์ 8 รายการ