Data Mesh คืออะไรทำไมชาวดาต้าต้องรู้จัก [From DE Talk]



คุณปอ (Pongthep Vijite) แอดมินประจำกลุ่ม Data Engineer Thailand ร่วมกับอาจารย์อเล็กซ์ (Dr. Worapol Alex Pongpech) จาก Alex About Data และเป็นอาจารย์ประจำสาขาวิชาการจัดการวิเคราะห์ข้อมูลและเทคโนโลยีข้อมูล คณะสถิติประยุกต์ (MADT NIDA) ได้ร่วมกันจัดเสวนาขึ้นโดยมีชื่อว่า DE Talk ครั้งที่ 1 นับว่าเป็นจุดเริ่มต้นที่สำคัญของวงการ Data Engineer ที่ได้มีผู้เชี่ยวชาญมากประสบการณ์มาพูดคุยถึงประเด็นต่างที่น่าสนใจในแวดวงนี้ รวมถึงการแชร์ประสบการณ์การทำงานในสาขานี้โดยเฉพาะความท้าทายที่เหล่า Data Engineer ทั้งหน้าเก่าและหน้าใหม่ต้องเผชิญในการลงมือทำงานจริงในธุรกิจโดยเฉพาะธุรกิจในอุตสาหกรรมต่างๆของประเทศไทย

หัวข้อในครั้งแรกของ DE Talk คือ Data Mesh

DE Talk ครั้งที่ 1
DE Talk ครั้งที่ 1: Data Mesh

ในการเสวนาครั้งนี้ก่อนที่จะได้มีการอธิบายว่า Data Mesh คืออะไร ทั้งคุณปอและอาจารย์อเล็กซ์ได้มีการพูดถึงความสำคัญของการวาง Data Architecture ซึ่งเป็นเหมือนพื้นฐานสำคัญของธุรกิจหลากหลายแห่งที่พยายามขับเคลื่อนองค์กรด้วยการใช้ข้อมูลที่มีอยู่มากมาย เพื่อสร้างเป็นผลิตภัณฑ์ใหม่ให้กับผู้บริโภค หรือการพยามนำข้อมูลเหล่านั้นมาวิเคราะห์เพื่อการทำงานที่มีประสิทธิภาพมากขึ้นในหลากหลายแผนกเพื่อประหยัดทรัพยากรขององค์กรในหลากหลายมิติ

ดังนั้นการวางรากฐานที่เหมาะสมของโครงสร้างการจัดเก็บของข้อมูลที่สามารถรองรับกระแสข้อมูลที่เข้ามาได้เป็นสิ่งสำคัญอย่างยิ่ง จะช่วยให้การทำงานฝ่ายวิเคราะห์อย่าง Data Scientist, Data Analyst, หรือ Business Analyst สามารถไปใช้งานได้อย่างรวดเร็วและมีประสิทธิภาพ


Data is an asset การทำกำไรจากสินทรัพย์จึงเป็นหน้านี้ของธุรกิจ

Data Architecture อันแสนวุ่นวายยุ่งเหยิงในอดีต


ข้อมูลที่กระจัดกระจายตามแผนกต่างๆ เป็นปัญหาใหญ่ของบริษัททุกหนทุกแห่งที่ต้องพบเจอเมื่อต้องการเปลี่ยนแปลงทิศทางองค์กรไปสู่ Data-Driven Organization (องค์กรที่ขับเคลื่อนธุรกิจด้วยข้อมูล) มันทำให้โครงสร้างของข้อมูลหรือ Data Architecture ยุ่งเหยิงเหมือนกับทางเดินในห้างเซ็นทรัลเวิร์ลที่การเข้าไปแต่ละครั้งนั้นเหมือนเริ่มต้นทำงานใหม่อีกครั้ง เป็นปัญหาที่เหล่า Data Engineer ปวดหัวไปตามกันเมื่อต้องแก้ไขโครงสร้างอันซับซ้อนดั่งเขาวงกต


การแก้ไขปัญหานี้จึงเป็นสิ่งสำคัญที่ Data Engineer ควรเข้าใจและสามารถหาหนทางการแก้ไขปัญหาได้ตรงตามบริบทของธุรกิจ ตามทรัพยากรที่มีจำกัด เพื่อความสำเร็จตามเป้าหมายของธุรกิจ และหนึ่งในหลากหลายวิธีที่น่าสนใจที่สามารถช่วยแก้ไขปัญหานี้ได้คือ Data Mesh


Data Mesh คืออะไร


Data Mesh คือคอนเซปการวางโครงสร้างของข้อมูลที่จะช่วยให้การดูแลการจัดการข้อมูลนั้นมีประสิทธิภาพมากขึ้นโดยให้แต่ละแผนกหรือหน่วยธุรกิจมีความรับผิดชอบในข้อมูลของตัวเอง (Data Owner) เพราะคนที่จะเข้าใจข้อมูลดีที่สุดในแผนกก็คือคนในแผนก จากนั้นจะสามารถแบ่งปันข้อมูลระหว่างแผนกหรือหน่วยธุรกิจได้ง่ายดายและรวดเร็วมากขึ้น สุดท้ายการวางระเบียบการดูแลข้อมูล (Data Governance) ที่ช่วยควบคุมระเบียบและมาตรฐานของโครงสร้างข้อมูลในแต่ละส่วนให้เป็นไปในทิศทางเดียวกันนั้นเอง


เมื่อเทียบกันระหว่างโครงสร้าง Pre-Data Mesh และ Data Mesh จะเห็นได้ชัดเจนเลยว่าการวางโครงสร้างของข้อมูล (Data Architecture) นั้นในแบบแรกเน้นการดึงข้อมูลทุกอย่างมาอยู่ที่เดียวเป็นศูนย์กลาง (Centralized) และแบบที่สองนั้นเป็นการกระจายข้อมูลให้เป็นส่วนตามความดูแลของเจ้าของข้อมูล (De-centralized)


ทั้งนี้ทั้งนั้นทั้งสองแบบต่างก็มีข้อดีข้อเสีย ระหว่างการรวมความรับผิดชอบไว้ที่ Data Engineer เป็นผู้ดูแลโครงสร้างและกระแสข้อมูลของทั้งองค์กรหรือจะกระจายให้เป็นหน้าของ Data Owner ที่มีความรู้ความเข้าใจในข้อมูลของตนเองเป็นผู้จัดการดูแลโดยมีกฏระเบียบคุมให้ทุกส่วนมีขั้นตอนที่เป็นมาตรฐานในการจัดการเดียวกันทั้งองค์กร


Data Engineer Thailand - Data Talk
Pre-Data Mesh

Data Mesh
Data Mesh

ข้อเสนอแนะในการเริ่มทำ Data Mesh


การเริ่มทำ Data Mesh นั้นไม่ควรเริ่มทำทันทีทันใด การวางโครงสร้างแบบ Pre-Data Mesh จะช่วยให้ทุกภาคส่วนในองค์กรตระหนักถึงการใช้งานข้อมูลก่อนได้ นั้นหมายความว่าควรเริ่มต้นจากการวางโครงสร้างแบบมาอยู่ที่เดียวเป็นศูนย์กลาง (Centralized) ก่อนเพราะการเริ่มต้นวางโครงสร้างแบบ Data Mesh เลยนั้นมีความท้าทายอย่างมาก


ข้อควรระวัง! หากเป็นองค์กรเล็กอย่าพยายามมุ่งสู่ Data Mesh

ถ้าหากคิดจะเริ่มทำ Data Mesh แล้วควรอย่างยิ่งที่จะแบ่งย่อยให้เป็นส่วนเล็กๆ จัดสรรปันส่วนงบประมาณและเวลาให้พอเหมาะไปในแต่ละขั้นตอน และค่อยพัฒนาไปในแต่ละส่วนให้สมบูรณ์จะทำให้การวางโครงสร้างนั้นง่ายขึ้น และมีเวลาที่จะให้ผู้ใช้ข้อมูลจากหลากหลายแผนกได้เข้าใจถึงกระบวนการของข้อมูลมากขึ้นและเห็นเป้าหมายร่วมกัน


แม้ว่ามันจะเป็นสิ่งที่สร้างได้ยาก ประโยชน์สำหรับ Data Mesh ก็สามารถมาช่วยแก้ไขปัญหา Data Lake ที่กลายเป็น Data Swamp (ที่จัดเก็บกลายเป็นทั้งขยะ)


ข้อดีของการทำ Data Mesh


การจัดเก็บข้อมูลให้เป็นระบบด้วยการวางโครงสร้างที่ดีเป็นหน้าที่หลักของ Data Engineer การสร้างการจัดเก็บแบบเก็บทุกอย่างไว้ใน Data Lake เปรียบได้ดั่งกับการสร้างบ้านที่ไม่มีกำแพง ถ้าข้อมูลของแผนกต่างๆคือเฟอร์นิเจอร์ มันก็คือการเอาเตียง เอาเตา เอาชักโครก กองวางไว้กระจัดกระจายในบ้านหลังเดียวกัน ลองนึกภาพเมื่อที่เตาแก๊ชอยู่คนละมุมห้องกับถังแก๊ซและมีเตียงนอนขั้นตรงกลางไว้ แค่นึกแบบนี้การใช้ชีวิตในบ้านหลังนั้นก็ไม่น่าภิรมย์เลยซักนิดเดียว จะหาจะใช้อะไรก็วุ่นวาย เมื่อหาของบางอย่างไม่เจอก็จะถูกทิ้งกลายเป็นขยะเปลืองพื้นที่ภายในบ้านไปในที่สุด

เมื่อการสร้างบ้านมีกำแพงห้องนอนมีแต่เฟอร์นิเจอร์สำหรับห้องนอน ห้องครัวก็มีแต่อุปกรณ์ครัว จะทำให้การใช้สอยพื้นที่ได้มีประสิทธิภาพ กลับมาที่การจัดสรรการจัดเก็บข้อมูลให้เป็นสัดส่วนก็จะช่วยให้รู้ว่าข้อมูลที่จะใช้สอยในแต่ละแผนกแต่ละหน่วยธุรกิจใช้ได้อย่างมีประสิทธิภาพสูงสุด หากจะต้องการใช้ข้อมูลในส่วนอื่นๆเพื่อประกอบการวิเคราะห์ ก็สามารถเดินไปอีกห้องเพื่อนำข้อมูลส่วนอื่นมาประยุกต์ใช้


การทำความเข้าใจโครงสร้างข้อมูลเป็นหน้าที่ของใคร


เมื่อต่างฝ่ายต่างแผนกมีความเชี่ยวชาญที่แตกต่างกัน Data Engineer ก็จะฝึกฝนเพื่อให้เข้าใจการวางโครงสร้างข้อมูลและจัดการปัญหาทางเทคนิคต่างๆที่จะเกิดขึ้น และฝั่ง Business Unit มีหน้าที่ในการขับเคลื่อนธุรกิจด้วยการสร้างกำไรและลดต้นทุนเพื่อให้ธุรกิจดำเนินต่อไปได้ในอนาคต เมื่อทั้งสองฝ่ายต่างถูกฝึกมาให้มีเป้าหมายที่แตกต่างกันในธุรกิจ ภาษาที่แตกต่างกันในการทำงาน การทำงานก็จะต้องการความพยายามในการสื่อสารมากขึ้น ใช้เวลาในการสื่อสารมากขึ้น เพื่อให้การวางรากฐานสมบูรณ์แบบที่สุด


การทำความเข้าใจในบทบาทหน้าที่ของแต่ละคำแหน่งใน Data Ecosystem นั้นจึงเป็นสิ่งสำคัญจะให้ความสำคัญแค่ Data Scientist ในการสร้างอัลกอริทึ่มวิเคราะห์ข้อมูลอย่างเดียวก็ไม่ได้ จะให้ความสำคัญแค่ Data Analyst ในการวิเคราะห์ข้อมูลอย่างเดียวก็ไม่ได้ การที่มีบุคคลกรที่สามารถเข้าใจโครงสร้างการทำงานของข้อมูลและมีความเข้าใจในการใช้ข้อมูลเพื่อตอบโจทย์ธุรกิจจึงเป็นสิ่งสำคัญ


หากคุณกำลังคาดหวังให้วิศวกรที่ออกแบบบ้านรู้ว่าของใช้ของคุณอยู่ส่วนไหนของบ้าน เป็นเรื่องที่ผิดแปลกอย่างมาก เพราะหน้าที่ของวิศวกรคือการออกแบบบ้านให้แข็งแรงและระบบต่างๆในบ้านใช้งานได้อย่างปกติ คนที่ควรรู้ว่าของอะไรเก็บไว้ที่ไหนและใช้ของเหล่านั้นอย่างไรควรเป็นเจ้าของห้องหรือเจ้าของบ้าน


 

ดังนั้นหากคุณคนที่เป็นเจ้าของข้อมูลเป็นคนที่ใช้ข้อมูลแต่คุณไม่เข้าใจสิ่งเหล่านี้เลย อาจจะทำให้การขับเคลื่อนองค์กรไปสู่ยุคดิจิตัลเป็นไปได้ยาก การศึกษาหาความรู้ทางด้านนี้ต้องเข้าใจ Data Ecosystem ทั้งระบบเพื่อการเปลี่ยนถ่ายองค์กรสู่การเปลี่ยนแปลงให้ได้อย่างไม่มีสะดุด


หลักสูตรที่อาจารย์อเล็กซ์เป็นอาจารย์ประจำอยู่นั้นเป็นอีกหนึ่งทางเลือกที่น่าสนใจที่จะช่วยให้บุคลากรในภาคส่วนต่างๆเข้าใจภาพรวมของการจัดการข้อมูลรวมถึงเทคโนโลยีในการจัดการข้อมูลใหม่ๆ เพื่อรองรับการเปลี่ยนแปลงที่จะเกิดขึ้น สาขานั้นมีชื่อว่าการจัดการสาขาวิชาการจัดการวิเคราะห์ข้อมูลและเทคโนโลยีข้อมูล (Management of Analytics and Data Technologies: MADT NIDA)


สามารถดูหลักสูตรเพิ่มเติมได้ในเว็บไซต์ของคณะสถิติประยุกต์ หรือข้อมูลเพิ่มเติมจากเพจ MADT - Management of Analytics and Data Technologies


สำหรับใครที่ต้องการติดตามข่าวสารทางด้าน Data Engineering ก็สามารถเข้าไปร่วมกลุ่ม กลุ่ม Data Engineer Thailand ได้เพิ่มติดตามแวดวงความเคลื่อนไหวของเหล่า Data Engineer ในประเทศไทย และครั้งหน้า DE Talk จะเป็นประเด็นอะไร ใครจะมาร่วมเสวนาก็ติดตามได้ในกลุ่มเช่นกัน


อย่าลืมไปกดติดตามเพจ Devvertory ด้วยนะครับ
ดู 895 ครั้ง0 ความคิดเห็น