ความเห็น (2)

โดย สตีเว่นลอยด์ Watkin , วันศุกร์ 4 ธันวาคม 2009 11:59

การแนะนำ

ผมทำงานใน บริษัท ที่เราเรียกใช้งานชุดการประมวลผลหลายล้านระเบียนของข้อมูลในแต่ละวันและฉันได้รับเมื่อเร็ว ๆ นี้เกี่ยวกับการคิดทุกเครื่องที่นั่งรอบในแต่ละวันและทุกการทำอะไรเป็นเวลาหลายชั่วโมง มันจะไม่ดีถ้าเราสามารถใช้เครื่องที่เพื่อหนุนพลังการประมวลผลของระบบของเราหรือไม่ ในชุดของบทความนี้ฉันจะมองผลประโยชน์ที่อาจเกิดขึ้นจากการจ้างสำนักงาน กริด ใช้สภาพแวดล้อม virtualised

ใน ส่วนที่ 3 เราได้สร้างเครื่องประมวลผลของเราเสมือนและการตั้งค่าเครื่อง Windows จะกลายเป็นแรงงานไม่ได้ใช้งานตลอดเวลา

วิ่งรหัสล่าสุด

หลีกเลี่ยงไม่ได้หลังจากการสร้างตรรกะทางธุรกิจของคุณคนงานจะเปลี่ยนข้อบกพร่องจะพบรหัสที่รวดเร็วมีประสิทธิภาพมากขึ้นจะมีการผลิตจึงออกจากงานของคุณนั่งรอบการประมวลผลข้อมูลโดยใช้ รหัสที่ส่งกลิ่นเก่า . เราไม่มีวิธีการนั้นให้มั่นใจว่าเรากำลังจะใช้รุ่นล่าสุดและยิ่งใหญ่ที่สุดของสคริปต์ในการประมวลผลของเราหรือไม่

มีเพียงไม่กี่เรื่องง่ายมากที่วิธีง่ายๆที่เราสามารถทำเช่นนี้เคล็ดลับอย่างไรคือการลดกำลังการประมวลผลและการจราจรของเครือข่ายในการบรรลุนี้ ให้เริ่มต้นด้วยง่ายที่สุดของการแก้ปัญหาและปรับปรุงมันช้ากว่าคู่ซ้ำ

วิธีแรกจะเป็นเพียงแค่เชื่อมต่อกับเซิร์ฟเวอร์การควบคุมของเราสมัครงาน (ผ่าน Samba, FTP, หรือคล้ายกัน) และดึงลงรุ่นล่าสุดของรหัส ไม่มากอย่างมีประสิทธิภาพ แต่จะทำงาน ช่วยปรับปรุงในที่ค่อนข้างวิธีการเกี่ยวกับการสร้างสคริปต์ rsync และการใช้ว่าแต่ละครั้งที่แทน? หรือสิ่งที่เกี่ยวกับการวางสคริปต์ในการประมวลผลใหม่ล่าสุดของเราในการโค่นล้มการตรวจสอบจากรหัสในขั้นต้นแล้วเพียงแค่อัปเดตรหัสของเราที่ทำงาน (แต่ละ svn update )?

ในที่สุดเราอาจจบลงด้วยการทุบตีสคริปต์ (เรียกโดย cron ทุกๆ 10 นาที) ซึ่งมีลักษณะเรียบง่ายเช่นนี้:

  #! / bin / sh
 ถ้า PS ขวาน | grep-V grep | grep PHP > / dev / null
 แล้ว
     echo "งานอยู่ในขณะนี้การประมวลผลที่ออก"
 อื่น
     echo "งานไม่ทำงานเริ่มต้นตอนนี้"
     cd เส้นทาง / / to / ที่ทำงาน / สำเนา
     การปรับปรุง svn
     yourJobProcessingScript.php PHP
 สาย 

ตอนนี้เราสามารถมั่นใจได้ว่ามีการทำงานแต่ละที่เรากำลังทำงานอย่างแน่นอนรหัสล่าสุด เรากำลังสร้างความมั่นใจนี้โดยการปรับปรุงฐานรหัสของเราในแต่ละครั้งและทุกครั้งที่เราดำเนินการทำงานและลดการจราจรของเครือข่ายโดยเฉพาะการถ่ายโอนไฟล์ที่แตกต่างกันในเครือข่ายของเรา

ในการตั้งค่าการสาธิตของฉันที่ฉันไม่ตรงตามที่กล่าวข้างต้น การโค่นล้มถูกติดตั้งบนเซิร์ฟเวอร์ในการประมวลผลของฉันทำงานและฉันก็ดึงรหัสล่าสุดจาก 'คน' สาขาการใช้ 'svn update' ฉันยังเพิ่มแท็กจำนวนรุ่นที่จะใช้สคริปต์ในการประมวลผลของฉันที่ถูกส่งกลับไปยังฐานข้อมูลเป็นส่วนหนึ่งของผลตอบแทนจากผลการ วิธีนี้ฉันจะได้เห็นว่ารหัสของฉันคือการปรับปรุงทุกครั้งที่ผมคัดลอกลำของฉันเป็นเช่นสาขาของผู้ปฏิบัติงานแต่ละครั้งที่ฉันถูกแน่นอนใช้สคริปต์ในการประมวลผลใหม่ล่าสุด

การใช้ข้อมูลล่าสุด

หากการประมวลผลงานของคุณทำให้การใช้แหล่งข้อมูลจากนั้นในบางจุดเหล่านี้จะได้รับการปรับปรุงมากเกินไป ยกเว้นกรณีที่คุณเรียกข้อมูลของคุณแหล่งที่มาบนพื้นฐานบ่อยมากที่คุณกำลังจะท่วมเครือข่ายของคุณที่มีการจราจรทันทีที่คนงานของคุณเริ่มทำงานทุกอย่างที่นำไปหยุดนิ่ง สำหรับวิธีการแก้ปัญหาของฉันฉันตัดสินใจว่าฉันต้องการที่จะย้ายแหล่งที่มาข้อมูลของฉันรอบกับ VMs ของฉัน

ถือคุณม้ามี! เกิดอะไรขึ้นถ้าแหล่งข้อมูลของฉันมีขนาดใหญ่? อย่างนี้จริงๆเป็นกรณีที่เท่าใดข้อมูลที่เราพูดถึง? มันอาจจะเป็นค่าใช้จ่ายมีประสิทธิภาพมากขึ้นที่จะติดตั้งเพิ่มเติมฮาร์ดไดรฟ์ขนาดใหญ่เข้าไปในเครื่องแต่ละกว่าที่จะซื้อเซิร์ฟเวอร์ในการประมวลผลเพิ่มเติม นี่คือคำถามของงบประมาณและขึ้นอยู่กับการตัดสินใจทางธุรกิจ มันอาจจะเป็นแหล่งข้อมูลของคุณมีขนาดใหญ่เพื่อที่ว่ามันทำไม่ได้เพียงเพื่อให้จำนวนของข้อมูลที่อยู่ในเครื่องของผู้ปฏิบัติงานของคุณ ในกรณีที่สิ่งที่คุณจะทำอย่างไร ดีที่เราสามารถมองไปที่การเรียกข้อมูลเซิร์ฟเวอร์ในประเทศ แต่นี้อาจทำให้เกิดปัญหากับเครือข่าย ในกรณีนี้ระบบกริดเช่นนี้อาจกลายเป็นไม่สมจริงให้รวมอยู่ในสภาพแวดล้อมที่ทำงานของคุณ นอกจากนี้ยังอาจเป็นได้ว่าคุณสามารถมองเข้าไปในกลยุทธ์ทางเลือกที่ทำงานเช่นเดียวเรียกคนงานของคุณ 08:00-6:00 แต่ละคืนและ / หรือการควบคุมปริมาณข้อมูลที่ร้องขอมา

ย้ายที่ให้บอกข้อมูลจำนวนเงินของเราแหล่งที่มาเพื่อ 100GB ของข้อมูล ดีใช่ว่าไม่น้อยของข้อมูลที่จะย้ายไปรอบ ๆ เครือข่ายในการปรับปรุง วิธีที่เราจะให้แน่ใจว่าเรามีสำเนาล่าสุดของข้อมูลในกรณีนี้หรือไม่? Rsync ความเป็นไปได้ แต่ส่วนตัวผมคิดว่าโดยใช้แหล่งข้อมูลของคุณที่ต่างๆบนเซิร์ฟเวอร์ในการประมวลผลของงานและการตั้งค่านี้เป็นหลักในการจำลองแบบ (มีบันทึก bin ดีนาน) อาจจะมีวิธีที่จะไป:

โดยการตั้งค่าของแต่ละคนงานของคุณเป็นทาสเพื่อการควบคุมงานปรับปรุงเซิร์ฟเวอร์ไปยังแหล่งข้อมูลของคุณจะหยดลงอย่างสวยงามกับแรงงานของคุณโดยไม่เพิ่มขึ้นมากในกิจกรรมของเครือข่าย (นั่นคือถ้าคุณไม่ดำเนินการปรับปรุงข้อมูลมากและทุกคนงานของคุณเตะใน ในครั้งเดียว) นี้มีข้อดีมากกว่า rsync ในการที่คุณจะไม่ได้รับหยุดยาวก่อนที่จะสมัครงานในแต่ละขณะที่การปรับปรุงฐานข้อมูล MySQL daemon เมื่อคนงานของคุณอย่างต่อเนื่องจะปรับปรุงข้อมูลในขณะที่การประมวลผลอย่างต่อเนื่อง

นี่คือวิธีที่ผมตั้งค่าเซิร์ฟเวอร์สาธิตของฉัน เมื่อต้องการตั้งค่าการจำลองแบบผมทำตามคู่มือในเว็บไซต์ของ MySQL ( การตั้งค่าการจำลองแบบ ) และภายใน 20 นาทีฉันมีคนงาน inital ของฉันจำลองการควบคุมงานชุดเซิร์ฟเวอร์ สำหรับผู้ปฏิบัติงานเพิ่มเติมในแต่ละการตั้งค่าการจำลองแบบและกระบวนการทำงานในแต่ละครั้งเมื่อ VM ถูกคัดลอก

ข้อมูลอย่างย่อ

ในส่วนของบทความนี้เราได้มองที่วิธีการที่ง่ายและไม่เจ็บปวดก็คือการให้รหัสการประมวลผลของคุณให้ทันสมัย​​โดยusing rsync หรือ subverion (SVN) ในการทำงานและลดการจราจรในเครือข่ายที่time.Âเดียวกันเรายังกล่าวถึงวิธีการ ในการเก็บข้อมูลแหล่งที่มาของข้อมูล up-to-date โดยปล่อยให้มันหยดลงไปในแต่ละคนของคุณ ดังนั้นเรามั่นใจว่าพื้นที่ที่เราให้ทันกับตรรกะทางธุรกิจและข้อมูลในระบบกริดของเราที่สำนักงาน มีเห็นได้ชัดจะเป็นทางเลือกที่นับไม่ถ้วนที่จะดำเนินการงานเหล่านี้ แต่ที่นี่คือสองตัวอย่างง่ายที่จะแสดงวิธีที่ง่ายวิธีการแก้ปัญหาคือการมาโดย

ครั้งต่อไป

ในส่วนสุดท้ายของชุดนี้ชื่อ aptly ส่วนที่ 5 เราจะหารือเกี่ยวกับการปรับใช้ระบบนี้เพื่อ ผมจะสรุปสิ่งที่ได้รับการเรียนรู้และสิ่งที่ฉันจัดการเพื่อสร้าง