การแนะนำ

ฉันทำงานในวันที่ บริษัท ที่เราเรียกใช้งานหลายชุดการประมวลผลนับล้านในแต่ละระเบียนของข้อมูลและความคิดของฉันได้รับเมื่อเร็ว ๆ นี้เกี่ยวกับทุกเครื่องที่นั่งแต่ละรอบและชั่วโมงทุกวันทำอะไรหลาย มันจะไม่ดีถ้าเราสามารถใช้เครื่องเหล่านั้นเพื่อหนุนการประมวลผลของระบบของเราหรือไม่ ในบทความนี้ชุดของผมจะพูดถึงประโยชน์ที่อาจเกิดขึ้นของการจ้างสำนักงาน ตาราง โดยใช้สภาพแวดล้อม virtualised

ใน ส่วนที่ 4 นี้เรามองว่าการใช้เครื่องมือเพื่อให้แน่ใจว่าเรากำลังใช้งานรุ่นล่าสุดของแหล่งข้อมูลและรหัสเพื่อให้ผลที่ได้รับอยู่เสมอทันสมัยให้กับธุรกิจข้อมูลล่าสุดและตรรกะ

การปรับใช้ก่อน

ก่อนปรับใช้ระบบตารางของคุณว่ามีสิ่งหนึ่งที่คุณทำและสิ่งหนึ่งที่อยู่คนเดียวเป็นมาตรฐานของระบบปัจจุบันของคุณ ไม่ว่าสิ่งที่คุณบอกเพื่อนร่วมงานเกี่ยวกับวิธีการทำงานพิเศษมากระบบของคุณจะทำอย่างไรถ้าคุณมีหมายเลขนี้เพื่อกลับขึ้นไปรับประกันของคุณจะไม่มีอะไร ดังนั้น

• กี่ระเบียนที่คุณสามารถดำเนินการใดในปัจจุบัน ต่อวัน? ชั่วโมงต่อ?
• นานเท่าไหร่โดยปกติจะใช้เวลาในการหันไปรอบ ๆ งาน?
• วิธีอื่น ๆ อีกมากมายคุณมีความจุ?

นอกจากนี้ยังมีข้อสงสัยเพิ่มเติม :

• ถ้าเซิร์ฟเวอร์ของการประมวลผลของคุณ (หรือเซิร์ฟเวอร์ของการประมวลผลของคุณ) ไปลงวิธีนี้จะส่งผลกระทบต่อความสามารถของคุณคุณจะได้รับง่อย?
• ประโยชน์อะไรที่คุณหวัง / คาดว่าจะได้รับจากระบบกริด?
• มีเครื่องที่ทำงานของคุณสามารถทำงานงานได้หรือไม่
• เป็นของคุณ (หรือคุณสามารถหางานได้รับการแปลง) ในการทำงานในรูปแบบของการทำงานนี้หรือไม่

จุดสำคัญสุดท้ายคือการใช้เวลาของคุณในเรื่องการเปลี่ยนแปลงที่สำคัญใด ๆ เช่นนี้ ปรับปรุงรหัสการประมวลผลของคุณให้ทำงานโดยใช้วิธีการใหม่อีกครั้งเกณฑ์มาตรฐาน เป็นไปได้ตั้งเซิร์ฟเวอร์การประมวลผลของคุณทำงานได้เสมือนเครื่องหลังจากที่เซิร์ฟเวอร์ประมวลผลทั้งหมดของคุณเพียงแค่จะได้รับคนงาน (เพียงหนึ่งที่มีประสิทธิภาพมากนัก) อีก อนุญาตให้ดำเนินการใหม่ในการชำระ

การปรับใช้

ข้อเสนอแนะของฉันจะป๊อปในสำนักงานหนึ่งวันหยุดสุดสัปดาห์ดำเนินการติดตั้งและการติดตั้งทั้งหมด ไม่เพียงแค่นี้ก่อนวันหยุดของปักษ์และออกจากรอยแตกที่ไม่ดีอื่น ๆ เพื่อที่จะจัดการกับผลที่ตามมา ... อาจจะไม่ ...

สำหรับการปรับใช้ระบบเช่นนี้จะต้องมีการชะลอตัว แม้ว่ามันเป็นความง่ายในการติดตั้งระบบนี้จะส่งผลกระทบต่อโครงสร้างพื้นฐานของสำนักงานทั้งหมด (ดีดิจิตอลหนึ่ง) ของคุณ ประการแรกแผ่ออกไปสองสามเครื่องในเวลาตรวจสอบการจราจรของเครือข่ายครอบครัวคนงานวิธีการดำเนินการบนพื้นฐานแบบวันต่อวัน คุณอาจจำเป็นต้องปรับเปลี่ยนการกำหนดค่างานของคุณในการตอบสนองต่อผลการศึกษาของคุณ

เมื่อระบบมีการตัดสินด้วยเครื่องจักรไม่กี่ (ช่วยให้พูด 10% ของเครื่องสำนักงาน, 5 IE) ให้ตรวจสอบข้อมูลบนเครือข่ายและโฮสต์เครื่องมาตรฐาน performance. ถัดไปอีกครั้งคุณควรจะประมวลผลงาน 33% มากกว่าเกณฑ์มาตรฐานครั้งแรกของคุณ เครื่องหมายนี้จะเป็นเช่นนั้นหรือว่าคุณจะอยู่ที่อย่างน้อยใน ballpark นี้ ถ้าไม่ได้ตรวจสอบสิ่งที่เกิดขึ้นก่อนที่จะย้าย ทำซ้ำรอบจนกว่าคุณอย่างมีความสุขได้ทุกเครื่องใช้สำนักงานโดยไม่ฆ่าประสิทธิภาพเครื่องบดบุคคลหรือเครือข่ายของคุณหยุดนิ่งนี้

ตลอดเวลาทำให้การเปรียบเทียบแม้หลังจากการใช้งานทั้งหมดจะทำ ตรวจสอบวิธีการปรับปรุงรหัสใหม่ส่งผลกระทบต่อความเร็วของระบบของคุณให้ตรวจสอบคนงานทั้งหมดจะถูกรายงานในและงานการประมวลผล ช้าๆ (ช้ามาก) เพิ่มการกำหนดค่างานของคุณที่จะได้รับสิ่งที่ดีที่สุดจากคนงานและเครือข่ายของคุณ

หยุด!

จะทำอย่างไรถ้าคุณต้องการหยุดการทำงานของคนงานบางครั้ง? พวกเขาจะออกทั้งหมดที่มีทำงาน regenerating, และพยายามอย่างดีที่สุดเพื่อประมวลผลข้อมูลเช่นแมลงหิว คำตอบอาจดูเหมือนชัดเจน แต่การเพิ่มมูลค่านั้นในกรณีที่มองข้าม เพียงแค่แก้ไขสคริปต์การประมวลผลของคุณมีทางออก (0) หรือตาย () หรือบางคำสั่งอื่น ๆ ที่จะฆ่างานการประมวลผลของคุณ เหตุผลสำคัญว่าทำไมเราพยายามที่จะปรับปรุงเพื่อการประมวลผลสคริปต์ก่อนที่จะดำเนินการใด ๆ ล่าสุด!

ระบบสาธิต

ในการเขียนชุดนี้ของบทความสั้น ๆ ที่ฉันสร้างตารางขนาดเล็กมากที่จะแสดงให้เห็นถึงเทคโนโลยีและวิธีการ ผมอ่านจำนวนมากบทความ, tutorials, และการใช้เครื่องมือต่างๆในการติดตั้งและตรวจสอบสิ่งที่เกิดขึ้น โดยไม่ได้หมายความว่าผมไปออกและอิ่มตัวสำนักงานทั้งมีการเข้าชมและไม่ได้ฉันมีการเข้าถึงพนักงาน PC ปกติสมาชิกเพื่อดูว่าประสิทธิภาพการทำงานให้บริการพื้นที่ได้รับผลกระทบ

ระบบการสาธิตของฉันถูกเจียมเนื้อเจียมตัวมากอย่างแน่นอน เดสก์ทอปปกติของฉันใช้ฉันจะตั้งค่าเป็นเซิร์ฟเวอร์การควบคุมงาน เมื่อวันนี้ฉันได้ติดตั้ง mySQL เซิร์ฟเวอร์ที่ติดตั้งตั้งค่าเป็นหลักในการทำซ้ำ, PHP , และ SVN เชื่อมโยงผ่านทาง Apache (สำหรับการเข้าถึงผ่านทางคนงาน VM)

ฉันแล้วสร้างเครื่องคนงาน Centos บน VirtualBox บน Windows เก่าปี 6 แล็ปท็อป XP ผมตั้งค่างานที่กำหนดเวลาตามที่กำหนดไว้หลังจากคัดลอก VM ไปยังเครื่องและปล่อยให้ไป

เสมือนเครื่องถูกจัดตั้งขึ้นโดย PHP, โค่นล้ม, และ MySQL ฉันจะตรวจสอบออกสาขาชื่อ'คนงาน'จากเซิร์ฟเวอร์ของการควบคุมงานของฉันพื้นที่เก็บข้อมูลและทำให้แน่ใจว่ามันจะได้รับการปรับปรุงโดยใช้'update SVN' ถัดไปติดตั้งผม mySQL เป็นทาสและตรวจสอบว่าข้อมูลถูกคัดลอกจาก MySQL บนเซิร์ฟเวอร์การควบคุมงานลงไปที่คนงาน V​​M หลังจากการติดตั้งสคริปต์ทุบตีฉันนี้และงาน cron

สคริปต์การประมวลผลโดยทั่วไปของฉันไปตามสายการนี​​้ (สิ่งที่ง่ายมาก) :

• อ่านข้อมูลในเขตข้อมูลชื่อ
• การนับจำนวนของชื่อที่คล้ายกันในตารางจากแหล่งข้อมูลเมื่อวันที่ VM
• การนับจำนวนของชื่อดังกล่าวข้างต้น แต่การแยกชื่อด้วยช่องว่าง (ชื่อฅัวคือกลางนามสกุล)
• ซ้ำขั้นตอนนี้ 1,000 ครั้ง

งานแต่ละงานใช้เวลาประมาณ 20 นาทีในการทำงาน จุดหนึ่งผมเปิดหลายชุดของ VM คนงานบนแล็ปท็อปของ Windows และดูงานที่มีการตรวจสอบออกจากกันของคนงานที่อยู่ IP ณ จุดนี้ผมยังได้รับการยืนยันการทำซ้ำที่เริ่มต้นใหม่โดยอัตโนมัติ

ออกจากแล็ปท็อปไปยังไม่ได้ใช้งานส่งผลให้คนงานเริ่มต้นในการประมวลผลงานจากเซิร์ฟเวอร์การควบคุมงาน เมื่อกลับมาทำงานการใช้งานแล็ปท็อปมีความล่าช้าประมาณ 30-60 วินาทีนี้ยุติธรรมจำนวนครั้งและพนักงานจะต้องมีการรับรู้ถึงว่าเครื่องของพวกเขาอาจจะหยุดชั่วคราวในระยะเมื่อกลับมาที่เครื่องเป็น เครื่องใหม่กว่านี้อาจไม่ได้หยุดยาวนี้ ประโยชน์ของจำนวนเงินของการประมวลผลโดยเครื่องเหล่านี้จะมากขึ้นในช่วงระยะเวลาไม่ได้ใช้งานที่เกินดุลที่พนักงานไม่ต้องรอถึงช่วงเวลาสั้น ๆ (พูด 1 นาที) เมื่อมาถึงที่เครื่องของพวกเขาในตอนเช้า (ฉันมักรออีกต่อไปที่นี้สำหรับ Windows Defender ปรับปรุงให้มีขึ้น) ให้พวกเขาได้ทำตระหนักถึงเรื่องนี้เวลาที่มีประโยชน์ (เพื่อคว้ากาแฟยามเช้า!)

โดยรวมผมรู้สึกมั่นใจว่าผมได้แสดงให้เห็นถึงเทคโนโลยีที่สามารถนำมาใช้เพื่อสร้างระบบ ฉันได้แสดงให้เห็นว่าระบบดังกล่าวจะทำงานในขนาดเล็ก (มาก) และมีบางส่วนเพิ่มเติมได้ถูกลดขนาดการทดลองขึ้นใช้ทรัพยากรของเครื่องสำนักงานของ ถ้าฉันไม่ได้รับไปยังจุดของการทำเช่นนี้ฉันจะมากสนใจที่จะทราบ / เห็นเมื่อมีบุคคลอื่นใด

สรุป / ประเมินผล

ขั้นตอนที่ชัดเจนต่อไปจะเป็นจริงได้ตัวอย่างเช่นโลกจริงและเริ่มต้นในการปรับใช้ระบบเช่นนี้อยู่ในสภาพแวดล้อมที่ทำงานและดูว่าเกิดอะไรขึ้น ถามทางธุรกิจในการกระทำนี้ได้โดยไม่ต้องเป็น บริษัท ที่โดดเด่นในการพิสูจน์ทางเทคโนโลยีและประสิทธิผลอาจเป็นเพียงเล็กน้อยยาก Grid / การคำนวณแบบกระจายเป็นที่นิยมมากเป็นวงกลมและมีบางโปรแกรมขนาดใหญ่บาง (BIONC, SETI @ Home, Folding @ Home, ฯลฯ ) ผมไม่ได้ แต่หาขนาดที่เล็กกว่าและระบบง่ายๆเช่นนี้ในการค้นหาของฉันที่สามารถรีดออกภายในสภาพแวดล้อมที่ทำงาน

ฉันสร้างระบบฟรีโดยทั่วไปการใช้ซอฟต์แวร์โอเพนซอร์สเป็นส่วนใหญ่และเครื่องมือที่มีอยู่ในเกือบทุกตำแหน่งใด ๆ เทคโนโลยีได้แสดงให้เห็นโดยทั่วไปและแสดงในการดำเนินการและได้ผลตามคาด หวังว่าฉันได้แสดงให้เห็นว่ามีงานไม่มากและมีการติดตั้งง่ายมากคุณสามารถปรับใช้สำนักงานตารางระบบคอมพิวเตอร์ที่มีประสิทธิภาพ, ราคาถูก, A และปรับขนาดได้ทั้งหมดในเวลาเดียวกัน

เมื่อระบบสามารถและทำงานที่นั่นเกือบจะไม่มีที่สิ้นสุดกับปริมาณของการปรับแต่งและการปรับปรุงคุณสามารถทำการ สำหรับสถิติ / ตัวอย่างการเปรียบเทียบได้ง่ายมีการเพิ่มการแสดงมูลค่าของระบบดังกล่าวทุกวัน เครื่องใหม่สามารถเพิ่มได้อย่างรวดเร็วและง่ายดายเช่นเดียวและเมื่อพวกเขามาถึงกับการอัพเกรดกับฮาร์ดแวร์ที่มีอยู่ bolstering พลังการประมวลผลของคุณ

ฉันหวังว่าคุณจะสนุกกับการอ่านชุดของบทความนี้และให้คุณในอาหารสำหรับความคิดในการใช้งานระบบกริดสำนักงาน โซลูชั่นที่นำเสนอนี้จะไม่จำเป็นต้องทำงานในทุกสถานการณ์ แต่ควรจะปรับตัวเพื่อให้คุณสามารถได้รับการประมวลผลข้อมูลของคุณทำได้โดยใช้การแก้ปัญหาของคุณเอง

ท่านสามารถส่งความคิดเห็นใด ๆ , การแก้ไขหรือปรับปรุงและฉันจะทำให้ดีที่สุดเพื่อให้การปรับปรุงเพื่อให้ตรงกับบทความนี้

3 ตอบไปที่"สำนักงาน Grid Computing ใช้เสมือนจริง -- 5 Part"

1. Evilprofessor.co.uk » Office Grid Computing ใช้เสมือนจริง -- ส่วนที่ 4 says :

   เสาร์ 5 ธันวาคม 2009 เวลา 01:20

   [...] ส่วนสุดท้ายของชุดนี้มีชื่อ aptly ส่วนที่ 5 เราจะหารือเกี่ยวกับการปรับใช้ระบบนี้ ฉันจะสรุปสิ่งที่ได้เรียนรู้และ [...]

   ตอบ
2. Roland Gorychka says :

   pm อังคารพฤษภาคม 2010 เวลา 01:18 18

   สวัสดีที่นั่นเพื่อนบทความ Great! ผมเหนื่อยของการใช้ RSS ฟีดและคุณใช้พูดเบาและรวดเร็วเพื่อให้สามารถทำตามที่คุณมี : D.
   PS : คุณพิจารณาใส่วิดีโอในบล็อกของคุณเพื่อให้ผู้อ่านสนุกมากขึ้นฉันคิดว่ามันทำงาน, Roland Gorychka.

   ตอบ
3. Steven Lloyd Watkin says :

   19 พฤษภาคม 2010 เวลา 09:03 พุธ

   ดู Twitter บนด้านขวามือของแต่ละหน้า ขอบคุณ!

   ตอบ