ความเห็น (1)

โดย สตีเว่นลอยด์ Watkin , วันศุกร์ 4 ธันวาคม 2009 11:23

การแนะนำ

ผมทำงานใน บริษัท ที่เราเรียกใช้งานชุดการประมวลผลหลายล้านระเบียนของข้อมูลในแต่ละวันและฉันได้รับเมื่อเร็ว ๆ นี้เกี่ยวกับการคิดทุกเครื่องที่นั่งรอบในแต่ละวันและทุกการทำอะไรเป็นเวลาหลายชั่วโมง มันจะไม่ดีถ้าเราสามารถใช้เครื่องที่เพื่อหนุนพลังการประมวลผลของระบบของเราหรือไม่ ในชุดของบทความนี้ฉันจะมองผลประโยชน์ที่อาจเกิดขึ้นจากการจ้างสำนักงาน กริด ใช้สภาพแวดล้อม virtualised

ในฐานะที่เป็น PHP นักพัฒนาที่ฉันจะใช้เครื่องมือที่ผมใช้ในแต่ละวันคือ Linux, mySQL , PHP, VirtualBox และโค่นล้ม (SVN) แต่ฉันหวังว่าคู่มือนี้จะปรับให้เข้ากับภาษาอื่น ๆ และเทคโนโลยีก็เช่นกัน

วิธีการแก้ปัญหาที่ผมให้จะขึ้นอยู่มากอย่างอิสระกับประเภทของการประมวลผลที่เราต้องการต้องเพื่อให้บรรลุอย่างไรก็ตามเรื่องนี้อาจไม่เป็นจริงผ่านบทความทั้งหมดที่ผมจะเปลี่ยนแปลงสิ่งเพื่อความง่ายในการผลิตหรือสถานการณ์การใช้งานน่าสนใจมากขึ้น

เหล่านี้สภาพแวดล้อม virtualised จะทำงานบนเครื่อง Windows ตั้งแต่นี้คือสิ่งที่คนส่วนใหญ่ของสำนักงานรัน การประมวลผลที่เครื่องใช้สำนักงานทำไม่ควรยุ่งเกี่ยวกับบุคลากรที่ใช้เครื่องเหล่านั้นควรจะต้องมีการบำรุงรักษาเครื่องที่ไม่มีและจะได้อย่างง่ายดาย deployable ไปยังเครื่องใหม่ที่พวกเขาเป็นใช้ได้ นอกจากนี้เสมือนเครื่องใหม่ไม่ควรต้องกำหนดค่าใด ๆ เพิ่มเติมเช่นนี้ช่วยลดความยืดหยุ่นและความสะดวกที่ระบบกริดสามารถขยาย

ตารางคอมพิวเตอร์สำนักงานจัดวางทำไม?

ประการแรกคุณอาจจะคิดว่าทำไมไม่ใช้เพียงทรัพยากรคอมพิวเตอร์เมฆเช่น แพลตฟอร์มของ Amazon EC2 ? ดีด้วยเหตุผลหลายประการที่อาจจะยกตัวอย่างเช่น:

• คุณจะไม่ได้มอบความไว้วางใจข้อมูลบางอย่างเพื่อสภาพแวดล้อมคอมพิวเตอร์เมฆ
• คุณไม่สามารถใส่ข้อมูลบางอย่างเข้าไปในระบบคอมพิวเตอร์เมฆด้วยเหตุผลทางกฎหมาย (เช่นข้อมูลออกจากประเทศ) ที่อาจเกิดขึ้นด้วยเหตุผลทางกฎหมายเช่นระเบียนพลุกพล่าน
• คุณต้องการให้หน่วยประมวลผลของคุณปิดและมีการควบคุมเต็มรูปแบบผ่านฮาร์ดแวร์มากเกินไป
• คุณไม่ได้รับเงินทุนโครงการที่จะเรียกใช้อินสแตนซ์เมฆ
• สำนักงานของคุณไม่ได้เชื่อมต่ออินเทอร์เน็ตและดังนั้นจึงไม่สามารถที่จะใช้ทรัพยากรเมฆ
• คุณไม่ชอบฝนเมฆฝนแนะนำให้ดังนั้นคุณให้ดีออกไป

ฉันแน่ใจว่ารายการสามารถดำเนินการต่อ แต่ผมคิดว่าพอสำหรับตอนนี้

ข้อดีของตารางคอมพิวเตอร์สำนักงาน

ดีจะช่วยให้ทำคณิตศาสตร์บางคน (และในรูปแบบฟิสิกส์ที่แท้จริงช่วยให้ทำให้สมมติฐานกวาดบางส่วน) ลองนึกภาพคุณมีเซิร์ฟเวอร์ในการประมวลผลขนาดใหญ่อ้วนทำงาน 100 งานต่อวัน ในที่ทำงานของคุณคุณมี 50 เครื่องซึ่งไม่ได้ใช้งาน 16 ชั่วโมงต่อวันของแต่ละเครื่องเหล่านี้คือ 10% เป็นพลังเป็นตัดการประมวลผลของคุณอ้วน (ผลทั้งหมดที่นี่จะถูกปัดเศษให้ประมาทเพิ่มประสิทธิภาพการทำงาน)

ดังนั้น 1 เครื่อง * ไฟ 10% * เวลา 2/3 = 0.067 การประมวลผลเช่นเดสก์ทอปที่ 1 ในเวลาว่างสามารถประมวลผลงานที่เต็มรูปแบบ 6 ต่อวัน

ถ้าคุณตอนนี้ระดับขึ้นนี้ใช้เวลา 15 เดสก์ท็ว่างในการประมวลผลงานเป็นจำนวนมากต่อวันเป็นเซิร์ฟเวอร์การประมวลผลหลักของคุณไม่

ดังนั้นในสำนักงานของเราในการหลอก 50 เครื่องเราสามารถเพิ่มพลังการประมวลผลของเราตั้งแต่วันที่ 1 เซิร์ฟเวอร์ได้สูงสุดถึง 4 เซิร์ฟเวอร์ในการประมวลผลเต็มรูปแบบหรือเราอาจจะประมวลผล 400 งานต่อวันแทน 100

แจ้งให้ทราบสำหรับการลงทุนในฮาร์ดแวร์ใหม่ยังไม่มี บริษัท ของคุณได้เพิ่มขึ้นเป็นเพียงแค่ความสามารถในการประมวลผลชุด 4 ครั้ง! ที่อาจเกิดการที่คุณกำลังจะเพิ่มการใช้พลังงานของคุณมากที่สุด แต่จากสภาพแวดล้อมที่สำนักงานผมเคยไปเครื่องที่เหลือโดยทั่วไปในชั่วข้ามคืนอยู่แล้วดังนั้นคุณอาจจะเห็นนี้เป็นความคิดริเริ่มสีเขียว

ข้อดีอื่น ๆ ยังหมายถึงการลงทุนว่าในใหม่ (หรือปรับปรุง) เซิร์ฟเวอร์ในการประมวลผลอาจล่าช้าถ้าเครื่องที่ทำงานของคุณมีเพียงพอและที่เป็นคุณในการปรับปรุงสมรรถนะของระบบที่ทำงานของคุณตารางสำนักงานของคุณจะกลายเป็นมีประสิทธิภาพยิ่งขึ้นโดยอัตโนมัติ

เทคโนโลยี

สิ่งที่คุณต้องการ? (หรือมากกว่าได้อย่างถูกต้องสิ่งที่ผมใช้):

• เครื่องใช้สำนักงาน Idle (ในกรณีของฉันอะไหล่เก่าแล็ปท็อป Windows XP)
• VirtualBox (หรืออื่นไคลเอ็นต์ซอฟต์แวร์ virtualisation)
• เครื่องเสมือนกับ PHP, MySQL runningÂทำงานตัดลง OS, ฉันโทรเหล่านี้เซิร์ฟเวอร์ปวกเปียกของฉัน :)
• เพื่อเรียกใช้งาน
• เซิร์ฟเวอร์งาน (สามารถควบคุมเครื่องเสมือนที่อื่น)

งานโดยทั่วไป

ประเภทของงานที่ระบบนี้ถูกออกแบบมาเพื่อใช้เป็นดังนี้:

• System ได้รับรายการของข้อมูลตามที่เราต้องการเพื่อให้ตรงกับและส่งกลับผลลัพธ์
• การจับคู่เกี่ยวข้องกับการตรวจสอบ / การค้นหาแหล่งข้อมูลหลาย ๆ (ที่ค่อนข้างคงที่)
• ผลการค้นหาจากแหล่งข้อมูลที่อาจต้องใช้การตรวจสอบเพิ่มเติมได้ที่ผสานการตรวจสอบจากแหล่งข้อมูลเพิ่มเติมในการตอบสนองต่อผลการ
• ข้อมูลจะถูกส่งกลับระเบียนที่ตรงกันกับ, การตรวจสอบและประมวลผลอย่างเต็มที่
• บันทึกภายในงานแต่ละเป็นอิสระจากส่วนที่เหลือ

ดังนั้นโดยทั่วไปเรากำลังมองหาที่ทำงานตำแหน่งงานที่ต้องการส่วนผสมของการค้นหาฐานข้อมูลและกระทืบหมายเลขบางสถานการณ์โดยทั่วไปเป็นธรรมในสภาพแวดล้อมทางธุรกิจ

โซลูชั่นกริดไม่เพียง แต่ได้เปรียบสำหรับการประมวลผลงานประเภทนี้ โดยทั่วไปกระบวนการซึ่งสามารถแบ่งออกเป็นหน่วยงานอิสระที่สามารถทำงานแบบขนาน ดูวิกิพีเดียนี้ไว้เพื่อเป็นตัวอย่างและข้อมูลเพิ่มเติมได้ที่: คอมพิวเตอร์ Grid แต่คู่ของตัวอย่างที่มีชื่อเสียงเป็น SETI @ Home และ BIONC . มีกรอบสำหรับการเรียกใช้กริดคอมพิว, และเหล่านี้มีมูลค่ารวมกำลังมองหาใน

สิ่งที่เราจะบรรลุ?

ในตอนท้ายของบทความเหล่านี้ผมหวังว่าจะแสดงให้เห็นว่าการปรับใช้กริดสำนักงานไม่จำเป็นต้องมีราคาแพงมหาศาลหรือใช้เวลานาน ฉันจะไปหารือ:

• การตั้งค่าระบบการควบคุมงานกำหนดค่าสมัครงาน
• การสร้างเครื่องประมวลผลที่เหมาะสมเสมือน
• วิธีการติดตั้งระบบบนเครื่อง windows
• ให้ความมั่นใจที่คุณกำลังใช้รหัสใหม่ล่าสุดและข้อมูล
• การปรับใช้และเปรียบเทียบ
• มองไปข้างหน้า

ฉันจะเป็นอาคาร (OK ฉันสร้างขึ้นแล้วเขียนนี้) โปรแกรมตัวอย่างเพื่อทดสอบแนวคิดในเครื่องท้องถิ่นโดยใช้ Windows XP และ 'GridMachine' เครื่องของฉันเสมือน เซิร์ฟเวอร์การควบคุมของฉันในงานจะมีเครื่องหลักของฉันที่ทำงาน Fedora 11 .

นี้จะในทางไม่ได้หมายถึงการแสดงให้เห็นถึงระบบที่แข็งแกร่งอย่างเต็มที่ทำงานหมายมากขึ้นจากการสาธิตและการอภิปรายแสดงให้เห็นว่าสิ่งเหล่านี้สามารถเกิดขึ้นได้ในพื้นที่สั้นเหตุผลของเวลาและค่าใช้จ่ายเล็ก ๆ น้อย ๆ กรุณาอย่าลังเลที่จะส่งความคิดเห็นใด ๆ ที่แก้ไขหรือปรับปรุงและฉันจะทำของฉันดีที่สุดเพื่อให้บทความมีการปรับปรุงเพื่อให้ตรงกับวันนี้

ครั้งต่อไป

ใน ส่วนที่ 2 ผมจะเริ่มต้นโดยดูที่ระบบการควบคุมงานและดูเป็นวิธีการที่งานควรจะกำหนดค่าเพื่อให้บรรลุจำนวนมากที่สุดของการประมวลผลในขณะที่มั่นใจว่างานแต่ละงานจะถูกประมวลผลโดยไม่ต้องล้มเหลว

ความเห็น (1)

โดย สตีเว่นลอยด์ Watkin , วันศุกร์ 4 ธันวาคม 2009 11:23

การแนะนำ

ผมทำงานใน บริษัท ที่เราเรียกใช้งานชุดการประมวลผลหลายล้านระเบียนของข้อมูลในแต่ละวันและฉันได้รับเมื่อเร็ว ๆ นี้เกี่ยวกับการคิดทุกเครื่องที่นั่งรอบในแต่ละวันและทุกการทำอะไรเป็นเวลาหลายชั่วโมง มันจะไม่ดีถ้าเราสามารถใช้เครื่องที่เพื่อหนุนพลังการประมวลผลของระบบของเราหรือไม่ ในชุดของบทความนี้ฉันจะมองผลประโยชน์ที่อาจเกิดขึ้นจากการจ้างสำนักงาน กริด ใช้สภาพแวดล้อม virtualised

ใน ส่วนที่ 1 ผมให้ภาพรวมของระบบและเทคโนโลยีที่ฉันจะใช้เช่นกันตามที่กล่าวไว้บางส่วนของเหตุผลที่มีศักยภาพว่าทำไมคุณต้องการที่จะสร้างตารางสำนักงาน

การควบคุมงาน

หากคุณกำลังจะใช้งานแล้วคุณจะต้องมีวิธีบางอย่างเพื่อจัดการกับพวกเขา ระบบการควบคุมงานของคุณ (บนเซิร์ฟเวอร์งานของคุณ) จะต้องคิดดีจริงๆที่ออกมาก่อนแม้กระทั่งความพยายามที่จะเรียกใช้ตารางสำนักงาน ดังนั้นประการแรกสิ่งที่งานสำหรับระบบการควบคุมงานดังนี้:

• มือออกงานเมื่อมีการร้องขอจากคนงาน
• บอกให้คนงานสิ่งที่ประเภทของงานที่จะเรียกใช้
• งานแทรค
• ตรวจสอบให้แน่ใจว่างานที่จะทำงานเพียงครั้งเดียว
• ให้ข้อมูลงานเพื่อคนงานหรืออย่างน้อยก็บอกพวกเขาที่จะได้รับมัน

นอกจากนี้ระบบยังจะต้องมีการขยายโซลูชั่นที่ทำงานสำหรับในตอนนี้ในกรณีเดียวอาจจะขยายเพื่อให้ทำงานได้หลายประเภทของงานที่เป็นธุรกิจที่มีมูลค่าการมองเห็นในการแก้ปัญหาตาราง ตัวอย่างเช่นงานอาจได้รับลำดับความสำคัญประเภทของงานมากกว่าหนึ่งอาจมีอยู่ (เช่นฐานรหัสหลาย) ในที่สุดคุณอาจจะใช้เครื่องของผู้ปฏิบัติงานแตกต่างกันหลายที่มีการปรับให้เหมาะสมกับประเภทของงานแต่ละคน (แต่ที่ไม่ย้ายออกจากคนงานทั่วไป " ความคิด) พยายามที่จะคิดเกี่ยวกับอนาคตเมื่อมีการพัฒนาระบบการมองเห็นระยะสั้นสามารถนำไปสู่​​ความยุ่งยากในระยะยาวและเวลาในการพัฒนาเพิ่มขึ้น

เซิร์ฟเวอร์งาน

เรากำลังจะต้องอยู่ที่ไหนสักแห่งในการควบคุมงานของเราจากนี้ควรจะเป็นระบบเดียวในตารางของคุณที่มี Resource Locator คงเป็นที่อยู่ IP, ชื่อโฮสต์ URL (ใช้ภายใน DNS) เป็นต้นทั้งนี้เป็นเพราะ คนงานจำเป็นต้องรู้ที่จะมองหางานหรือผู้ปฏิบัติงานจำเป็นต้องค้นหาระบบการควบคุมงาน (ไม่ระบบการควบคุมงานหาคนงาน)

เซิร์ฟเวอร์งานตัวเองไม่ได้จริงๆมีงานที่ซับซ้อน (ในระบบขั้นพื้นฐาน แต่อย่างใด) จะต้องจัดเก็บรายชื่อของงาน, มือออกงานได้รับผลและต่อมาเก็บไว้เพื่อเรียกใช้ในภายหลัง วิธีการชิ้นส่วนเหล่านี้ ('มือออกงาน' เช่น) มีการกำหนดสามารถเป็นพื้นฐานมาก ต่อมาเมื่อเราสามารถขยายระบบอินเตอร์เฟซที่จะรวมการบริหารงานเพื่อเพิ่ม, แก้ไข, ลบ, ระงับการงาน แต่นี้อยู่นอกเหนือการออกกำลังกายนี้

มีเหตุผลใด ๆ ก็ตามแล้วว่าเซิร์ฟเวอร์งานของคุณไม่สามารถทำงานเสมือนเครื่องภายในเซิร์ฟเวอร์ในการประมวลผลหลักที่ให้คุณไม่ได้ระบายทรัพยากรมากเกินไปจากมันคือ เซิร์ฟเวอร์งาน แต่ไม่จำเป็นต้องมีประสิทธิภาพที่สูงถ้าจะไปลงบนเย็นวันศุกร์ที่คุณกำลังจะสูญเสียทั้งวันหยุดสุดสัปดาห์ของการประมวลผลที่อาจต้นทุนคุณคู่ของสัปดาห์ที่ผ่านมามูลค่าของเวลาการประมวลผล (เมื่อเทียบกับเซิร์ฟเวอร์ในการประมวลผลหลักเพียงอย่างเดียวของคุณ) . คุณอาจต้องการพิจารณาวางเซิร์ฟเวอร์งานของคุณในสภาพแวดล้อมที่สมดุลโหลดสำหรับความพร้อมสูง

การติดตั้งขั้นพื้นฐาน

การตั้งค่าพื้นฐานสำหรับเซิร์ฟเวอร์งานของเราจะประกอบด้วยสิ่งที่ฉันเรียกอย่างใดอย่างหนึ่งของเซิร์ฟเวอร์ปวกเปียกของฉัน (ที่เป็น nux Li, ม. ySql, P HP) รหัสที่ใช้ในงาน Thea จริงจะทำงานออกมาว่างานที่จะสามารถทำงานโดยการติดต่อกับฐานข้อมูลที่มีงานระบบการควบคุม ต่อมาเมื่อเราสามารถสร้างบริการเว็บและมือจริงออกงานมากกว่าที่มีคนงานจะทำงานหนักของตัวเอง แต่ตอนนี้เราจะยังคงใช้ หลักการ KISS (Keep มัน Simple, Stupid!)

ดังนั้นจะช่วยให้สร้างสาม mySQL ตารางที่จะจัดการกับงาน เหล่านี้จะเป็นงาน ``, `` jobRecords และ jobResults `

ที่นี่ผมใช้ SQL บัดดี้ ทางเลือกน้อยมากที่จะ phpMyAdmin เพียงเพราะมันง่ายต่อการติดตั้งบน CentOS (สำหรับคนอื่น ๆ ดูที่: 10 ทางเลือกที่ดีในการ phpMyAdmin )

ตารางนี้จะประกอบด้วย 5 ฟิลด์ง่าย

• ID: ระบุตัวตนของงาน
• ชื่อ: สามารถเป็นลูกค้าอ้างอิงหรือหมายเลขของตัวระบุอื่น ๆ
• สถานะ: คุณจำเป็นต้องรู้ว่างานเป็นที่เช่น
  • 0: ยังไม่ได้เริ่มต้น
  • 1: ที่เลือกขึ้น
  • 2: สำเร็จแล้ว
• started_by: ใครเริ่มทำงานหรือไม่ นี้ไม่จำเป็นอย่างสิ้นเชิง แต่ดีที่มี ผมขอแนะนำให้คนงานติดตามตามที่อยู่ IP ของพวกเขาในเครือข่ายของคุณ
• started_at: เมื่อไหร่ที่คนงานเริ่มงานหรือไม่ โดยการติดตามงานที่ยังไม่ได้เสร็จสิ้นภายในจำนวนครั้งที่เรารู้ว่าเราต้องไปรับงานอีกครั้งและเริ่มต้นการประมวลผลโดยผู้ปฏิบัติงานอื่น คนงานสามารถหยุดการประมวลผล / go ครับสำหรับจำนวนเหตุผลใด ๆ , ไฟดับ, ความผิดพลาดของการสูญเสียเครือข่ายอื่น ๆ

มันเป็นวิธีง่ายตารางนี้อาจจะขยายสาขาเพิ่มอีกไม่กี่เพื่อให้สามารถติดตามสถิติคอลัมน์เวลาเสร็จสิ้นเพื่อดูว่านานเอางานเคาน์เตอร์เพื่อดูจำนวนคนงานที่หยิบขึ้นมาสมัครงาน (ชัดตอบสนองความต้องการนี​​้มีแนวโน้มที่จะ 1), ลำดับความสำคัญงาน, รายชื่อสามารถไปบนและบน ในสถานการณ์ที่ซับซ้อนมากขึ้นงานก็จะเป็นไปได้ที่จะระบุว่าหน่วยความจำของผู้ปฏิบัติงานจะต้องสามารถเข้าถึง (และมีเพียง แต่ใช้แรงงานที่เหมาะสม) หรือแม้กระทั่งสิ่งที่ประเภทของผู้ปฏิบัติงานจะต้อง

ช่วยเพิ่มตำแหน่งงานตัวอย่างไม่กี่:

ตารางต่อไปอีกครั้งจะค่อนข้างง่ายที่จะเข้าใจเหล่านี้บันทึกงานของเรา พวกเขาจะเชื่อมโยงกับตารางงานหลักตามคอลัมน์ `jobs_id` ทำขึ้นจากตารางนี้มากขึ้นอยู่กับข้อมูลที่คุณจำเป็นต้องจ่ายให้กับคนงานของคุณจะช่วยให้ทำตัวอย่างง่ายๆที่เรามีสี่คอลัมน์:

• ID: ID ของระเบียน
• ชื่อ: ชื่อของบุคคล
• ที่อยู่: ที่อยู่ของบุคคล
• jobs_id: รหัสงานที่บันทึกนี้จะเชื่อมโยงกับ

ตารางที่สามและครั้งสุดท้ายประกอบด้วยตารางผลก็มีมากเหมือนกันทำขึ้นเป็นตารางบันทึกของเราและมีการเพิ่มของบางคอลัมน์อาจจะเป็นส่วนหนึ่งของตารางบันทึก:

• job_record_id: Link ผลกับตารางงาน
• ผล: ข้อมูลผลการ

... และนั่นคือทั้งหมดที่คุณต้องการสำหรับการควบคุมงาน! (แม้จะอยู่ในระดับขั้นพื้นฐานมาก) ในกรณีของฉันฉันชี้ไปยังตารางที่มีข้อมูลของฉันไปที่ขั้นตอนการตั้งอยู่อีก แต่นี้อาจเคยได้อย่างง่ายดายเพียงไฟล์พารามิเตอร์ที่จะใช้รหัสจำลองคุณชื่อมัน

การเลือกงาน

ตามที่ระบุไว้ก่อนหน้านี้คนงานจะดำเนินการจัดการงานของเราสำหรับเราในขณะนี้ดังนั้นเราต้องทำจริงๆคือการหางานที่ต้องการการประมวลผลและได้รับข้อมูล วิธีที่เราจะทำเช่นนี้? ดีเลือกเกณฑ์การเลือกงานของเราและมองหางานใน SQL ที่ฉันได้ดังต่อไปนี้:

1. ใช้งานใด ๆ ที่ไม่ได้ทำเครื่องหมายว่าเ​​สร็จสมบูรณ์ แต่จากคนงานของเราและตั้งพวกเขา (แทน ME__ __ กับตัวระบุที่ง่ายที่สุดที่จะเป็นที่อยู่ IP):

     UPDATE `ตำแหน่งงานที่ SET` สถานะ `= 0 WHERE` สถานะ `= 1 และ` started_by `= __ ME__; 

2. โดยใช้เก​​ณฑ์การเลือกงานของเราให้เลือกสมัครงานและบอกระบบการควบคุมที่ผู้ปฏิบัติงานนี้คือการจัดการกับมันได้

     UPDATE `ตำแหน่งงานที่ SET` สถานะ `= 1,` started_by `= __ ME__,` started_at `= NOW () WHERE` สถานะ `= 0 หรือ
    (`สถานะ` = 1 และ `started_at`> DATE_SUB (NOW (), INTERVAL HOUR X)) ORDER BY `id` ASC; 

   โดยงานโลภที่ยังไม่ได้ส่งกลับผลลัพธ์ในจำนวนครั้งที่เรามั่นใจว่างานทั้งหมดจะถูกเรียกใช้ในกรณีที่คนงานทำงานล้มเหลวหรือไป AWOL

3. ไปคว้ารายละเอียดตำแหน่งงานตามระเบียนของตัวเอง:

     SELECT * FROM `` WHERE งาน `started_by` = __ LIMIT ME__ 1;
    SELECT * FROM `` WHERE job_records `id` = __ JOBID__; 

เมื่อเสร็จสิ้นการสมัครงานเราแทรกระเบียนผลของเราและทำเครื่องหมายงานว่าเสร็จสมบูรณ์ จำเอาไว้เป็นงานที่สามารถระงับ / เวลาใดก็ได้อนุญาตให้มีการทนทานในสคริปต์ของคุณบาง มันอาจจะมีที่งาน suspends ครึ่งทางผ่านการปรับปรุงระบบการควบคุมงานเพื่อให้ตรวจสอบจำนวนของระเบียนในงานและจำนวนของผลลัพธ์ที่บันทึกไว้กลับไปที่ระบบการควบคุมงานจะเป็นไปอย่างชาญฉลาด

นอกจากนี้ในขณะนี้แสดงให้เห็นว่างานที่สามารถเลือกและการจัดการจากกรอบ SQL-แบบสอบถามที่คุณควรจริงๆจะ สรุป การควบคุมงานของคุณเพื่อที่ว่าถ้าคุณตัดสินใจที่จะเปลี่ยนไปใช้บริการเว็บ, ระบบไฟล์ที่ใช้ XML , หรืออื่น ๆ จำนวนของระบบจะไม่ส่งผลกระทบต่อรหัสข้างต้นมัน

การกำหนดค่าสมัครงาน

ด้านต่อไปที่จะต้องพิจารณาคือขนาดของงานและการกำหนดค่า โดยการเล่นกับการกำหนดค่าสมัครงานที่เราจะสามารถหยุดความสมดุลที่ดีระหว่างความเร็วจำลองกระบวนการและความน่าเชื่อถือ ใช้สถานการณ์ OFA คู่:

1. งานใช้เวลา 1 วันในแต่ละที่จะเรียกใช้: นี่หมายความว่าคนงานของคุณต้อง 15 วันในการประมวลผลแต่ละงาน (จำ 10% ของพลังงานสำหรับ 2/3rds ของเวลา) นี้ไม่ชัดเจนการกำหนดค่าที่ฉลาดขนาดงานของคุณเป็นวิธีที่มีขนาดใหญ่เกินไป! มันจะใช้เวลาอย่างน้อยสองครั้งเวลาที่จะได้งานประมวลผลของผู้ปฏิบัติงานที่เริ่มต้นควรจะไป AWOL (เวลาที่จะรับว่ามันไม่ได้กลับผลบวกกับเวลา reprocessing) ในอุดมคติของคุณจะมีอย่างน้อยหนึ่งงานเต็มล้างได้อย่างง่ายดายโดยสิ้นสุดระยะเวลาการใช้งานในแต่ละระยะยาวที่ทางคุณเก็บตำแหน่งงานฟ้องมากกว่าและที่เลวร้ายที่สุดกรณีที่สมัครงานจะใช้เวลาสองวันในการขั้นตอนแรกควรจะไปที่ขาดหายไป
2. งานใช้เวลา 1 นาทีในการทำงาน: นี่หมายความว่าคนงานของคุณใช้เวลาประมาณ 15 นาทีในการทำงานแต่ละงาน ขณะนี้เริ่มอาจดูเหมือนอุดมคติที่คุณได้รับการประมวลผลการทำงานเพิ่มเติมในช่วงเวลาอาหารกลางวันอาหารว่างการประชุม ฯลฯ สถานการณ์นี้จะทำให้ความเครียดในพื้นที่อื่น ๆ ของระบบของคุณและนำเสนอปัญหาของตัวเอง ตัวอย่างเช่นตอนแรกมีอัตราส่วนการตั้งค่าเวลาของคุณ / การประมวลผลจะไปทางขวาลงดังนั้นการสูญเสียประสิทธิภาพของระบบ เครือข่ายของคุณเป็นไปได้ข้อมูลสตรีมมิ่งงานอย่างต่อเนื่องไปยังเจ้าหน้าที่ผู้ปฏิบัติงานต่างๆที่น่าผิดหวังที่เป็น dong วันของพวกเขาทำงานวัน คุณยังจะวางสายพันธุ์เพิ่มเติมเกี่ยวกับเซิร์ฟเวอร์ในการประมวลผลงานของคุณเป็นมันมีจานออกจำนวนมากและจำนวนชิ้นเล็ก ๆ ของการทำงานเป็นประจำ สุดท้ายในสถานการณ์เช่นนี้หากเซิร์ฟเวอร์สมัครงานของคุณไปลงที่คุณกำลังจะสร้างกลับเข้าสู่ระบบใหญ่ของการทำงานไม่เสร็จสมบูรณ์ในขณะที่งานใหญ่ได้จากการประมวลผลอย่างต่อเนื่องไม่รู้ว่าเซิร์ฟเวอร์สุขสันต์งานได้ประสบปัญหา

ในความเป็นจริงจะไม่มีการกำหนดค่าที่เหมาะสำหรับการตั้งค่าอย่างใดอย่างหนึ่งตารางของคุณมากขึ้นอยู่กับทรัพยากรที่มีประเภทของงาน, งานที่ต้องการเวลาตอบสนองความสามารถของเครือข่ายและอื่น ๆ อย่างไรก็ตามแนวทางที่จะเป็น:

• งานขนาดเพื่อให้ผู้ปฏิบัติงานแต่ละคนจะสามารถรับผ่านงาน 3-4 อย่างน้อยก็ในช่วง 15 ชั่​​วโมง (ที่ยาวที่สุดในช่วงเวลาที่จะได้ใช้งาน)
• เล่นกับขนาดของงานเพื่อให้เวลาการติดตั้งที่เป็นนัยสำคัญอย่างเป็นธรรมเมื่อเทียบกับระยะเวลาในการประมวลผล (คำนึงถึงจุดด้านบน)
• ถ้างานไม่เสร็จสมบูรณ์ในจำนวนสองเท่าของเวลาที่ (อาจจะน้อยกว่า) ที่คุณคาดหวังที่จะทำให้เสร็จคิดว่า AWOL ไปของมันและเริ่มต้นการประมวลผลแล้วกับคนงานอื่น ซึ่งหมายความว่าคุณอาจต้องรอถึงสามครั้งความยาวปกติของงานมันจะเสร็จสมบูรณ์ (อาจจะนานกว่านั้นหากงานที่ตามมาล้มเหลว) คุณอาจต้องการลดเวลานี้ แต่ระวังไม่ให้ลดมันมากเกินไปในขณะที่คุณอาจเริ่มต้นการทำซ้ำงานการประมวลผลอย่างสม่ำเสมอ
• งานควรจะเป็นอิสระจากความต้องการภายนอกให้มากที่สุด เซิร์ฟเวอร์งานเช่นควรได้รับการติดต่อในช่วงเริ่มต้นและจุดสิ้นสุดของงานทุก
• ไม่เปียกโชกเครือข่ายของคุณนี้จะมีสองผลกระทบเชิงลบ, พนักงานกลางวันของคุณจะพบการใช้เครือข่ายทำลายและปัญหาที่เกิดขึ้นอาจจะมีประสบการณ์กับการเชื่อมต่อระยะเวลาออกปัญหาที่จะได้รับที่เลวร้ายยิ่งในขณะที่คุณปรับขนาดตารางของคุณ
• งานตรวจสอบให้แน่ใจสามารถทำงานบนงานของคุณ ถ้างานที่เป็นหน่วยความจำมากเกินไปงานหนักหรือพื้นที่ว่างดิสก์ที่เข้มข้นจะเริ่มยกเลิกและสิ่งเดียวที่คุณจะสังเกตเห็นเป็นแบบเลื่อนในจำนวนของงานประมวลผลด้วยเหตุผลที่แท้จริงว่าทำไม

ผลการค้นหาจากการส่งงาน

เมื่อส่งผลของงานเป็นสิ่งสำคัญเพื่อตรวจสอบว่าผลลัพธ์ที่ยังไม่ได้รับการแสดงความคิดเห็นของผู้ปฏิบัติงานอื่นโดยเฉพาะหากผู้ปฏิบัติงานในปัจจุบันได้รับอยู่เฉยๆบางครั้ง

เมื่อผลการแสดงความคิดเห็นให้แน่ใจว่าจำนวนของผลลัพธ์ที่ตรงกับจำนวนของระเบียนภายในงาน

ตามที่ระบุไว้ก่อนหน้านี้และไม่สามารถไปเน้นการสร้างความอดทนความผิดในการดึงงานและการส่งผล คนงานสามารถ (และมักจะ) เข้าสู่โหมด suspend ที่ส่วนใหญ่ไม่สะดวกครั้งนี้และจะต้องมีการรองรับสำหรับ นอกจากนี้อีกครั้งหนึ่งสรุปผลลัพธ์ของคุณออกไปจะช่วยส่งให้ความสำคัญสำหรับการเปลี่ยนแปลงในอนาคตที่จะมีระบบการควบคุมงานของคุณง่ายขึ้นมากที่จะจัดการกับ

ข้อมูลอย่างย่อ

ในsectionÂนี้เราได้มองที่สิ่งที่เซิร์ฟเวอร์ควบคุมงานต้องทำและวิธีการที่จะได้รับระบบพื้นฐานมากขึ้น เราจะกล่าวถึงวิธีการดึงงานจากระบบการควบคุมและวิธีการที่ดีที่สุดในการกำหนดค่างานที่จะได้รับส่วนใหญ่ของเราของระบบกริดของสำนักงาน จนจบวรรคหนึ่งหรือสองเกี่ยวกับการส่งผลกลับไปยังเซิร์ฟเวอร์การควบคุมงานได้นำเสนอ

• เซิร์ฟเวอร์ควบคุมงานบริหารงานและทำให้มั่นใจว่าทุกหน่วยงานจะเสร็จสมบูรณ์
• โดยการสรุปงานของคุณส่งผลให้เลือก / เราสามารถเปลี่ยนเทคโนโลยีของเซิร์ฟเวอร์ควบคุมได้โดยไม่มีปัญหามาก
• การกำหนดค่าการงานของคุณเพื่อให้แน่ใจว่าพวกเขาจะทำงานได้อย่างรวดเร็วและมีประสิทธิภาพโดยไม่ต้องใส่ความดันมากเกินไปในโครงสร้างพื้นฐานเครือข่ายของคุณและไม่ซ้ำงานการประมวลผลอย่างสม่ำเสมอ
• ตรวจสอบให้แน่ใจว่าคุณได้สร้างความผิดพลาดและข้อผิดพลาดcheckingÂเป็นประจำของคุณหรือผู้ปฏิบัติงานสามารถระงับและดำเนินการและส่วนใหญ่ไม่สะดวกครั้ง อย่าลืมตรวจสอบว่าผลที่ได้รับอยู่แล้วการแสดงความคิดเห็นของผู้ปฏิบัติงานอื่น

ครั้งต่อไป

ใน ส่วนที่ 3 เราจะสร้างเครื่องประมวลผลของเราเสมือนและการตั้งค่าเครื่อง Windows ของเราที่จะกลายเป็นแรงงานไม่ได้ใช้งานตลอดเวลา

ความเห็น (3)

โดย สตีเว่นลอยด์ Watkin , เสาร์ 28 พฤศจิกายน 2009 22:42

นายจ้างของฉันจ่ายเมื่อเร็ว ๆ นี้สำหรับกลุ่มของนักพัฒนาเราจะใช้ Zend Framework: ความรู้พื้นฐาน การเรียนที่นี่ผมจะสรุปความคิดและความคิดเห็นของฉันเกี่ยวกับหลักสูตรสำหรับคนอื่น ๆ สำหรับผู้ที่ต้องการประหยัดเวลาที่นี่เป็นบทสรุปของฉัน:

สำหรับนักพัฒนาที่ไม่ได้มีเวลาไปดูที่ Zend Framework หลักสูตรนี้ (Zend Framework: พื้นฐาน) เสนอภาพรวมที่ดีของกรอบการแนะนำให้คุณไปยังพื้นที่ที่สำคัญและให้ข้อมูลที่เพียงพอเพื่อที่จะดำเนิน สำหรับผู้ที่ได้ใช้เวลามองที่กรอบและได้ปฏิบัติตามอย่างใดอย่างหนึ่งหรือทั้งสองหลักสูตรนี้สอนไม่ให้มากเกิน

พื้นหลัง

ผมเคย PHP พัฒนาประมาณ 5-6 ปีและได้เริ่มต้นทำงานกับกรอบ Zend บนพื้นฐานองค์ประกอบมากกว่า 6 เดือน ผมได้พัฒนาและ / หรือรับการพัฒนาเกี่ยวกับคู่ของขนาดเล็ก Zend Framework MVC sites.Âฉันจะซื่อสัตย์ฉันไม่ได้มีจำนวนมากของการสัมผัสกับกรอบอื่น ๆ จากจุดที่การเขียนโปรแกรมในมุมมองของ แต่มีการใช้จ่ายหลาย ชั่วโมงการวิจัยเว็บไซต์ของโครงการและประเมินผลการthem.Âกรอบและชุมชนโดยรอบ Zend Framework เป็นที่น่าตื่นเต้นมากและดูเหมือนจะมีความเป็นไปได้อย่างมากในการที่จะไปของมัน

เกี่ยวกับหลักสูตร

แน่นอนจะถูกส่งมากกว่าสองช่วง 9 WebEx ชั่วโมง (ที่มีการแบ่งเวลา 10 นาทีในกลาง) เวลาที่ใช้จะผ่านชุดของภาพนิ่งที่ให้ไว้โดย Zend กับการสนทนาในเวลาใดก็ได้ คุณสามารถใช้ไมโครโฟนเพื่อพูดคุยกับอาจารย์ผู้สอน แต่เพื่อซื่อสัตย์ฉันไม่เห็นอะไรที่ใช้คนมากกว่าหน้าต่างแชท นอกจากนี้เครื่อง VMware อูบุนตูมีให้ที่มีรหัสตัวอย่างและโครงการติดตั้งรุ่นทดลองของ Zend Studio พูดถึงผู้นำหลักสูตรการเข้าร่วมประชุมอย่างใดอย่างหนึ่งมากกว่าโซลูชั่นที่ครบวงจร VoIP หรือคุณสามารถโทรออกในการใช้อย่างใดอย่างหนึ่งตรงทั่วโลกจำนวนมากในตัวเลข

ระหว่างวัสดุที่ประกอบด้วยภาพรวมคร่าวๆของกรอบและรูปแบบ MVC ก่อนที่จะมุ่งหน้าไปสู่​​ตัวอย่างโปรแกรมสมุดเยี่ยมชม การอภิปรายแสดงให้เห็นถึงบูตสแตรป, Zend_Application ตาราง Db, การเข้าถึงฐานข้อมูล, รูปแบบ, กรอง, ACL, ตรวจสอบความถูก ฯลฯ ฯลฯ โดยทั่วไปครอบคลุมหัวข้อทั้งหมดที่คุณต้องการต้องใช้เพื่อให้ได้เว็บไซต์ขั้นพื้นฐานขึ้นทำงานตลอดเวลาให้คุณเครื่องมือในการ ไปและได้รับสูงขึ้นในกรอบ (แม้ว่านี้ได้จำนวนเงินที่ 'ดูเว็บไซต์' มากเวลา)

เวลาจะได้รับรหัสขึ้นตัวอย่างบางส่วนและการพัฒนา 'เธ' และการประยุกต์ใช้ 'วิกิพีเดีย' อย่างง่าย ส่วนตัวผมรู้สึกว่าการให้รหัสหรือแต่ละ app แล้วขอให้เราสามารถพัฒนาสิ่งที่เป็นหลักควบคู่ไปกับการคัดลอกไม่ได้จริงๆให้ประสบการณ์การเรียนรู้ที่ดี ผมจะต้องการที่จะพัฒนาแอพลิเคชันที่คล้ายกัน แต่ไม่เหมือนกัน ไปยังโปรแกรมประยุกต์ตัวอย่างที่มีประโยชน์ของการมีคู่มือในการอ้างถึง หรือสร้างโปรแกรมตั้งแต่เริ่มต้นด้วยสาธิตจะนำไปสู่การอาจมีคำถามเพิ่มเติมเกี่ยวกับสาเหตุและวิธีการจึงให้ความรู้ความเข้าใจของกรอบหลังจากทั้งหมดคุณสามารถค้นหาข้อมูลเฉพาะหลังจากจบหลักสูตร

การบรรยายครั้งนี้ประกอบด้วยทำงานกับโปรแกรมวิกิพีเดียได้ด้วยความช่วยเหลือ / คำแนะนำจากอาจารย์ผู้สอน หลังจากที่ความคิดเห็นของหลักสูตรถูกนำตัวมันก็เน้นหลายครั้งที่ผ่านหลักสูตรที่ใช้เวลา Zend ข้อเสนอแนะอย่างจริงจังในความเป็นจริงที่เห็นได้ชัดรุ่นของเราแน่นอนได้ค่อนข้างใหม่ บางส่วนของนักพัฒนาอื่น ๆ ใน บริษัท จะมีการเรียนการสอนเร็ว ๆ นี้จึงจะน่าสนใจเพื่อดูว่านี้ได้เกิดขึ้น

สไตล์หลักสูตรเป็นทางการอนุญาตให้สำหรับข้อมูลและความร่วมมือระหว่างผู้เข้าร่วมประชุมและอาจารย์ผู้สอน ผู้นำหลักสูตรคือมิตร, เข้าถึง (ที่อยู่อีเมลที่ถูกใช้ร่วมกันสำหรับคำถาม) และขณะที่การนำเสนอของเขาจากภาพนิ่งเป็นบิตสั่นคลอนอำนาจประจักษ์อย่างเต็มที่ในกรอบ เขาเป็นคนที่ชัดเจนใช้กรอบเป็นประจำมากกว่าคนที่มีการเรียนการสอนในการสอนหลักสูตรฉันชอบประสบการณ์ 'จริง' ในแง่ที่ว่า

ความรู้สึกโดยรวม

ในบางวิธีผมพบว่าหลักสูตรที่เสียเวลาในการที่คนอื่นมันเป็นประโยชน์มาก หวังว่าฉันจะได้รับเหตุผลของผมข้ามได้อย่างชัดเจนและอาจให้อาหารบางอย่างสำหรับข้อเสนอแนะความคิดหรือมีประโยชน์ (ฉันรู้ว่านี้ไม่น่า!)

สำหรับตัวเองหลักสูตรนี้มีวัตถุประสงค์ในระดับที่ต่ำเกินไป ผ่านไปแล้ว quickstart คู่มือร็อบอัลเลน Zend Framework ในการดำเนินการอ่านและทำงานร่วมกับกรอบการทำงานเล็ก ๆ น้อย ๆ ฉันไม่ได้จริงๆรับอะไรมากเกินไป ผมจะชอบของหลักสูตรที่จะรับเพิ่มขึ้นจากสิ้น quickstart และพัฒนาทักษะเพิ่มเติม

ที่กล่าวว่าชื่อหลักสูตรที่ไม่ชัดเจนของรัฐ "Zend Framework: ความรู้พื้นฐาน" และในด้านที่ประสบความสำเร็จแน่นอนสิ่งที่จะกำหนดออกไปทำ สมาชิกคนอื่น ๆ ของทีมพัฒนาที่ยังไม่ได้ใช้เวลามองเข้าไปในกรอบเสร็จแล้วในแต่ละครั้งด้วยความกระตือรือร้นและถามคำถามที่ถูกดีจริงๆที่จะเห็น

ทั้งหมดไม่ได้หายไปมันเป็นที่ดีที่จะใช้เวลาเพื่อยืนยันรายละเอียดพื้นฐานของกรอบและได้รับการขอให้คู่ของคำถามที่อยู่ในพื้นที่ที่ผมไม่ได้ 100% มันก็เป็นเวลาที่ผมได้นั่งลงในแต่ละวันและคิดเกี่ยวกับการเขียนโปรแกรมโดยใช้กรอบโครงการและในอนาคตสิ่งที่ฉันจะไม่เคยจากสามารถที่จะทำอย่างอื่น (คุณสามารถจินตนาการของ บริษัท ตกลงที่จะว่า? :)) สุดท้าย แต่ไม่น้อยคุณยังได้รับการรับรองจากดีจาก Zend ที่จะบอกว่าคุณเข้าร่วมหลักสูตร (แม้ว่าทางอีเมล)

รับรอง Zend Framework

นี่เป็นคำถามหนึ่งที่เก็บไว้มาเพื่อทราบในระหว่างการเรียนก็จะเตรียมสำหรับการรับรองหรือไม่ รวดเร็วใช้งานง่ายคือไม่มีดังก้อง ผู้สอนก็ค่อนข้างชัดเจนว่ามีคำแนะนำเพิ่มเติมว่าสำหรับการรับรองคุณควรจริงๆจะใช้กรอบในวันที่ไปแต่ละวันและความรู้สึกที่สะดวกสบายและมั่นใจในการใช้งานและวิธีการของมัน

ข้อมูลอย่างย่อ

ป.ร. ให้ไว้ทุกอย่างที่ฉันได้เขียนข้างต้นผมจะสรุปทุกอย่างในสองจุด bullet ง่าย:

• ใหม่ไป Zend Framework: สนามนี้ไม่ว่าสิ่งที่คุณคาดหวังจะช่วยให้คุณแนะนำที่ดีกับกรอบและดินที่ดีบนพื้นฐานที่คุณสามารถสร้าง แน่นอนดูเหมือนว่าจะสร้างความสนใจและความกระตือรือร้นในการกรอบการทำงานในหมู่นักพัฒนา
• ใช้ Zend Framework: ในขณะที่มันเป็นดีขึ้นฝั่งบางส่วนของพื้นฐานที่ดีผมก็รู้สึกว่าเวลาความพยายามและเงินที่จะใช้หลักสูตรสามารถรับของที่ดีกว่าการใช้จ่ายที่อื่น มันจะดีเพื่อsee Zend สร้างหลักสูตรระดับใหม่สูงกว่าที่จะใช้พัฒนาในระดับต่อไป -. อย่างน้อยถึงมาตรฐานของการรับรองและอยู่นอกเหนือการที่ฉันจะลงทะเบียนได้ทันที

ความเห็น (0)

โดย สตีเว่นลอยด์ Watkin , อังคาร 14 เมษายน 2009 21:06

ฉันจัดการเพื่อให้ได้เว็บไซต์และทำงานกับ Zend Framework , ทุกอย่างจะถูกบันทึกไว้อย่างสวยงามเพื่อ FireBug / FirePHP ดังนั้นขั้นตอนต่อไปคือการเข้าสู่ระบบเพื่อ DB ฉันยังต้องการที่จะเข้าสู่ระบบข้อมูลเพิ่มเติมบางอย่างโดยใช้กรอบดังกล่าวเป็นตัวแทนของผู้ใช้วันที่และเวลารับและส่งตัวแปร ดังนั้นเพื่อขยายการใช้เล็ก ๆ น้อย ๆ นี่คือสิ่งที่ฉันได้:

// Set up logging to DB
$db = Zend_Registry ::get('dbAdapters');
$db = $db['general'];

$ columnMapping = array ('ความสำคัญ' => 'ความสำคัญ',
'ข้อความ' => 'ข้อความ',
'datetime' => 'เวลา',
'user_agent' => 'user_agent',
'get_vars' => 'get_vars',
'post_vars' => 'post_vars',
'เว็บไซต์' => 'เว็บไซต์'
);

$ = writerDb ใหม่ Zend_Log_Writer_Db ($ db, 'error_logging', $ columnMapping);
คนตัดไม้ $ = new Zend_Log ($ writerDb);

คนตัดไม้ $-> setEventItem ('datetime', วันที่ ('Ymd H: i: s'));
คนตัดไม้ $-> setEventItem ('user_agent', $ _SERVER ['HTTP_USER_AGENT']);
คนตัดไม้ $-> setEventItem ('get_vars', print_r ($ _GET, True));
คนตัดไม้ $-> setEventItem ('post_vars', print_r ($ _POST, True));
คนตัดไม้ $-> setEventItem ('เว็บไซต์', SITE);

คนตัดไม้ $-> ข้อมูล ('ข้อความที่ให้ข้อมูล');

ในกรณีที่คีย์อาร์เรย์ใน columnMapping $ เป็นชื่อคอลัมน์ของฉัน 'ลำดับความสำคัญ' และ 'ข้อความ' มีความเข้าใจโดย Zend_Log_Writers แต่เขตข้อมูลเพิ่มเติมถูกเพิ่มให้ฉันข้อมูลเพิ่มเติมบางอย่าง

แน่นอนนี้จะถือว่าคุณได้เข้าสู่ระบบการทำงานโดยใช้หนึ่งในนักเขียนคนอื่นก่อน :)