نظرات (3)

استیون لوید Watkin ، جمعه، 4th دسامبر 2009 11:37 PM

معرفی

من در یک شرکت کار می کنند که در آن ما برای اجرای بسیاری از مشاغل دسته پردازش میلیون ها پرونده داده را در هر روز و من شده فکر کردن به تازگی در مورد تمام ماشین هایی که در اطراف هر روز نشسته انجام هیچ چیزی برای چند ساعت. آیا آن را نمی شود خوب است اگر ما می تواند این دستگاه قدرت پردازش سیستم خود را برای تقویت استفاده کنید؟ در این مجموعه ای از مقالات من قصد دارم در مزایای بالقوه به کارگیری دفتر شبکه با استفاده از محیط های مجازی.

در قسمت 2 که در مشاغل سرور را اجرا خواهد کرد نگاه، و چگونه شغل باید به پیکربندی به منظور دستیابی به بیشترین مقدار پردازش در حالی که تضمین میکند که هر کار بدون شکست پردازش.

راه اندازی کارگر خود را - یا سرور لنگی

گام بعدی در این فرآیند این است که کارگران مجازی خود را راه اندازی. برای این کار من قصد دارم به استفاده از نصب و راه اندازی لینوکس با استفاده از مجازی. من قصد دارم به بانک اطلاعات MySQL را نصب و پی اچ پی بر روی سرور، نیز به عنوان شل (nux ​​لی متر ySQL و P HP) Server (ممکن است من را ساخته اند که نام بالا) شناخته می شود.

• نصب مجازی بر روی دستگاه خود ویندوز (به دنبال لینک)
• دانلود و نصب لینوکس (نسخه 5.3) در درون یک ماشین مجازی ایجاد شده

هیچ نقطه وجود دارد من به این قصد احتمالا 1000، از آموزش های بزرگ خارج وجود دارد (خوب، در اینجا: ایجاد و ماشین مجازی لینوکس Managing زیر مجازی ). نکته مهم توجه داشته باشید گمان می کنم این است که من به نام ماشین مجازی من GridMachine.

تا آنجا که به عنوان انتخاب های من از مجازی سازی مشتری و سیستم عامل است که هیچ دلیل قانع کننده ای بزرگ برای هر انتخاب وجود دارد. مجازی چیزی بر روی دستگاه خانه من و استفاده از سه سیستم عامل های بزرگ است. انتخاب لینوکس به عنوان سیستم عامل خود را خوب پایدار و من از آن استفاده کنید را بر روی سرور وب خود را. من اعتقاد زیادی در ابزار های مناسب برای این کار (اگر چه من استفاده از 'استفاده از سریعترین و ساده ترین برای شما ذهنیت در اینجا)، بنابراین اگر سیستم عامل X را اجرا می کند کد خود را سریعتر و موثرتر استفاده کنید که به جای :)

مهم مطمئن شوید که ماشین مجازی خود را با استفاده از DHCP، در غیر این صورت برای هر ماشین مجازی جدید که نیاز به توان به پیکربندی به صورت جداگانه است که چیزی است که ما نمی want.By با استفاده از DHCP ما نیازی به پیکربندی تنظیمات شبکه به صورت جداگانه برای ماشین آلات کارگر، DHCP به دست خارج از IP ها برای شما. بنابراین شما می توانید ماشین مجازی خود را در مورد اداره بدون هیچ گونه نگرانی در مورد تنظیم هر یک (در این مقیاس پذیری را بهبود می بخشد و دولت کارگران را کاهش می دهد) کپی کنید.

روند شما باید برای رسیدن به هدف خواهد بود که یک ماشین فیزیکی نصب مجازی برای به دست آوردن، و پس از آن تا حد زیادی تصویر مجازی خود را راه اندازی نموده وسپس بدون دیگری. ممکن است عاقلانه برای نصب همه کارگران خود را بر روی یک زیرشبکه متفاوت به طوری که شما حداقل می توانید ببینید که چگونه بسیاری از دستگاه در حال اجرا هستند. شما همچنین می خواهیم به راه اندازی ماشین آلات خود را در اجاره نامه اجاره نامه طولانی یا نامحدود DHCP نیاز دارند.

چگونه برای اجرای شغل کارگر

این منطقه جالب است و شما با چندین روش معتبر برای پردازش شغل کارگر وجود دارد. در اینجا من فقط دو بارز ترین مورد بحث:

• دائمی در حال اجرا اسکریپت: اسکریپت، یک اسکریپت پوسته، یا یک اسکریپت PHP است یک بار بر روی کارگر اعدام اجرا می شود و به عنوان بخشی از یک حلقه بی نهایت است. من این روش را به عنوان یکی از سقوط اسکریپت با تخفیف و به طور بالقوه کارگران خود را به اجرا بدون نوعی از مداخله را متوقف خواهد کرد.
• cron را اعدام اسکریپت بر اساس هر دقیقه X cron امکان لگد کردن یک تماس به اسکریپت خود را به چیز رفتن. بدون چک کردن این می تواند منجر به کپی های زیادی از بسیاری از کارگران خود را در حال اجرا اسکریپت شود.

تصمیم من این بود با cron که لگد کردن یک اسکریپت پوسته، هر minutes. 10 اسکریپت پوسته من در انجام وظایف زیر است:

1. لیست پروسه و grep استفاده برای پی اچ پی '. اگر یافت نشد و سپس ادامه.
2. تماس با کد کار خود را، در مورد من این خواهد بود که اساس PHP چیزی
3. اسکریپت کارگر کامل اجرای آن
4. آماده برای رفتن دوباره در تماس بعدی مناسب

اسکریپت bash به نظر می رسد چیزی شبیه به زیر:

  #! / بن / شل
 اگر ص تبر | grep استفاده-V grep استفاده | grep استفاده پی اچ پی / توسعه تمدن / تهی
 سپس
     اکو "کار در حال حاضر پردازش، خروجی"
 دیگر
     اکو "کار در حال اجرا نیست، شروع به
     پی اچ پی yourJobProcessingScript.php
 فی 

توجه: اکو هستند تقریبا به طور کامل بی معنی است، اما ممکن است فرد بعدی که می آید همراه را امتحان کنید و ویرایش آنها شده اند، کمک می کند.

که نتیجه مجموعه ای متشکل از کارگران ماشین مجازی، سریع، ساده و آسان برای کپی کردن هر قطعه از سخت افزار است که دریافت کرده است. "هوش و ذکاوت از سیستم شبکه در واقع در سیستم عامل مشاهده نمی باشد. همه با کد ایجاد شده برای شغل فرایند، پیکربندی شغل، و مطمئن شوید که این کار را اجرا می کند که مناسب (یعنی وقتی که میزبان غیر فعال است ).

راه اندازی ویندوز به مقداردهی اولیه کارگران

وظیفه اول این است که کار از دستور مورد نیاز برای اجرای ماشین مجازی را از خط فرمان ویندوز. اگر شما مجازی در محل پیش فرض نصب شده و شما به نام کارگر GridMachine و سپس دستور مورد نیاز برای بارگذاری کارگر است:

  "C: \ برنامه فایلها \ یکشنبه \ مجازی \ VBoxManage.exe" startvm GridMachine 

با این حال برای اجرای اسکریپت در یک "بی سر" دولت ما نیاز به استفاده از:

  "C: \ فایلها برنامه \ یکشنبه \ مجازی \ VBoxHeadless.exe" startvm GridMachine - vrdp = خاموش 

این ماشین مجازی را بدون رابط کاربری گرافیکی شروع شده و اجازه می دهد آن را به صرفه جویی در حالت آرامی. آرگومان دوم خاموش RDP پس از آن درگیری با RDP ویندوز نیست و یا شما یک پیام در مورد گوش دادن بر روی پورت 3389 به من بدهید. نام ماشین مجازی و کوچکی حروف حساس است.

بعد، ما نیاز به تنظیم پنجره ها تا به توپ زدن VM کارگر ما پس از آن که دستگاه غیر فعال شده است. برای انجام این کار (بر روی ویندوز XP) شما باید شروع به رفتن -> همه برنامه ها -> لوازم جانبی -> ابزارهای سیستم -> وظایف برنامه ریزی شده به شرح زیر است:

کلیک کنید و بعد بر روی گزینه "اضافه کردن وظیفه برنامه ریزی به دنبال یافتن کتابها از طریق برنامه های سفارشی برای اضافه کردن. حرکت به اسکریپت VBoxManage شما و OK را کلیک کنید. برنامه کار خود را برای هر یک از گزینه های (ما این کار را در یک دقیقه را تغییر دهید) و ادامه. پس از پرش صفحه بعد ویندوز شما که می خواهید برای اجرای این کار، من می خواهم یا مدیر و یا ایجاد یک کاربر ممتاز جدید نشان می دهد. به خاطر داشته باشید ما نمی خواهیم با حساب کارکنان استاندارد بر روی ماشین تداخل در هر نقطه. کلیک کنید و بعد چک کنید نمایش گزینه های پیشرفته برای این کار است.

اضافه کردن به انتهای کادر اجرا رشته ما startvm GridMachine و اطمینان حاصل شود که اجرا تنها به سیستم وارد شده باشد در سمت چپ unticked. ارسال یک وظیفه برنامه را بعد و تغییر برنامه کشویی گزینه 'غیر فعال'، مقدار زمانی که شما می خواهم دستگاه را به وقت تلف کردن، قبل از رفتن به تب بعدی را انتخاب کنید.

در نهایت گزینه که بیان متوقف کردن این کار در صورتی که قبلا در حال اجرا مقدار X از زمان، untick اما تیک گزینه ای را برای متوقف کردن این کار در صورتی که دستگاه دیگر بیکار نیست.

که در آن برای راه اندازی میزبان ویندوز!

خلاصه

در این قسمت ما باید راه اندازی یک ماشین مجازی به عنوان یک کارگر، و همچنین به عنوان راهی که در آن ما تماس بگیرید و اجرای اسکریپت های پردازش کار ما (برای خودم یک اسکریپت پی اچ پی). از اینجا ما در مورد چگونگی راه اندازی نسخه ما از پنجره به راه اندازی ماشین مجازی را در حالت بی سر زمانی که کامپیوتر بیکار می شود، و صرفه جویی در دولت خود را هنگامی که کاربر رزومه استفاده از دستگاه نگاه کنید. امیدوارم در این مرحله شما با دیدن سادگی آن است به راه اندازی چنین سیستمی و خارش به برخی از آزمایش های خود را رفتن!

دفعه بعد

در قسمت 4 به دنبال استفاده از ابزار برای اطمینان حاصل شود که شما آخرین نسخه از کد ها و منابع داده به طوری که نتایج به دست آمده همیشه به روز با آخرین اطلاعات مربوط به کسب و کار و منطق.

نظرات (3)

استیون لوید Watkin ، جمعه، 4th دسامبر 2009 11:03 PM

معرفی

من در یک شرکت کار می کنند که در آن ما برای اجرای بسیاری از مشاغل دسته پردازش میلیون ها پرونده داده را در هر روز و من شده فکر کردن به تازگی در مورد تمام ماشین هایی که در اطراف هر روز نشسته انجام هیچ چیزی برای چند ساعت. آیا آن را نمی شود خوب است اگر ما می تواند این دستگاه قدرت پردازش سیستم خود را برای تقویت استفاده کنید؟ در این مجموعه ای از مقالات من قصد دارم در مزایای بالقوه به کارگیری دفتر شبکه با استفاده از محیط های مجازی.

در قسمت 4 با استفاده از ابزار برای اطمینان حاصل شود که ما در حال اجرا است آخرین نسخه از کد ها و منابع داده به طوری که نتایج به دست آمده همیشه به روز با آخرین اطلاعات مربوط به کسب و کار و منطق به نظر می رسید.

پیش از استقرار

قبل از استقرار سیستم شبکه شما اگر یک چیز شما انجام دهد و یک چیز وجود دارد به تنهایی آن را معیار سیستم فعلی شما! مهم نیست که همکاران در مورد چه مقدار کار اضافی سیستم شما کاری میخواهید انجام دهید مگر اینکه شما باید اعداد به عقب تا این که حداقل تضمین های خود را به شما بگویم هیچ چیز نیست. بنابراین،

• تعداد رکورد چگونه می تواند شما را پردازش در حال حاضر؟ پستها در طول روز؟ در ساعت؟
• چه مدت طول آن به طور معمول به نوبه خود کار کنند؟
• چقدر ظرفیت بیشتر دارید؟

پرسش های اضافی وجود دارد:

• اگر سرور پردازش خود (و یا یکی از سرورهای پردازش) پایین می رود چگونه خواهد بود بر توانایی های خود را، شما را فلج خواهد شد؟
• مزایا و امید / انتظار از یک سیستم شبکه؟
• ماشین های اداری خود را قادر به در حال اجرا شغل؟
• آیا شما (و یا می تواند به شما شغل تبدیل می شود) به wrok در این سبک در حال اجرا؟

آخرین نکته مهم است که به وقت خود را بر روی هر گونه تغییر عمده مانند این است. به روز رسانی کد پردازش خود را به کار با استفاده از روش جدید، معیار است. احتمالا راه اندازی سرور پردازش خود را به یک ماشین مجازی برای اجرا، پس از تمام سرور پردازش خواهد بود یکی دیگر از کارگران (فقط یکی از بسیار قدرتمند نسبتا). اجازه فرآیند جدید برای حل و فصل شود.

گسترش

پیشنهاد من این خواهد بود به دفتر 1 آخر هفته پاپ به انجام نصب و راه اندازی. این کار را درست قبل از تعطیلات دو هفته و ترک بنابراین فقیر اختتامیه جشنواره صنعت چاپ برای مقابله با پیامدهای ... شاید نه ...

استقرار سیستمی شبیه به این نیاز است آهسته باشد. با وجود این که نسبتا ساده است به راه اندازی این سیستم به زیرساخت های دفتر کل خود را (و دیجیتال) تاثیر می گذارد. در مرحله اول، از حافظه جمع کردن چند دستگاه در یک زمان، نظارت بر ترافیک شبکه، چگونه میزبان کارگر بر اساس یک روز به روز انجام دهد. شما ممکن است نیاز به تنظیمات کار خود را در واکنش به یافته های خود را تغییر دهد.

هنگامی که سیستم با یک دستگاه چند (اجازه می دهد که می گویند 10 درصد از ماشین های اداری، به عنوان مثال 5) نگه داشتن نظارت بر ترافیک شبکه و ماشین میزبان معیار performance. بعدی دوباره مستقر شده است، شما هم اکنون می باید پردازش شود شغل 33٪ بیشتر از معیار اول شما. بررسی اینطور است، یا که شما حداقل در این ballpark. اگر نه، به بررسی آنچه در جریان است، قبل از رفتن بر روی. تکرار این چرخه تا زمانی که شما با خوشحالی تمام ماشین های اداری بدون کشتن عملکرد دستگاه فردی یا آسیاب شبکه خود را به یک وقفه در حال اجرا است.

در تمام زمانها را تعیین معیار، حتی بعد از تمام اعزام ساخته می شوند. بررسی چگونگی به روز رسانی کد جدید بر سرعت سیستم شما، بررسی کنید که تمامی کارگران در گزارش و پردازش شغل. به آهستگی (به آرامی) افزایش پیکربندی شغل خود را برای دریافت بهترین ها را از کارگران و شبکه شما.

را متوقف کنید!

اگر شما می خواهید برای جلوگیری از کارگران خود را از در حال اجرا در برخی از زمان؟ آنها در خارج وجود دارد در حال اجرا، بازسازی و تلاش خود را به پردازش داده ها را مثل حشرات گرسنه. پاسخ ممکن است به نظر می رسد آشکار است، اما ارزش خود را با اضافه کردن تنها در مورد نادیده گرفته آن. به سادگی پردازش اسکریپت خود را با یک خروجی (0) ویرایش کنید و یا می میرند () و یا برخی از بیانیه های دیگر را به کشتن کار پردازش. دلیل مهم که چرا ما همیشه از آن تلاش برای به روز رسانی به آخرین اسکریپت پردازش قبل از هر اجرا!

سیستم های تظاهرات

به منظور نوشتن این مجموعه مقالات کوتاه من ایجاد یک شبکه بسیار کوچک نشان می دهد که فن آوری ها و روش ها است. من خواندن بسیاری از مقالات، آموزش، و با استفاده از ابزار های مختلف برای راه اندازی و نظارت بر چه می گذرد. به هیچ وجه به من بیرون رفته و اشباع شده اداره کل با حمل و نقل و نه من تا به حال دسترسی به کارکنان به طور منظم PC اعضای چگونه عملکرد میزبان تحت تاثیر قرار شد.

سیستم تظاهرات بسیار فروتن بود در واقع. من استفاده از دسکتاپ به طور منظم به عنوان یک سرور کنترل کار. در این خروجی سرور نصب کرده بود که به عنوان یک استاد در تکرار، نصب پی اچ پی ، و SVN مرتبط با آپاچی (برای دسترسی از طریق VM کارگر).

من سپس دستگاه کارگر لینوکس را بر روی 6 ساله لپ تاپ ویندوز XP بر روی مجازی ایجاد شده است. وظایف برنامه ریزی شده راه اندازی من به عنوان پس از کپی کردن VM را بر روی دستگاه مشخص شده و بهش ادامه بدم.

ماشین مجازی با پی اچ پی، براندازی، و خروجی زیر راه اندازی شد. شاخه ای به نام "کارگر از کار کنترل مخزن سرور را بررسی و آن را به روز می تواند با استفاده از SVN به روز رسانی کرد. بعد من خروجی زیر راه اندازی را به عنوان برده و بررسی می شود که تکرار داده ها به MySQL در سرور کنترل شغلی پایین به VM کارگر. بعد از این همه اسکریپت bash و برنامه cron را راه اندازی کنم.

اسکریپت پردازش من اساسا در امتداد خط (چیزهای بسیار ساده) رفت:

• خوانده شده در زمینه نام
• تعدادی از نام های مشابه در یک جدول از منبع داده ها در VM برگزار شد شمارش
• تعدادی از نام های شمارش به عنوان فوق از تقسیم نام با فاصله (یعنی اسم اول، وسط، نام خانوادگی)
• مکرر این روند 1000 بار

هر کار در زمان حدود 20 دقیقه را اجرا کنند. در یک نقطه تهیه چندین کپی از VM کارگر را بر روی لپ تاپ ویندوز باز و تماشا شغل توسط هر یک از آدرس های IP کارگر چک. در این مرحله من هم تایید کرد که تکرار به طور خودکار دوباره راه اندازی.

خروج از لپ تاپ در یک کارگر شروع به پردازش شغل از سرور کنترل کار منجر به بیکار. هنگامی که از سرگیری استفاده از لپ تاپ از یک تأخیر در حدود 30-60 ثانیه وجود داشت، این است که یک مقدار عادلانه از زمان و کارکنان باید آگاه باشند که ممکن است دستگاه خود برای مدت کوتاهی مکث در هنگام بازگشت به دستگاه است. جدیدتر ماشین آلات ممکن است توقف این طولانی ندارد. سود از مقدار پردازش شده توسط این دستگاه ها در طول دوره های بیکار انجام می تر که سنگین تر بودن از اعضای هیات نیاز به یک دوره کوتاه مدت (مثلا 1 دقیقه) صبر کنید پس از رسیدن به ماشین های خود را از صبح (اغلب دیگر صبر کنید که این برای یک مدافع ویندوز به روز رسانی را به محل) آنها را از این امر آگاه ساخته شد (زمان مفید برای گرفتن یک قهوه صبح).

در مجموع احساس می کنم اعتماد به نفس که من فن آوری است که می تواند مورد استفاده برای ایجاد چنین سیستمی را نشان داده اند. من نشان داده اند که مانند یک سیستم کار می کند در یک مقیاس کوچک (بسیار) و با بیشتر آزمایش می تواند کوچک استفاده از منابع از ماشین های اداری است. اگر من به نقطه انجام این کار من خواهد بود بسیار علاقه مند به دانستن / وقتی شخص دیگری می کند.

نتیجه گیری / ارزیابی

قدم بعدی واضح خواهد بود که به عنوان مثال دنیای واقعی در واقع دریافت و شروع به استقرار یک سیستم مانند این که در یک محیط دفتر و ببینید چه اتفاقی می افتد. درخواست یک کسب و کار برای ارتکاب به این شرکت دنباله دنباله دار به اثبات تکنولوژی و اثربخشی ممکن است کمی مشکل باشد. گرید / محاسبات توزیع شده، بسیار محبوب است برخی محافل است و برخی از برنامه های بزرگ (BIONC، SETI @ صفحه اصلی، تاشو صفحه، و غیره). من، با این حال، پیدا کردن یک مقیاس کوچکتر و سیستم ساده و مثل این در جستجوی من است که می تواند در یک محیط دفتر نورد.

ایجاد یک سیستم اساسا رایگان با استفاده از نرم افزار اغلب منبع باز و ابزار موجود را تقریبا در هر دفتر. فن آوری های اساسا نشان داده شد و نشان می دهد برای انجام کار و به عنوان انتظار می رود. امیدوارم من نشان می دهد که با کار زیاد نیست و با نصب بسیار ساده شما می توانید به دفتر شبکه سیستم محاسبات قدرتمند، ارزان، و مقیاس پذیر است که همه در همان زمان استقرار.

هنگامی که یک سیستم می باشد و در حال اجرا وجود دارد تقریبا هیچ پایان دادن به میزان سفارشی سازی و بهبود شما می توانید. آمار به عنوان مثال / محک زنی به راحتی می تواند نشان دادن ارزش چنین سیستم هر روز اضافه می شود. دستگاه های جدید می توانند به سرعت و به راحتی به آن اضافه شود، و هنگامی که با ارتقاء به سخت افزار موجود در ورود به تقویت قدرت پردازش خود را.

من امیدوارم که شما از خواندن این سری مقالات لذت و غذا برای اندیشه در حال اجرا دفتر شبکه سیستم را به شما داده شده است. راه حل ارائه شده در اینجا لزوما در همه شرایط کار نمی کند اما باید سازگار باشند اجازه می دهد تا شما را به اطلاعات پردازش خود را با استفاده از راه حل خود را انجام.

لطفا در صورت تمایل به هر گونه نظر، اصلاح و یا بهبود و من بهترین من برای حفظ این مقاله به روز شده برای مطابقت.