نظرات (2)

استیون لوید Watkin ، جمعه، 4th دسامبر 2009 11:59

معرفی

من در یک شرکت کار می کنند که در آن ما برای اجرای بسیاری از مشاغل دسته پردازش میلیون ها پرونده داده را در هر روز و من شده فکر کردن به تازگی در مورد تمام ماشین هایی که در اطراف هر روز نشسته انجام هیچ چیزی برای چند ساعت. آیا آن را نمی شود خوب است اگر ما می تواند این دستگاه قدرت پردازش سیستم خود را برای تقویت استفاده کنید؟ در این مجموعه ای از مقالات من قصد دارم در مزایای بالقوه به کارگیری دفتر شبکه با استفاده از محیط های مجازی.

در بخش 3، دستگاه پردازش مجازی و راه اندازی ماشین آلات ویندوز برای تبدیل شدن به زمان کارگران بیکار.

اجرای آخرین کد

به ناچار پس از ایجاد کارگران منطق کسب و کار شما تغییر خواهد کرد، اشکالات خواهد یافت، کد سریعتر کارآمد تر تولید خواهد شد در نتیجه ترک کارگران خود را به اطراف پردازش داده ها با استفاده از کد های قدیمی بد بو نشسته است. پس چگونه می توانم به شما اطمینان می دهیم که ما همیشه با استفاده از آخرین و بهترین نسخه از اسکریپت های پردازش؟

چند بسیار آسان راه های ساده ما می توانیم این کار را انجام دهند وجود دارد، ترفند، با این حال، این است که به کاهش قدرت پردازش و ترافیک شبکه را در دستیابی به این. بیایید شروع با ساده ترین راه حل و بهبود آن را به آرامی بیش از یک زن و شوهر از تکرار.

روش اول خواهد بود که به سادگی اتصال به سرور کار ما کنترل (از طریق سامبا، FTP، یا مشابه) و کشیدن آخرین نسخه از کد. بسیار موثر است، اما آن کار را انجام دهد. بیایید که تا حدودی بهبود، در مورد ایجاد یک اسکریپت سیستم rsync و با استفاده از آن هر بار به جای؟ روش دیگر آنچه در مورد قرار دادن اسکریپت پردازش ما را به براندازی چک کردن کد در ابتدا و پس از آن به روز رسانی کد ما در هر اجرا ( SVN رسانی )؟

در پایان ما می تواند در نهایت با یک اسکریپت bash (به نام cron در هر 10 دقیقه) که به عنوان ساده به نظر می رسد که این

  #! / بن / شل
 اگر ص تبر | grep استفاده-V grep استفاده | grep استفاده پی اچ پی / توسعه تمدن / تهی
 سپس
     اکو "کار در حال حاضر پردازش، خروجی"
 دیگر
     اکو "کار در حال اجرا نیست، شروع به
     سی دی / راه / / کار / کپی
     SVN به روز رسانی
     پی اچ پی yourJobProcessingScript.php
 فی 

در حال حاضر ما می توانید مطمئن باشید که با هر یک اجرا می کنیم قطعا در حال اجرا آخرین کد. ما در حال حصول اطمینان از این به روز رسانی پایگاه کد ما را در هر زمان و هر اجرا را انجام و کاهش ترافیک شبکه انتقال تنها تفاوت فایل در سراسر شبکه ما.

در راه اندازی تظاهرات من، من دقیقا همانطور که در بالا. براندازی نصب شده بر روی سرور پردازش کار من شد و من به سادگی آخرین کد را از شعبه کارگر با استفاده از SVN به روز رسانی کشیده است. من هم نسخه تعداد تگ اسکریپت پردازش بود که به عنوان بخشی از نتایج بازگشت به پایگاه داده برگشته است. به این ترتیب من می توانم ببینم که کد من در حال به روز رسانی شد هر بار من تنه من را به اینترنت اکسپلورر شعبه کارگر آن برداشتهاید که من قطعا آخرین اسکریپت پردازش در حال اجرا بود.

با استفاده از آخرین اطلاعات

اگر پردازش شغل خود را از منابع داده استفاده می کند و سپس در برخی از این ها می خواهند به روز رسانی بیش از حد. مگر در مواردی که با شما تماس منبع داده خود را به صورت بسیار نادر قصد دارید به سیل با ترافیک شبکه خود را به عنوان کارگران خود را شروع به در حال اجرا در آوردن همه چیز را متوقف است. راه حل برای من تصمیم گرفتم که من می خواهم به حرکت منابع اطلاعاتی من در اطراف با صوتی.

نگه دارید شما اسب وجود دارد! اگر چه منابع اطلاعات من بسیار زیاد هستند؟ خوب این واقعا یک مورد که چه مقدار از داده ها ما صحبت است؟ ممکن است مقرون به صرفه تر برای نصب اضافی بزرگتر از هارد دیسک را در هر دستگاه نسبت به خرید یک سرور پردازش اضافی. این یک سوال از بودجه است و به کسب و کار برای تصمیم گیری است. شاید که منابع اطلاعاتی خود را آنقدر بزرگ است که خود را تنها خام نگه داشتن این مقدار داده ها در دستگاه های کارگر خود را. در آن صورت چه کار می کنید؟ خوب ما می تواند فراخوانی یک سرویس دهنده داده های محلی نگاه کنید، اما این ممکن است مسائل را با شبکه ایجاد کند. در این حالت یک سیستم شبکه مانند این ممکن است غیر واقعی در محیط های اداری خود را شامل است. همچنین ممکن است که شما می توانید به استراتژی های جایگزین در حال اجرا نگاه کنید، برای مثال فقط تماس کارگران خود را بین 08:00 و 06:00 هر شب و / یا درخواست throttling منبع داده ها باشد.

حرکت در اجازه می دهد تا داده ها می گویند مقدار ما منابع 100GB از داده ها است. خب بله که مقدار کمی از داده ها را به حرکت در سراسر شبکه در به روز رسانی است. چگونه به شما اطمینان می دهیم که ما آخرین نسخه از داده ها در این مورد؟ سیستم rsync یک احتمال است، اما شخصا من فکر می کنم با اجرای آخرین منبع داده بر روی سرور کار پردازش و تنظیم این به عنوان یک استاد در تکرار (با ورود به سیستم خوب بن طولانی) ممکن است راه رفتن:

با تنظیم هر یک از کارگران خود را به عنوان برده به کار به روز رسانی سرور کنترل منبع داده خود را بریزد پایین را به سادگی کارگران خود را بدون افزایش عظیمی در فعالیت های شبکه ای (که مگر اینکه شما به روز رسانی داده های بزرگ را انجام و تمام کارگران را لگد در در یک بار). این امر دارای مزایای بیش از سیستم rsync که شما می توانید یک وقفه طولانی قبل از هر کار می کنید، به عنوان به روز رسانی پایگاه داده، خروجی زیر شبح در کارگر خود را به طور مستمر به روز رسانی داده های خود را در حالی که پردازش ادامه یابد.

این است که چگونه من راه اندازی سرور تظاهرات من. برای راه اندازی تکثیر من به دنبال راهنمای سایت خروجی زیر ( تنظیمات تا تکرار ) و در عرض 20 دقیقه من تا به حال کارگر inital من در تکرار این کار به کنترل سرور داده ها. برای هر کارگر اضافی تنظیمات تکرار و روند کار در هر زمان و در زمانی که ماشین مجازی کپی شد.

خلاصه

در این بخش از مقاله ما در چه آسان و بدون درد است که برای حفظ کد پردازش خود را به سیستم rsync using subverion (SVN) روز کار را به انجام و کاهش ترافیک شبکه در time. همان نگاه ما همچنین در مورد چگونگی برای حفظ اطلاعات شما منبع به روز اجازه می دهد که به هر یک از کارگران خود را به چکیدن است. بنابراین ما منطقه اطمینان حاصل کرد که ما با منطق کسب و کار و اطلاعات در سیستم اداری شبکه. بدیهی است که وجود دارد داشته باشد جایگزین های بیشماری برای انجام این وظایف، اما در اینجا دو مثال ساده نشان می دهد چگونه یک راه حل آسان است.

دفعه بعد

در بخش پایانی این مجموعه، به درستی به نام قسمت 5 ، ما در بحث در مورد استقرار این سیستم است. من به طور خلاصه آنچه آموخته شده است و آنچه که من موفق به خلق است.

نظرات (1)

استیون لوید Watkin ، جمعه، 4th دسامبر 2009 11:23 PM

معرفی

من در یک شرکت کار می کنند که در آن ما برای اجرای بسیاری از مشاغل دسته پردازش میلیون ها پرونده داده را در هر روز و من شده فکر کردن به تازگی در مورد تمام ماشین هایی که در اطراف هر روز نشسته انجام هیچ چیزی برای چند ساعت. آیا آن را نمی شود خوب است اگر ما می تواند این دستگاه قدرت پردازش سیستم خود را برای تقویت استفاده کنید؟ در این مجموعه ای از مقالات من قصد دارم در مزایای بالقوه به کارگیری دفتر شبکه با استفاده از محیط های مجازی.

به عنوان یک پی اچ پی توسعهدهنده من قصد دارم به استفاده از ابزار است که استفاده کنم یعنی هر روز، لینوکس، خروجی زیر ، PHP، مجازی و خرابکاری (SVN). با این حال من امیدوارم که این راهنما به زبان های دیگر و فن آوری وفق دهند به همان اندازه خوب است.

راه حل من ارائه خواهد شد بسیار آزادانه در نوع پردازش می خواهم باید برای دستیابی به هر حال این ممکن است درست باشد را از طریق کل مقاله من برای سادگی چیزهایی را تغییر دهید، و یا به تولید سناریوهای جالب تر استفاده از است.

این محیط مجازی بر روی ماشین ویندوز اجرا شود، از آنجایی که این است آنچه اکثر ادارات اجرا شود. پردازش که ماشین های اداری نباید دخالت با کارکنان با استفاده از آن ماشین آلات، باید هیچ تعمیر و نگهداری را در ماشین، نیاز می شود و به سادگی گسترش پذیر را به ماشینهای جدید را به عنوان تبدیل شدن آنها در دسترس است. همچنین، ماشین های مجازی جدید باید نیاز به هرگونه تنظیمات اضافی را نه به عنوان این تا حد زیادی کاهش می دهد مقیاس پذیری و سهولت که در سیستم شبکه می تواند تمدید شود.

چرا استقرار دفتر محاسبات گرید؟

در مرحله اول شما ممکن است فکر کردن، به همین دلیل نه تنها استفاده از منابع ابر محاسبات را به عنوان پلت فرم EC2 آمازون ؟ خوب به دلایل مختلف، می تواند به عنوان مثال:

• شما اطلاعات خاصی را به محیط زیست ابر محاسبات واگذار کنند
• شما می توانید اطلاعات خاصی را به یک ابر رایانه محیط زیست قرار داده نه به دلایل قانونی (داده به عنوان مثال خروج از کشور)، به طور بالقوه به دلایل قانونی، به عنوان مثال سوابق بیمه خدمات درمانی.
• شما می خواهید برای حفظ واحد های پردازش خود را ببندید و کنترل کامل بر روی سخت افزار بیش از حد
• شما بودجه پروژه برای اجرای موارد ابر
• دفتر خود را در اتصال به اینترنت ندارد و به همین دلیل به استفاده از آن امکان پذیر نیست یک منبع ابر
• شما مثل باران، ابرها باران نشان می دهد، بنابراین شما را به خوبی دور

من مطمئن هستم که این لیست می تواند ادامه دهد، اما من فکر می کنم که به اندازه کافی در حال حاضر است.

مزایای استفاده از دفتر محاسبات گرید

خوب، اجازه می دهد که انجام برخی از ریاضی (و در سبک فیزیک واقعی به شما اجازه می دهد تا برخی از فرضیات فراگیر). تصور کن تو می تونی بشی که سرور پردازش فربه بزرگ در حال اجرا 100 شغل ها در روز. در محل کار شما باید 50 ماشین که 16 ساعت در روز هستند بیکار، هر یک از این دستگاه 10٪ به عنوان قدرتمند به عنوان سرور پردازش خود را فربه است. (تمام نتایج در اینجا گرد به دست کم گرفتن افزایش عملکرد).

بنابراین، 1 دستگاه * قدرت 10٪ * 2/3 بار = 0.067 یعنی 1 دسکتاپ پردازش در زمان بیکار می تواند 6 شغل پر در هر روز پردازش.

اگر شما در حال حاضر بر این مقیاس طول می کشد 15 رومیزی بیکار را برای پردازش به عنوان شغل بسیاری در روز به عنوان سرور پردازش اصلی خود را می کند.

بنابراین در دفتر تظاهر خود را از 50 دستگاه ما می تواند از 1 سرور بالا، قدرت پردازش ما به 4 سرور پردازش کامل را افزایش می دهد، و یا ما را می توان پردازش 400 شغل ها در روز به جای آن از 100.

توجه، برای هیچ سرمایه گذاری در سخت افزار جدید شرکت خود را به تازگی افزایش ظرفیت پردازش دسته ای خود 4 بار! به طور بالقوه شما قصد استفاده از قدرت خود را افزایش دهد، اما از بسیاری از محیط های دفتر من به ماشین آلات شده است به طور کلی در یک شبه را ترک کرد به هر حال، به طوری که شما می توانید از این به عنوان یک ابتکار سبز را ببینید.

مزایای دیگر نیز معنی است که سرمایه گذاری در جدید (یا به روز رسانی) با سرویس دهنده پردازش می تواند با تاخیر اگر ماشین های اداری خود را کافی است و به عنوان قدرت از ماشین های اداری خود را به شما در بهبود شبکه دفتر خود را قوی تر می شود به طور خودکار.

فن آوری

آنچه شما نیاز دارید؟ (و یا به درستی آنچه که من استفاده کرده اید):

• ماشین های اداری بیکار (در مورد من یدکی لپ تاپ های قدیمی ویندوز XP)
• مجازی (یا یکی دیگر از نرم افزار مجازی سازی مشتری)
• ماشین مجازی با پی اچ پی، خروجی زیر running در حال اجرا قطع سیستم عامل، من خواستار این سرویس دهنده ها شل من!
• شغل برای اجرا
• سرور های شغلی (می تواند یکی دیگر از ماشین مجازی در جایی)

شغل نمونه

انواع شغل ها طراحی شده است که این سیستم برای اجرا به شرح زیر است:

• سیستم دریافت لیستی از داده ها که بر اساس آن ما نیاز به تطبیق و بازگشت به نتایج
• مطابق شامل چک کردن / جستجوی منابع داده مختلف (نسبتا ثابت)
• نمایش نتایج: از منابع داده ها ممکن است اعتبار بیشتر، نیاز به ادغام، چک کردن از منابع اطلاعات اضافی در پاسخ به نتایج
• داده ها با پرونده تطبیق بازگشته است، به طور کامل اعتبار و پردازش
• هر رکورد درون یک شغل مستقل از بقیه است

بنابراین اساسا ما به دنبال اجرای کارهایی که نیاز به ترکیبی از متغیر های پایگاه داده و برخی از خرد تعداد، یک سناریوی نسبتا معمولی در محیط کسب و کار است.

راه حل های گرید برای پردازش شغل ها از این نوع تنها به نفع نیست. در واقع، هر فرایند است که می تواند به واحدهای مستقل تقسیم شده می توان به صورت موازی اجرا شود. ویکیپدیا برای مثال و اطلاعات بیشتر: محاسبات شبکه است، اما زن و شوهر از نمونه های معروف SETI @ خانه و BIONC . چارچوب برای اجرای شبکه های رایانه ای وجود دارد، و این به خوبی به ارزش نگاه کردن به.

چه خواهد شد ما دست یابید؟

در پایان این مقاله، من امیدوارم که نشان می دهد که استقرار دفتر شبکه نیاز نمی شود بسیار گران قیمت و یا وقت گیر است. من قصد دارم به بحث:

• راه اندازی سیستم های کنترل، کار تنظیمات کار
• ایجاد یک ماشین پردازش مناسب مجازی
• چگونه به راه اندازی سیستم بر روی یک ماشین ویندوز
• اطمینان از شما با استفاده از کد و داده ها
• استقرار و محک
• با نگاه به آینده

من ساختمان (خوب من ساخته شده است، سپس این را نوشتهاید) برنامه به عنوان مثال برای آزمایش مفاهیم بر روی یک ماشین محلی با استفاده از ویندوز ایکس پی و من 'GridMachine ماشین مجازی. کار من سرور کنترل ماشین اصلی اجرا می شود که فدورا 11 خواهد بود .

این است که به هیچ وجه به معنای نشان دادن یک سیستم به طور کامل کار قوی، خود را به معنای بیشتری از تظاهرات و بحث در مورد نشان می دهد که این چیزها را می توان در یک فضای منطقی زمان کوتاه و با هزینه کمی به دست آورد. لطفا در صورت تمایل به هر گونه نظر، اصلاح و یا بهبود و من بهترین من برای حفظ این مقاله به روز شده برای مطابقت.

دفعه بعد

در قسمت 2 به دنبال کار کنترل سیستم و نگاه به شغل باید توان به پیکربندی به منظور دستیابی به بیشترین مقدار پردازش در حالی که تضمین میکند که هر کار بدون شکست پردازش.