משרד גריד באמצעות סביבות וירטואליות - חלק 5
הקדמה
אני עובד בחברה שבה גמר עבודות אצווה רבים עיבוד מיליוני רשומות של נתונים כל יום חשבתי לאחרונה על כל מכונות יושבים כל יום עושה כלום במשך כמה שעות. האם לא יהיה זה טוב אם היינו יכולים להשתמש במכונות האלה כדי לחזק את כוח העיבוד של המערכות שלנו? במערכה זו של מאמרים אני הולך להסתכל על היתרונות הפוטנציאליים של העסקת משרד הרשת באמצעות סביבות וירטואליות.
ב חלק 4 הסתכלנו באמצעות כלים כדי להבטיח שאנחנו מפעילים את הגירסה העדכנית של נתונים ממקורות קוד כך התוצאות שמתקבלות הן תמיד עדכני עם העדכנית מידע עסקי לבין ההיגיון.
פריסה מראש
לפני פריסת המערכת הרשת שלך אם יש דבר אחד שאתה עושה דבר אחד בלבד זה benchmark המערכת הנוכחית שלך! לא משנה מה אתה אומר על עמיתיו כמה עבודה נוספת במערכת שלך הוא הולך לעשות, אלא אם כן יש לך מספרים לגבות זה את הערבויות שלך הם כלום. אז,
- כמה שיאים תוכל תהליך כרגע? ביום? לשעה?
- כמה זמן זה בדרך כלל לוקח להסתובב עבודה?
- כמה עוד יכולת יש לכם?
יש גם שאלות נוספות:
- אם שרת עיבוד שלך (או אחד השרתים עיבוד שלך) יורדת איך זה ישפיע על היכולות שלך, אתה תהיה נכה?
- יתרונות מה אתה מקווה / מצפה לקבל ממערכת ברשת?
- הם מכונות למשרד שלך מסוגל להריץ את העבודות?
- האם שלך (או אתה יכול להיות מומר בעבודות) לעבוד בסגנון הזה של ריצה?
הנקודה הגדולה האחרונה היא לקחת את הזמן שלך על כל שינוי גדול כמו זה. עדכון קוד עיבוד שלך לעבוד באמצעות מתודולוגיה חדשה, הסמן שוב. אולי להגדיר שרת עיבוד שלך כדי להפעיל מכונה וירטואלית, אחרי כל שרת עיבוד שלך תהיה רק עוד עובד (רק אחד חזק מאוד יחסית). לאפשר את תהליך חדש להתיישב.
פריסה
ההצעה שלי יהיה לקפוץ לתוך המשרד אחד בסוף השבוע לבצע את כל ההתקנות ההתקנה. האם זה רק לפני שבועיים חופשה של ולהשאיר מסכן אחרים כדי להתמודד עם התוצאות ... ואולי לא ...
פריסה של מערכת כזו צריכה להיות איטית. למרות היותה פשוטה יחסית להקים מערכת זו תשפיע על התשתיות למשרד כולו שלך (גם זה דיגיטלי). ראשית, לרדד על כמה מכונות בו זמנית, לנטר את תעבורת הרשת, איך את המארחים העובד לבצע על בסיס יום יומי. ייתכן שיהיה עליך לשנות את תצורת העבודה שלך בתגובה לממצאים שלך.
ברגע שהמערכת התיישבו עם כמה מכונות (נניח 10% של כל המחשבים במשרד, כלומר 5) לשמור על ניטור תעבורת הרשת ואת המחשב המארח benchmark performance. הבא שוב, אתה צריך עכשיו להיות עיבוד משרות 33% יותר מאשר ציוני הראשון שלך. בדוק זה כך, או שאתה לפחות האצטדיון הזה. אם לא, לחקור מה קורה לפני שהוא עובר. חזור על המעגל הזה עד שאתה בשמחה יש כל מכונות למשרד לרוץ בלי להרוג את ביצועי מכונת הפרט או שחיקה הרשת על שמריה.
בכל עת להמשיך בהשוואות, גם לאחר פריסת כל מבוצעים. בדוק כמה עדכונים הקוד החדש להשפיע המהירות של המערכת שלך, לבדוק את כל העובדים מדווחים על עבודות עיבוד. לאט לאט (מאוד לאט) תוספת תצורת העבודה שלך כדי לקבל את הטוב ביותר מן העובדים שלך ברשת.
עצור!
מה אם אתה רוצה להפסיק העובדים שלך מלפעול בזמן כלשהו? הם יוצאים כל שם פועל, התחדשות, ומנסה כמיטב יכולתם כדי לעבד את הנתונים כמו חרקים רעבים. התשובה אולי נראה מובן מאליו, אך שווה את הוספת רק במקרה שלו התעלמו. פשוט לערוך את התסריט לעיבוד שלך עם יציאה (0) או למות () או איזה משפט אחרים להרוג עבודה עיבוד שלך. סיבה חשובה מדוע אנחנו תמיד מנסים לעדכן את התסריט לעיבוד האחרונה לפני להפעיל את כל!
הפגנה מערכת
כדי לכתוב זו קבוצה של מאמרים קצרים יצרתי רשת קטנה מאוד כדי להדגים את טכנולוגיות ומתודולוגיות. קראתי הרבה מאמרים, מדריכים, והשתמשו בכלים שונים לצורך ההתקנה ולעקוב אחר המתרחש. בשום פנים ואופן לא צריך אני יצא רווי משרדים שלמים עם התנועה וגם לא היתה לי גישה למחשב חברי סגל קבועים כדי לראות איך ביצועי המארח היה מושפע.
מערכת ההדגמה שלי היתה צנועה מאוד. השתמשתי שולחן העבודה הרגיל שלי להגדיר כשרת השליטה עבודה. על זה היה לי מותקן mySQL מותקן שרת להגדיר כמאסטר שכפול, PHP ו SVN מקושר, באמצעות אפאצ 'י (עבור גישה באמצעות העובד VM).
אז יצר מכונה העובדת CentOS על VirtualBox על מחשב נייד 6 שנים של Windows XP הישן. אני ההתקנה משימות מתוזמנות כמפורט לאחר העתקת VM על המכונה ולתת לו ללכת.
המכונה הווירטואלית שהוקמה עם PHP, חתרנות, ו-MySQL. בדקתי את סניף בשם "העובדת" מ שליטה תפקידי שרתים מאגר ווידא זה יכול להיות מעודכנים באמצעות 'עדכון svn ". הבא לי mySQL כעבד ובדק את הנתונים היה מעתיק מ mySQL בשרת העבודה שליטה עד VM העובד ההתקנה. אחרי ההתקנה זה כל מה שאני התסריט bash לבין עבודה cron.
התסריט לעיבוד שלי בעצם הלכה בנוסח זה (דברים פשוטים מאוד):
- קרא בשדה שם
- ספרתי את מספר שמות דומים בטבלה ממקור הנתונים שנערך על VM
- ספרתי את מספר השמות לעיל, אך פיצול שם על ידי רווחים (שם פרטי כלומר, באמצע, שם משפחה)
- חזר על תהליך זה 1000 פעמים
כל עבודה לקח בערך 20 דקות כדי לרוץ. בשלב מסוים פתחתי כמה עותקים של ה-VM של העובד במחשב נייד החלונות וצפיתי משרות להיבדק את ידי כל אחד את כתובות ה-IP העובד. בנקודה זו אני גם אישר כי השכפול מחדש באופן אוטומטי.
השארת המחשב הנייד כדי המתנה הביא עובד מתחיל תהליך משרות מהשרת שליטה בעבודה. בעת חידוש השימוש הנייד היה עיכוב של כ - 30-60 שניות, זו כמות נכבדה של זמן העובדים היו צריכים להיות מודעים לכך המכונה שלהם עשוי להשהות למשך זמן קצר, כאשר חוזרים למכונה. מכונות חדשות יותר לא יכול להיות הפסקה של כל כך הרבה זמן. התועלת של סכום של עיבוד המבוצעים על ידי מכונות אלה בתקופות המתנה היה יותר כי גוברים חברי הצוות צורך לחכות תקופה קצרה (אומרים 1 דקה) על הגעתו של המכונות שלהם בבוקר (לעתים קרובות אני מחכה כבר כי זה של Windows Defender עדכון להתקיים) בתנאי שהם היו מודעים זמן (זה שימושי כדי לתפוס את הקפה של הבוקר!).
בסך הכל אני מרגיש בטוח שאני הדגימו את הטכנולוגיות שיכול לשמש כדי ליצור מערכת כזו. אני הראו כי מערכת כזו עובד בקנה מידה (מאוד) קטן עם עוד כמה ניסויים יכול להיות scaled עד לנצל את המשאבים של מכונות של המשרד. אם אני לא מקבל את הצבע של עושה את זה אני יהיה מאוד מעוניין לדעת / לראות מתי מישהו אחר עושה.
מסקנות / הערכת
הצעד הברור הבא יהיה בעצם לקבל דוגמה העולם האמיתי ולהתחיל לפרוס מערכת כגון זו בסביבת המשרד ולראות מה קורה. שואל עסק להתחייב זה בלי חברת שובל בוער להוכיח את הטכנולוגיה ואת היעילות עלול להיות קצת קשה. גריד / מחשוב מבוזר מאוד פופולרי הוא כמה עיגולים ויש כמה יישומים גדולים (BIONC, SETI @ Home, Folding @ Home, וכו '). אני לא, עם זאת, למצוא בקנה מידה קטן יותר ואת המערכת פשוט אוהבים את זה בחיפושים שלי, כי יכול להיות מגולגל בתוך סביבת Office.
אני יצרתי את המערכת בחינם בעצם שימוש בתוכנות קוד פתוח בעיקר כלים הזמינים בכל משרד כמעט. הטכנולוגיות היו הפגינו בעצם ולהראות לבצע עבודה כצפוי. אני מקווה שיש לי להראות כי עם עבודה לא רב עם ההתקנה פשוטה מאוד אתה יכול לפרוס רשת Office מחשוב המערכת כי הוא חזק, זול, וניתן להרחבה בכל באותו הזמן.
לאחר מערכת היא ולהפעלתו כמעט אין סוף לכמות של התאמה אישית שיפורים שאתה יכול לעשות. לקבלת נתונים סטטיסטיים לדוגמה / בהשוואות ניתן בקלות להוסיף מראה את שווים של מערכת כזו בכל יום. מחשבים חדשים ניתן להוסיף בקלות ובמהירות אם וכאשר הם מגיעים עם שדרוגים בחומרה הקיימת חיזוק כוח עיבוד שלך.
אני מקווה שאתה נהנה לקרוא את סדרת המאמרים שלו נתן לכם חומר למחשבה על הפעלת המערכת לרשת המשרד. הפתרון המוצג כאן, לא בהכרח יעבוד בכל המצבים, אך צריך להיות בעל יכולת הסתגלות כדי לאפשר לכם לקבל את הנתונים עיבוד נעשה באמצעות פתרון משלך.
אל תהסס לשלוח לי שום הערות, תיקונים או שיפורים ואני אעשה כמיטב יכולתי כדי לשמור את המאמר הזה עודכן כדי להתאים.
מאמרים , מחשוב , מחשוב גריד , לינוקס , PHP , תכנות אינטרנט | 
אפאצ 'י , bash , אצווה , בנצ 'מרק , מסד נתונים , פריסה , הרשת , לשפר , לינוקס , mySQL , קוד פתוח , PHP , שכפול , חתרנות , וירטואלי , העובד , Zend Framework , zned
[...] את החלק האחרון של הסדרה הזו, aptly בשם חלק 5, נדבר על פריסת מערכת זו. אני לסכם את מה שנלמד לבין [...]
אהלן שם, אחי מאמר מצוין! אני עייפה RSS באמצעות הזנות אתם משתמשים בטוויטר כדי שאוכל לעקוב אחריך שם:? ד
נ.ב.: האם אתה נחשב לשים וידאו בבלוג שלך כדי לשמור על הקוראים נהנו יותר אני חושב שזה עובד, רולנד Gorychka?.
ראה Twitter בצד ימין של כל דף. תודה!