הקדמה
אני עובד בחברה שבה גמר עבודות אצווה רבים עיבוד מיליוני רשומות של נתונים מדי יום, חשבתי לאחרונה על כל מכונות יושבים בכל יום לעשות כלום במשך כמה שעות. האם לא יהיה זה טוב אם אנחנו יכולים להשתמש במכונות האלה כדי לחזק את כוח העיבוד של המערכות שלנו? במערכה זו של מאמרים אני מסתכל על היתרונות הפוטנציאליים של העסקת המשרד לרשת באמצעות סביבות וירטואליות.
ב חלק 4 הסתכלנו שימוש בכלים על מנת להבטיח שאנחנו מריץ את הגירסה האחרונה של מקורות קוד ונתונים, כך התוצאות המתקבלות הן תמיד up-to-date עם המידע העסקי העדכני ביותר ואת ההיגיון.
לפני פריסה
לפני פריסת המערכת רשת שלך אם יש דבר אחד שאתה עושה דבר אחד בלבד זה שיא המערכת הנוכחית שלך! לא משנה מה אתה אומר על הקולגות כמה עבודה נוספת המערכת הולך לעשות אלא אם יש לך מספרים לגבות את זה ערבויות שלך הם כלום. אז,
- כמה שיאים אפשר לעבד כיום? ביום? לשעה?
- כמה זמן בדרך כלל לוקח להסתובב עבודה?
- כמה קיבולת יותר יש לך?
יש גם שאלות נוספות:
- אם שרת העיבוד שלך (או אחד השרתים העיבוד) יורדת איך זה ישפיע על היכולות שלך, אתה תהיה נכה?
- אילו יתרונות אתה מקווה / מצפה לקבל ממערכת הרשת?
- מכונות משרדיות שלך מסוגל להריץ את העבודות?
- האם שלך (או עבודות ניתן להמיר) כדי wrok בסגנון הזה של ריצה?
הנקודה הגדולה האחרונה היא לקחת את הזמן שלך על כל שינוי משמעותי כזה. עדכן את קוד העיבוד שלך לעבוד באמצעות שיא חדש, מתודולוגיה שוב. ואולי להקים שרת העיבוד להפעיל מכונה וירטואלית, אחרי כל שרת עיבוד שלך תהיה רק עוד עובד (רק 1 חזק מאוד יחסית). לאפשר תהליך חדש להתיישב.
פריסה
ההצעה שלי יהיה לקפוץ לתוך סוף השבוע למשרד לבצע את כל המתקנים ועל ההתקנה. לעשות את זה רק לפני החג של שבועיים ולצאת אחר כך המסכן להתמודד עם ההשלכות ... ואולי לא ...
פריסה של מערכת כזו צריכה להיות איטית. למרות היותו פשוט יחסית להקים את המערכת תשפיע על תשתית המשרד כולו (גם 1 דיגיטלי). ראשית, לרדד לכמה מכונות בכל פעם, התנועה צג הרשת, איך המארחים העובד לבצע על בסיס היום יום. ייתכן שיהיה עליך לשנות את תצורת העבודה שלך בתגובה לממצאים שלך.
לאחר שהמערכת כבר התיישבו עם כמה מכונות (נניח 10% מכלל מכונות משרדיות, כלומר 5) לשמור על רשת ניטור התנועה המחשב המארח performance. benchmark הבא שוב, כעת אתה אמור להיות עיבוד מקומות עבודה 33% יותר מאשר מבחני ביצועים הראשונים שלך. יש לבדוק את זה כך, או שאתה לפחות האצטדיון הזה. אם לא, לבדוק מה קורה לפני שעבר. חזור על מחזור עד בשמחה יש כל מכונות משרדיות פועל בלי להרוג את ביצועי המכונה אדם או שחיקה הרשת כדי קיפאון.
בכל עת להמשיך בהשוואות, גם לאחר כל פריסות עשויים. בדוק כמה עדכונים הקוד החדש משפיע על המהירות של המערכת שלך, בדוק כל העובדים מדווחים על ועיבוד מקומות עבודה. לאט לאט (לאט לאט) להגדיל תצורת העבודה שלך כדי לקבל את הטוב ביותר מן העובדים שלך ברשת.
עצור!
מה אם אתה רוצה להפסיק העובדים שלך לפעול בזמן זה? הם כולם שם פועל, התחדשות, ומנסה כמיטב יכולתם כדי לעבד את הנתונים כמו חרקים רעבים. התשובה אולי נראה מובן מאליו אבל שווה להוסיף למקרה להתעלם שלה. כל שעליך לעשות הוא לערוך את התסריט לעיבוד שלך עם יציאה (0) או למות () או כל משפט אחר להרוג עבודה עיבוד שלך. סיבה חשובה מדוע אנחנו תמיד מנסים לעדכן את התסריט לעיבוד האחרונה לפני להפעיל את כל!
הפגנה מערכת
על מנת לכתוב את סדרת המאמרים הקצרים יצרתי רשת קטנה מאוד להפגין את טכנולוגיות ומתודולוגיות. קראתי הרבה מאמרים, מדריכים, והשתמשו בכלים שונים כדי להגדיר ולעקוב אחר המתרחש. בשום אופן לא הייתי הלך החוצה רווי המשרד כולו עם התנועה וגם לא היתה לי גישה למחשב חברי צוות קבוע כדי לראות איך ביצועי המארח הושפע.
מערכת ההדגמה שלי היה צנוע מאוד. השתמשתי שולחן העבודה הרגיל שלי להגדיר כשרת השליטה העבודה. על זה אני התקין mySQL מותקן שרת להגדיר בתור אמן בשכפול, PHP , A ו-SVN מקושר דרך Apache (גישה דרך VM עובד).
אז יצר מכונת CentOS על VirtualBox עובד על מחשב נייד בן 6 של Windows XP. אני להגדיר משימות מתוזמנות כאמור לאחר העתקת VM על המחשב ולתת לו ללכת.
מכונה וירטואלית הוקמה עם PHP, חתרנות, ו-MySQL. בדקתי את ענף בשם "העובד מהעבודה שלי מאגר השליטה שרתי ודאג שזה יכול להתעדכן באמצעות" svn עדכון ". הבא לי את תוכנית ההתקנה MySQL בתור עבד ובדק את הנתונים שכפול מ-MySQL בשרת הבקרה עבודה עד VM עובד. אחרי כל זה אני ההתקנה סקריפט bash לבין עבודה cron.
עיבוד התסריט שלי בעצם הלכה בנוסח זה (דברים פשוט מאוד):
- קרא בשדה שם
- מנה את מספר שמות דומים בטבלה ממקור נתונים שנערך ב VM
- מנה את מספר שמות כמו שם לעיל, אך פיצול ידי רווחים (כלומר שם פרטי, המזרח, שם משפחה)
- תהליך זה חזר על 1,000 פעמים
כל עבודה לקח כ 20 דקות לרוץ. בשלב מסוים פתחתי כמה עותקים של VM עובד על מחשב נייד Windows וצפה את העבודות יש לבדוק את כל אחד את כתובות ה-IP העובד. בשלב זה אני גם אישר כי שכפול אוטומטית מחדש.
השארת המחשב הנייד להתבטל הביא עובד החל לעבד עבודות משרת את השליטה העבודה. בעת חידוש השימוש הנייד היה עיכוב של כ 30-60 שניות, זה לא מעט זמן הצוות היו צריכים להיות מודעים כי המחשב שלו רשאי להשהות לזמן קצר בעת החזרת המכונה. מכונות חדשות יותר לא יכול להיות הפסקה של כל כך הרבה זמן. היתרון של כמות עיבוד על ידי מכונות אלה בתקופות סרק יותר כי היו עולים על אנשי הצוות יצטרכו להמתין פרק זמן קצר (נניח, 1 דקה) עם הגעתו של המכונות שלהם בבוקר (לעתים קרובות אני מחכה כבר שזה עבור Windows Defender לעדכן להתקיים) בתנאי שהם היו מודעים לכך (זמן שימושי לתפוס קפה בבוקר!).
בסך הכל אני מרגיש בטוח שאני הוכיחו את הטכנולוגיות שניתן להשתמש בו כדי ליצור מערכת כזו. אני הראו כי מערכת כזו פועלת בקנה מידה (מאוד) קטן עם עוד כמה ניסויים יכול להיות scaled עד לנצל את המשאבים של המחשבים של המשרד. אם אני לא מבין עד כדי לעשות את זה הייתי מאוד מעוניין לדעת / לראות מתי מישהו אחר עושה.
מסקנות / הערכה
הצעד הברור הבא יהיה ממש מקבל דוגמה העולם האמיתי ולהתחיל לפרוס מערכת כזאת בתוך הסביבה במשרד ולראות מה קורה. מבוקש העסק להתחייב זה ללא חברת שובל בוער להוכיח את הטכנולוגיה והיעילות עלול להיות קצת קשה. גריד / מחשוב מבוזר מאוד פופולרי הוא כמה עיגולים ויש כמה יישומים גדולים (BIONC, SETI @ Home, Folding @ home, וכו '). לא, עם זאת, בקנה מידה קטן יותר למצוא מערכת פשוטה כמו זו בחיפושים שלי זה יכול להיות מגולגל בתוך הסביבה במשרד.
יצרתי מערכת חופשית בעצם שימוש בתוכנות קוד פתוח בעיקר כלי זמין בכל משרד כמעט. טכנולוגיות היו הפגינו בעצם ולהראות לבצע ולעבוד כצפוי. אני מקווה שיש לי להראות את זה עם העבודה לא הרבה יותר ועם התקנה פשוטה מאוד אתה יכול לפרוס רשת המחשוב במשרד המערכת כי הוא חזק, זול, וניתן להרחבה כולם בעת ובעונה אחת.
לאחר שהמערכת היא ולהפעלתו אין כמעט סוף לכמות התאמה אישית שיפורים שאתה יכול לעשות. לסטטיסטיקה לדוגמה / בהשוואות יכול בקלות להוסיף מראה את השווי של מערכת כזו בכל יום. מחשבים חדשים ניתן להוסיף בקלות ובמהירות כפי וכאשר הם מגיעים עם שדרוגים החומרה הקיימת לחזק את כוח העיבוד שלך.
אני מקווה שאתה נהנה לקרוא סדרת מאמרים שלו נתן לכם חומר למחשבה על הפעלת המערכת לרשת המשרד. הפתרון המוצג כאן לא בהכרח יעבוד בכל המצבים, אך צריך להיות מותאם כדי לאפשר לך לקבל את עיבוד הנתונים נעשה באמצעות פתרון משלך.
אתם מוזמנים לשלוח לי הערות, תיקונים או שיפורים ואני אעשה כמיטב יכולתי כדי לשמור את המאמר הזה מתעדכן בהתאם.