תגובות (2)

על ידי סטיבן לויד ווטקין , יום שישי 4 דצמבר 2009 11:59

הקדמה

אני עובד בחברה שבה גמר עבודות אצווה רבים עיבוד מיליוני רשומות של נתונים מדי יום, חשבתי לאחרונה על כל מכונות יושבים בכל יום לעשות כלום במשך כמה שעות. האם לא יהיה זה טוב אם אנחנו יכולים להשתמש במכונות האלה כדי לחזק את כוח העיבוד של המערכות שלנו? במערכה זו של מאמרים אני מסתכל על היתרונות הפוטנציאליים של העסקת המשרד לרשת באמצעות סביבות וירטואליות.

ב חלק 3 יצרנו מכונה לעיבוד הוירטואלית שלנו להגדיר את Windows מכונות להיות פעיל במשרה עובדים.

הפעלת הקוד האחרונה

באופן בלתי נמנע לאחר יצירת ההיגיון עובדים העסק שלך ישתנה, באגים יימצא, קוד מהיר יותר ויעיל יותר יופק ובכך משאיר העובדים שלך ישבו סביב עיבוד נתונים באמצעות קוד מסריח הישן . כיצד, אם כן אנחנו להבטיח כי אנחנו תמיד להשתמש בגירסה העדכנית ביותר של סקריפטים עיבוד שלנו?

יש כמה דרכים פשוטות קל מאוד שנוכל לעשות את זה, החוכמה, לעומת זאת, היא להפחית את כוח העיבוד ואת תעבורת הרשת בהשגת זה. בואו נתחיל עם הפשוטה של ​​פתרונות ולשפר אותו לאט על כמה חזרות.

השיטה הראשונה יהיה פשוט להתחבר לשרת שלנו מלאה העבודה (דרך סמבה, FTP, או דומה) ולמשוך למטה את הגירסה האחרונה של הקוד. לא מאוד יעיל, אבל זה יעשה את העבודה. מאפשר לשפר את זה קצת, מה דעתך על יצירת סקריפט rsync ושימוש בכל פעם במקום? לחלופין מה לשים סקריפט האחרונה שלנו עיבוד לתוך חתרנות לבדוק את הקוד בתחילה ואז פשוט לעדכן את הקוד שלנו על כל סיבוב ( SVN עדכון )?

בסופו של דבר אנחנו יכולים בסופו של דבר עם סקריפט bash (המכונה ע"י cron כל 10 דקות) שנראה פשוט כמו זה:

  #! / Bin / sh
 אם ps ax | grep-v grep | grep php > / dev / null
 אז
     הד "עבודה בימים אלו עיבוד, יציאה"
 אחר
     הד "איוב אינו פועל, להתחיל עכשיו"
     cd / נתיב / ל / עבודה / העתקה
     עדכון svn
     PHP yourJobProcessingScript.php
 Fi 

עכשיו אנחנו יכולים להיות בטוחים כי עם כל סיבוב אנחנו בהחלט מפעיל את הקוד האחרון. אנו מבטיחים את זה על ידי עדכון בסיס הקוד שלנו כל פעם שאנחנו מבצעים לאורך והפחתת תעבורת הרשת על ידי היחידה להעביר את ההבדלים קבצים ברשת שלנו.

בהגדרת ההפגנה שלי, עשיתי בדיוק כמו לעיל. Subversion הותקן על השרת שלי את העבודה עיבוד פשוט משך את הקוד האחרונה של סניף "הפועל" באמצעות "svn עדכון". אני גם הוסיף תג מספר הגירסה עיבוד לתסריט שלי שהוחזרה באתר כחלק להחזיר תוצאות. בדרך זו יכולתי לראות את הקוד שלי היה להיות מעודכן בכל פעם העתקתי המטען שלי לתוך כלומר הסניף עובד שאני בהחלט הפעלת ה-script עיבוד האחרונה.

באמצעות הנתונים האחרונים

אם עיבוד העבודה שלך עושה שימוש במקורות נתונים ואז בשלב מסוים אלה הולכים להיות מעודכן מדי. אלא אם כן אתה קורא מקורות הנתונים באופן תכוף מאוד אתה הולך להציף את הרשת עם התנועה מיד עם העובדים שלך יתחילו להופיע להביא הכל כדי קיפאון. הפתרון שלי החלטתי שאני רוצה לעבור מקורות הנתונים שלי מסביב עם מכונות וירטואליות שלי.

החזיקו את הסוסים שם! מה אם מקורות הנתונים שלי הם ענקיים? טוב זה באמת מקרה של כמות הנתונים אנחנו מדברים? זה יכול להיות יותר חסכוני להתקין כונן קשיח גדול יותר נוספת לתוך כל מכונה מאשר לרכוש שרת עיבוד נוסף. זו שאלה של תקציב הוא עד העסק להחליט. זה אולי מקורות הנתונים שלך כל כך גדולה שלו אינו עומד על הפרק רק כדי לשמור על כמות הנתונים במכונות הפועלות שלך. אם כך מה היית עושה? גם אנחנו יכולים להסתכל קורא שרת הנתונים המקומי, אבל זה עלול לגרום לבעיות עם הרשת. במקרה זה מערכת רשת כגון זה עשוי להיות מציאותי כוללים בסביבת המשרד שלך. ייתכן גם כי אתה יכול לבדוק את אסטרטגיות חלופיות הפועלים, למשל רק קורא לעובדים 08:00-06:00 כל לילה ו / או נתונים ויסות בקשות המקור.

הלאה נניח כמות הנתונים שלנו מקורות 100GB של נתונים. ובכן כן, זה לא מעט נתונים כדי לנוע ברשת על העדכון. איך היינו להבטיח שיש לנו את העותק האחרון של הנתונים במקרה זה? Rsync היא אפשרות, אבל באופן אישי אני חושב על ידי הרצת קוד עדכנית הנתונים בשרת שלך עבודה עיבוד להגדיר זאת כמאסטר בשכפול (יומן עם סל יפה ארוכה) יכול להיות כל הכבוד:

על ידי הגדרת כל אחד העובדים שלך עד כעבד את השליטה עדכונים עבודה שרת למקורות נתונים שלך לטפטף יפה לעובדים שלך בלי גידול עצום בפעילות הרשת (כלומר, אלא אם כן אתה מבצע עדכון נתונים ענק וכל העובדים שלך בעיטה בבת אחת). זו יתרונות על פני rsync, כי אתה לא מקבל הפסקה ארוכה לפני כל עבודה, גם את העדכונים של מסדי נתונים, MySQL daemon על העובד שלך יהיה לעדכן את הנתונים בזמן עיבוד ממשיך.

כך אני מגדיר את שרת ההפגנה שלי. כדי להגדיר שכפול עקבתי אחרי המדריך באתר MySQL ( הגדרת שכפול ) ותוך 20 דקות היה לי עובד inital שלי שכפול השליטה העבודה במערך השרתים. עבור כל עובד נוסף את ההגדרות שכפול תהליך עבד בכל פעם כאשר VM הועתק.

תקציר

בחלק זה של המאמר יש לנו הסתכל כמה קל ונטול כאבים זה היא לשמור על קוד העיבוד שלך מעודכן על ידי using rsync או subverion (SVN) לעשות את העבודה ולהפחית את תעבורת הרשת על time. אותו דנו גם כמה כדי לשמור על מידע ממקור הנתונים עד עדכני, לאפשר לה לטפטף לכל אחד העובדים שלך. כך אנו האזור להבטיח לנו לשמור על קשר עם לוגיקה עסקית ומידע במערכת שלנו המשרד לרשת. יש שתהא אינספור חלופות לביצוע משימות אלה, אבל כאן היו שתי דוגמאות פשוטות כדי להראות עד כמה קל הפתרון הוא להשיג.

בפעם הבאה

בחלק האחרון של סדרה זו, בשם בצדק חלק 5 , נדבר על פריסת מערכת זו. אני לסכם את מה שנלמד ומה הצלחתי ליצור.

תגובות (3)

על ידי סטיבן לויד ווטקין , יום שישי 4 דצמבר 2009 11:03

הקדמה

אני עובד בחברה שבה גמר עבודות אצווה רבים עיבוד מיליוני רשומות של נתונים מדי יום, חשבתי לאחרונה על כל מכונות יושבים בכל יום לעשות כלום במשך כמה שעות. האם לא יהיה זה טוב אם אנחנו יכולים להשתמש במכונות האלה כדי לחזק את כוח העיבוד של המערכות שלנו? במערכה זו של מאמרים אני מסתכל על היתרונות הפוטנציאליים של העסקת המשרד לרשת באמצעות סביבות וירטואליות.

ב חלק 4 הסתכלנו שימוש בכלים על מנת להבטיח שאנחנו מריץ את הגירסה האחרונה של מקורות קוד ונתונים, כך התוצאות המתקבלות הן תמיד up-to-date עם המידע העסקי העדכני ביותר ואת ההיגיון.

לפני פריסה

לפני פריסת המערכת רשת שלך אם יש דבר אחד שאתה עושה דבר אחד בלבד זה שיא המערכת הנוכחית שלך! לא משנה מה אתה אומר על הקולגות כמה עבודה נוספת המערכת הולך לעשות אלא אם יש לך מספרים לגבות את זה ערבויות שלך הם כלום. אז,

• כמה שיאים אפשר לעבד כיום? ביום? לשעה?
• כמה זמן בדרך כלל לוקח להסתובב עבודה?
• כמה קיבולת יותר יש לך?

יש גם שאלות נוספות:

• אם שרת העיבוד שלך (או אחד השרתים העיבוד) יורדת איך זה ישפיע על היכולות שלך, אתה תהיה נכה?
• אילו יתרונות אתה מקווה / מצפה לקבל ממערכת הרשת?
• מכונות משרדיות שלך מסוגל להריץ את העבודות?
• האם שלך (או עבודות ניתן להמיר) כדי wrok בסגנון הזה של ריצה?

הנקודה הגדולה האחרונה היא לקחת את הזמן שלך על כל שינוי משמעותי כזה. עדכן את קוד העיבוד שלך לעבוד באמצעות שיא חדש, מתודולוגיה שוב. ואולי להקים שרת העיבוד להפעיל מכונה וירטואלית, אחרי כל שרת עיבוד שלך תהיה רק ​​עוד עובד (רק 1 חזק מאוד יחסית). לאפשר תהליך חדש להתיישב.

פריסה

ההצעה שלי יהיה לקפוץ לתוך סוף השבוע למשרד לבצע את כל המתקנים ועל ההתקנה. לעשות את זה רק לפני החג של שבועיים ולצאת אחר כך המסכן להתמודד עם ההשלכות ... ואולי לא ...

פריסה של מערכת כזו צריכה להיות איטית. למרות היותו פשוט יחסית להקים את המערכת תשפיע על תשתית המשרד כולו (גם 1 דיגיטלי). ראשית, לרדד לכמה מכונות בכל פעם, התנועה צג הרשת, איך המארחים העובד לבצע על בסיס היום יום. ייתכן שיהיה עליך לשנות את תצורת העבודה שלך בתגובה לממצאים שלך.

לאחר שהמערכת כבר התיישבו עם כמה מכונות (נניח 10% מכלל מכונות משרדיות, כלומר 5) לשמור על רשת ניטור התנועה המחשב המארח performance. benchmark הבא שוב, כעת אתה אמור להיות עיבוד מקומות עבודה 33% יותר מאשר מבחני ביצועים הראשונים שלך. יש לבדוק את זה כך, או שאתה לפחות האצטדיון הזה. אם לא, לבדוק מה קורה לפני שעבר. חזור על מחזור עד בשמחה יש כל מכונות משרדיות פועל בלי להרוג את ביצועי המכונה אדם או שחיקה הרשת כדי קיפאון.

בכל עת להמשיך בהשוואות, גם לאחר כל פריסות עשויים. בדוק כמה עדכונים הקוד החדש משפיע על המהירות של המערכת שלך, בדוק כל העובדים מדווחים על ועיבוד מקומות עבודה. לאט לאט (לאט לאט) להגדיל תצורת העבודה שלך כדי לקבל את הטוב ביותר מן העובדים שלך ברשת.

עצור!

מה אם אתה רוצה להפסיק העובדים שלך לפעול בזמן זה? הם כולם שם פועל, התחדשות, ומנסה כמיטב יכולתם כדי לעבד את הנתונים כמו חרקים רעבים. התשובה אולי נראה מובן מאליו אבל שווה להוסיף למקרה להתעלם שלה. כל שעליך לעשות הוא לערוך את התסריט לעיבוד שלך עם יציאה (0) או למות () או כל משפט אחר להרוג עבודה עיבוד שלך. סיבה חשובה מדוע אנחנו תמיד מנסים לעדכן את התסריט לעיבוד האחרונה לפני להפעיל את כל!

הפגנה מערכת

על מנת לכתוב את סדרת המאמרים הקצרים יצרתי רשת קטנה מאוד להפגין את טכנולוגיות ומתודולוגיות. קראתי הרבה מאמרים, מדריכים, והשתמשו בכלים שונים כדי להגדיר ולעקוב אחר המתרחש. בשום אופן לא הייתי הלך החוצה רווי המשרד כולו עם התנועה וגם לא היתה לי גישה למחשב חברי צוות קבוע כדי לראות איך ביצועי המארח הושפע.

מערכת ההדגמה שלי היה צנוע מאוד. השתמשתי שולחן העבודה הרגיל שלי להגדיר כשרת השליטה העבודה. על זה אני התקין mySQL מותקן שרת להגדיר בתור אמן בשכפול, PHP , A ו-SVN מקושר דרך Apache (גישה דרך VM עובד).

אז יצר מכונת CentOS על VirtualBox עובד על מחשב נייד בן 6 של Windows XP. אני להגדיר משימות מתוזמנות כאמור לאחר העתקת VM על המחשב ולתת לו ללכת.

מכונה וירטואלית הוקמה עם PHP, חתרנות, ו-MySQL. בדקתי את ענף בשם "העובד מהעבודה שלי מאגר השליטה שרתי ודאג שזה יכול להתעדכן באמצעות" svn עדכון ". הבא לי את תוכנית ההתקנה MySQL בתור עבד ובדק את הנתונים שכפול מ-MySQL בשרת הבקרה עבודה עד VM עובד. אחרי כל זה אני ההתקנה סקריפט bash לבין עבודה cron.

עיבוד התסריט שלי בעצם הלכה בנוסח זה (דברים פשוט מאוד):

• קרא בשדה שם
• מנה את מספר שמות דומים בטבלה ממקור נתונים שנערך ב VM
• מנה את מספר שמות כמו שם לעיל, אך פיצול ידי רווחים (כלומר שם פרטי, המזרח, שם משפחה)
• תהליך זה חזר על 1,000 פעמים

כל עבודה לקח כ 20 דקות לרוץ. בשלב מסוים פתחתי כמה עותקים של VM עובד על מחשב נייד Windows וצפה את העבודות יש לבדוק את כל אחד את כתובות ה-IP העובד. בשלב זה אני גם אישר כי שכפול אוטומטית מחדש.

השארת המחשב הנייד להתבטל הביא עובד החל לעבד עבודות משרת את השליטה העבודה. בעת חידוש השימוש הנייד היה עיכוב של כ 30-60 שניות, זה לא מעט זמן הצוות היו צריכים להיות מודעים כי המחשב שלו רשאי להשהות לזמן קצר בעת החזרת המכונה. מכונות חדשות יותר לא יכול להיות הפסקה של כל כך הרבה זמן. היתרון של כמות עיבוד על ידי מכונות אלה בתקופות סרק יותר כי היו עולים על אנשי הצוות יצטרכו להמתין פרק זמן קצר (נניח, 1 דקה) עם הגעתו של המכונות שלהם בבוקר (לעתים קרובות אני מחכה כבר שזה עבור Windows Defender לעדכן להתקיים) בתנאי שהם היו מודעים לכך (זמן שימושי לתפוס קפה בבוקר!).

בסך הכל אני מרגיש בטוח שאני הוכיחו את הטכנולוגיות שניתן להשתמש בו כדי ליצור מערכת כזו. אני הראו כי מערכת כזו פועלת בקנה מידה (מאוד) קטן עם עוד כמה ניסויים יכול להיות scaled עד לנצל את המשאבים של המחשבים של המשרד. אם אני לא מבין עד כדי לעשות את זה הייתי מאוד מעוניין לדעת / לראות מתי מישהו אחר עושה.

מסקנות / הערכה

הצעד הברור הבא יהיה ממש מקבל דוגמה העולם האמיתי ולהתחיל לפרוס מערכת כזאת בתוך הסביבה במשרד ולראות מה קורה. מבוקש העסק להתחייב זה ללא חברת שובל בוער להוכיח את הטכנולוגיה והיעילות עלול להיות קצת קשה. גריד / מחשוב מבוזר מאוד פופולרי הוא כמה עיגולים ויש כמה יישומים גדולים (BIONC, SETI @ Home, Folding @ home, וכו '). לא, עם זאת, בקנה מידה קטן יותר למצוא מערכת פשוטה כמו זו בחיפושים שלי זה יכול להיות מגולגל בתוך הסביבה במשרד.

יצרתי מערכת חופשית בעצם שימוש בתוכנות קוד פתוח בעיקר כלי זמין בכל משרד כמעט. טכנולוגיות היו הפגינו בעצם ולהראות לבצע ולעבוד כצפוי. אני מקווה שיש לי להראות את זה עם העבודה לא הרבה יותר ועם התקנה פשוטה מאוד אתה יכול לפרוס רשת המחשוב במשרד המערכת כי הוא חזק, זול, וניתן להרחבה כולם בעת ובעונה אחת.

לאחר שהמערכת היא ולהפעלתו אין כמעט סוף לכמות התאמה אישית שיפורים שאתה יכול לעשות. לסטטיסטיקה לדוגמה / בהשוואות יכול בקלות להוסיף מראה את השווי של מערכת כזו בכל יום. מחשבים חדשים ניתן להוסיף בקלות ובמהירות כפי וכאשר הם מגיעים עם שדרוגים החומרה הקיימת לחזק את כוח העיבוד שלך.

אני מקווה שאתה נהנה לקרוא סדרת מאמרים שלו נתן לכם חומר למחשבה על הפעלת המערכת לרשת המשרד. הפתרון המוצג כאן לא בהכרח יעבוד בכל המצבים, אך צריך להיות מותאם כדי לאפשר לך לקבל את עיבוד הנתונים נעשה באמצעות פתרון משלך.

אתם מוזמנים לשלוח לי הערות, תיקונים או שיפורים ואני אעשה כמיטב יכולתי כדי לשמור את המאמר הזה מתעדכן בהתאם.