ה-LAB הבא: פרק 11 – החום

אתחיל בתמונה: מה שאתם רואים משמאל לקוח מתוך vSphere (מתוך ה-VCSA) ומציג בעצם את העומס על 2 שרתים שנמצאים כאשכול אצלי (הם ב-DRS כך שהעומס מחולק וב-2 המכונות מצב המעבד נראה כך). כמו שאתם יכולים לראות, העומס על המעבדים הוא קטן מאוד.

ובכל זאת, אם נקשיב למאווררים, נוכל לשמוע שהם לא ממש שקטים (לחצו להאזנה).

האם זה קשור לדגם מסוים של שרת או Brand כלשהו? התשובה היא לא. הבעיה תחזור בכל השרתים בגודל 1U, גם כאשר אין שום עומסים על המערכת. מה הסיבה? החום, כמובן. כך נראית טבלאת החומרה עם הטמפרטורות כרגע (לחצו להגדלה):

כמובן, כל מי שהתעסק או קרא אי פעם על Overclocking או שמבין במעלות חום למעבדים, יבין שהמספרים לא כל כך מדאיגים לגבי מעבד. בכל זאת, הוא יכול לעבוד עד 85 מעלות בלי שום בעיה (אם כי לא מומלץ שיגיע לשם) וכך גם לגבי הזכרון, כך שהמכונות יכולות להמשיך לעבוד ללא בעיה.

מדוע בעצם השרתים מגיעים לחום הזה? נכון, היכן שהם נמצאים אין מזגן, אבל המאווררים אמורים להעיף את החום, לא? אז זהו, שכאן מתחילה הבעיה הגדולה.

בתכנון השרתים.

במחשבי דסקטופ/תחנות עבודה העניין די ברור ופשוט: יש מאוורר ומערכת קירור יעודית למעבד, כנ"ל לגבי הכרטיס הגרפי. שאר המאווררים (תלוי בתצורת ה-Push/Pull שקבענו בעת הבניה) מטרתם בסך הכל להכניס אויר ולהוציא אויר. הם לא יכולים לקרר את המעבד או ה-GPU. אויר בטמפרטורת החדר נכנס, אויר חם יוצא. גם ביום קיץ מהביל, אינכם שומעים מחשב (כל עוד הוא תקין מבחינת מאווררים) "זועק" כמו הדוגמא שהעליתי לעיל.

בשרתים לעומת זאת, אפשר לראות את התכנון הלקוי שאפיין שרתי 1U בעשור האחרון. קשה להאשים את היצרנים – בסופו של דבר, רעש זה הפרמטר האחרון שהם התחשבו בו, ולכן הם החליטו שהפתרון הכי טוב לשרתים הם צלעות על המעבדים, ו-6-7 מאווררים קטנים אך חזקים בחזית השרת (אחרי הכוננים וה-Backplane), כך ששרתי 1U של היצרנים המוכרים מרעישים בברירת המחדל כשחם בחדר, גם כשהמעבדים לא עושים כמעט כלום. אגב, בשרתים מהדור האחרון היצרנים (לפחות HPE) "נזכרו" בחלק מהדגמים להשתמש בפתרונות כמו צינורות נחושת להעברת האויר ובכך השרתים יותר שקטים, רק שרוב האנשים לא ממש חושבים לרכוש שרתים מהדור האחרון ל-LAB הביתה..

הפתרון שכל אחד יציע: סגור את השרתים בחדר עם מזגן. הבעיה היא שגם אם תיישם זאת והמזגן יעבוד באופן רצוף, זה יעלה לך כל שנה כמעט 3000 שקל (כלומר תוספת של 500 שקל לחשבון חשמל דו חודשי):

אז מה? לא לקנות שרתים 1U? אם אתה לא יכול לסגור אותם בחדר ממוזג או לשים אותם במקום שיש בו מיזוג שפועל רצוף (במיוחד בימים כאלו שהחום ביום יכול להגיע ל-36 מעלות ומעלה) – אז יהיה עדיף לוותר על הפיתוי ולחשוב על פתרון אחר.

אם לעומת זאת, אתה רוצה לבנות שרת 1U אז תוכל להשתמש במס' טריקים שיוכלו לעזור לך "להשתיק" את השרת גם ללא צורך במזגן:

  • בחר במעבד נכון. אם לא מדובר בשרת וירטואליזציה אלא שרת קבצים או מדיה, אפשר לקנות לוחות שמשובץ בתוכם מעבד (שלא ניתן להחלפה) או לחלופין קנה מעבד שמעטפת צריכת החשמל שלו נמוכה (AMD לדוגמא הוציאו את ה-Ryzen 5 2400GE שמעטפת צריכת החשמל שלו היא 35 וואט ועדיין יש לו מעבד גרפי מכובד לדברים פשוטים ויש לו 4 ליבות).
  • השתמש בפתרון איוורור אקטיבי הכולל מאוורר. לחברת Dynatron לדוגמא יש מאוורר ל-1U וכל עוד המעבד לא מתאמץ אתה לא ממש תשמע אותו (כך שזה לא ל-HTPC עם מעבד חלש וישן). לעומת זאת לאותו מעבד AMD שציינתי לעיל הוא בהחלט יכול להתאים הואיל וכמות החום שהוא יוציא היא קטנה.
  • את המאווררים בקופסת 1U מומלץ לזרוק לפח ולרכוש מאווררי 40 מ"מ של חברת Noctua. אלו מאווררים שתוכננו מלכתחילה להיות שקטים מאוד והם כוללים גם 2 ערכות חוטים כדי להשתיק את המאווררים עוד יותר, והם כוללים גם גומיות בצדדים להשתקת ויברציות. בקיצור – אלו מאווררים מעולים.

בשרתי 2U יש יותר מקום וניתן לבצע כל מיני Hacks כדי להשתיק אותם ועל כך – בפרק הבא.

ה-LAB הבא פרק 9: הרפתקאות עם שרתי HP דור 7

השבוע רכשתי (במחיר טוב! כמה? מוזמנים לקרוא את הפוסט שלי בנושא בבלוג העסקי) 3 שרתי HP DL360 G7. אלו שרתים די בסיסיים (בכל זאת, Xeon מלפני 8 שנים!) אבל קיבלתי אותם עם המון זכרון (208 ג'יגה!) ורציתי להקים עליהם VMWare vSphere 6.5 האחרון.

וכאן החלו ההרפתקות שאני רוצה לשתף עמכם, אם תירצו לרכוש שרתים כאלו בעתיד.

הדבר הראשון שהיתה בעיה – מערכת ה-iLO (זו מערכת הגישה מרחוק, ה-KVM המובנה פנימית) היתה לא מעודכנת (גירסה 1.15) וכתוצאה מכך לא היה ניתן כלל להיכנס לשרת מרחוק דרך דפדפן. לאחר בדיקות בגוגל התברר כי קודם כל יש לשדרג את הקושחה לגירסה 1.28 ורק לאחר מכן לשדרג לגירסת הקושחה האחרונה (נכון להרגע: 1.89). מכיוון שזו מערכת ישנה, אם אתם רוצים לראות את המסך מרחוק, תצטרכו .. להתקין JAVA ו"להילחם" בכרום שיתן לכם להוריד את קובץ ה-jnlp כדי שתוכלו להפעיל אותו. אם לעומת זאת אתם עם Firefox, מזלכם האיר לכם, יש תוסף יעודי "טבעי" של iLO ל-Firefox. בכל מקרה אין גירסת HTML5 לממשק ה-KVM לצפיה במסך. זה קיים רק ב-iLO 5 ומעלה ואי אפשר לשדרג iLO בשרת.

אחרי שסידרנו את עניין הגישה מרחוק, הדבר המומלץ הבא הוא לעדכן קושחות של השרתים. עדיין אין לנו מערכת הפעלה מותקנת ולכן מומלץ לעשות זאת עם קובץ ISO של יצרן השרת. כאן מגיעה הפתעה די מאכזבת: ל-HP אין שום בעיה שתורידו דרייברים ללא תשלום או רישום, אבל כשזה מגיע ל-ISO הזה הם רוצים שתשלמו על הארכת אחריות בכדי לקבל גישה לקובץ (שנקרא SPP – שזה Service Platform for Priliant וזו גירסה עצמונית של SUM – מערכת העדכון של HP). מכיוון שאין סיכוי שאני אשלם על שרת ישן "חידוש אחריות", פניתי ל"חבר האינטרנטי" (גוגל). נחסוך לכם את החיפוש, כאן אתם יכולים להוריד את ה-ISO מחודש יולי (מצאתי מקום אחר שנותן להוריד עדכון מהחודש, אבל אין שום הבדלים בין קבצי ה-ISO בכל מה שקשור לשרתים G7).

אז איך נפעיל את ה-ISO? שנתחיל לחפש USB Disk on key? לא צריך, אפשר דרך iLO.. כלומר אפשרי, אבל רק אחרי שתרכוש רשיון של iLO Advanced (אם אין לכם בשרת, לי לא היה באחד מהשרתים). כמה עולה? הו, טוב ששאלתם:

לשנה זה עולה $221 ול-3 שנים $339 וזה כמובן לא מזכה אתכם בשום תמיכה (התמיכה היחידה שתקבלו זה איפה להכניס את המספר ועדכונים.. שהם רק ל-iLO). טוב, גם הפעם אני לא ממש מעוניין לשלם על הרשיון אז שוב – גוגל שנותן לך לינק ל-Reddit כאן עם 2 רשיונות. תכניס, תפעיל (לא, זה לא מתחבר לאינטרנט לבדוק אם הרשיון "כשר").

אחרי שהפעלנו את הרשיון, ניתן להפעיל את ה-Remote Console, וניתן למפות קובץ ISO מהמכונה המקומית שלכם ולהפעיל את ה-SPP. כמות העדכונים שהיו היא .. אחת. עדכון לקושחת כרטיסי Qlogic. אם ציפיתם שהוא יעדכן את ה-iLO באותה הזדמנות – טעיתם. זה לא כולל עדכון של iLO. מדוע? ל-HP הפתרונים…

אז אחרי שהתקננו את העדכונים ל-iLO ויש לנו גישה מהדפדפן, אחרי שהרצנו את ה-SPP והוא עדכן את קושחת כרטיס הרשת הפנימי – נרצה להתקין וירטואליזציה אולי? אולי VMWare? רעיון מעולה, רק ששוב – זה לא כזה פשוט…

ל-HP יש IMAGE מוכן שתוכלו להריץ אותו דרך ה-iLO (אני ממליץ להכניס USB Disk on Key או כרטיס SD לשרת ועליו להתקין את ה-ESXi במקום דיסקים קשיחים). אתם מוזמנים להוריד אותו ולהתקין, הכל ילך חלק עד ש… תנסו להעמיס על השרת ותוך 6 דקות על השעון תיראו במסך ה-KVM מוצף בצבע סגול עם הודעות שגיאה ורגיסטרים. זה נראה כך:

לא, החומרה שלכם לא דפוקה, זה הדרייבר SMX של HP שהותאם לעבוד עם שרתים דור 9 ו-10, אבל בדרך הם שברו תאימות לשרתים דור 7 ו-8. מה עושים? משנסים מותניים, מתקינים VMWare PowerCLI ועוקבים אחר ההוראות כאן איך ליצור ISO חדש הכולל דרייברים מגירסה vSphere 6.0. אחרי שהכננו את ה-ISO, מפעילים דרך ה-iLO ומתקינים על ה-USB Disk on Key או על כרטיס ה-SD. מנסיון – זה עובד מעולה. עכשיו אפשר להתחיל לעבוד …

… בערך.

אם כל ה-Datastore שלכם מאוחסן באיזה סטורג' או NAS – אין בעיה שתתחילו לעבוד עם המערכת. לעומת זאת, אם אתם חושבים להכניס דיסקים SATA – תתבעסו לגלות שמהירות ה-SATA היא 3 ג'יגהביט (במקום 6 ג'יגהביט של SATA 3), כך שאו שתיקחו דיסקים SAS או שתחליפו לבקר אחר (ותשיגו כבל מיני SAS 8087 לחבר בין ה-Backplane לבין הכרטיס). חושבים להכניס SSD? קנו בקר אחר. איזה? כזה. מבחינת הרחבת זכרון, אתם יכולים להכניס עד 192 ג'יגהבייט אם זה זכרון 8500R (במהירות 1066 מגהרץ) או 288 ג'יגהבייט אם זה זכרון 10600R (במהירות 1333 מגהרץ).

ולבסוף רשמים: איך הרעש? כרגע מופעלים 2 מכונות כשבכל אחד מהם מעבדי X5650. אני כרגע מריץ סה"כ 10 מכונות VM (יהיו עוד הרבה) והם בחדר ממול, הרעש שהם עושים הוא פחות ממכונת ה-i5 שמתפקדת אצלי בתור NAS, כך שהם בהחלט שקטים.

לגבי חשמל .. היו רגעים שהגעתי לתצרוכת של 240-260 וואט, כרגע זה נראה כך:

כך שבסופו של דבר זה יחסית לא לוקח הרבה חשמל (כמובן, ברגע שאני אקים עוד כמה VM וייבא עוד כמה, התמונה תשתנה, אבל 200-260 וואט זה עדיין טוב.

לסיכום: האם הייתי ממליץ על רכישת שרתי DL360/DL380 G7? אני חושב שכן (כל עוד אין לך בעיה לעבור את המסכת שתיארתי לעיל אך מצד שני, בכל שרת תצטרך לעשות זאת פחות או יותר. בכל הקשור ל-iLO, פה זה עניין של מפתח מספרים, בשרתים אחרים מדובר במפתח חומרה כך שכן תצטרך לרכוש כזה, אם כי ב-eBay תוכל למצוא זאת בכמה דולרים).