התובנות שקיבלתי מה-LAB שלי

בפוסט זה אנסה לעדכן לגבי מספר תובנות שקיבלתי וכמו כן לענות לגבי שאלה עבור אלו שפנו בקשר לשרת עבור תרגולים.

אתחיל עם התרגולים: כפי שפרסמתי לא פעם בבלוג זה ובבלוג העסקי שלי, אני ממליץ לכל אחד, בין אם הוא רק השתחרר מהצבא ובין אם הוא בן 40+ – לשדרג את הידע המקצועי. השוק תחרותי, מתקדם מהר ואם אין לך את הידע העדכני בתחומך או בתחומים "שכנים" – תתקשה להשיג עבודות משתלמות (פיננסית) בעתיד, ובגלל זה אני גם ממליץ בד"כ להקים מכונה יעודית שתשמש כשרת ביתי לצורך הקמת מכונות וירטואליות שיריצו מערכות הפעלה שונות.

אני לא ממליץ לרכוש שרת ישן יד שניה (אלא אם יש לך מחסן שהוא מאוורר) בגלל הרעש והחום שהוא מפיק, במיוחד בקיץ הישראלי החם (אפשר כמובן להתקין מזגן, אך עלות התפעול השוטף מבחינת חשמל אינה שווה זאת, אם מדובר באירוח 1-2 שרתים מקצועיים בבית/מחסן).

מה שאני כן ממליץ זה לבחור את אחת מהאופציות הבאות:

  • לקחת מחשב דסקטופ שקיים אצלכם, למלא אותו בזכרון (במידה וצריך), להתקין עליו כרטיס רשת (אני ממליץ על כרטיס המבוסס על שבבים של אינטל), לרכוש SSD זול ולהתקין לדוגמא ESXi (יש צורך בכרטיס הרשת הנוסף מכיוון ש-ESXi אינו תומך בכניסות רשת שנמצאים על לוח האם).
  • לרכוש מחשב מבוסס AMD Ryzen 7 (כמו ה-2700) ולמלא אותו בזכרון בהתאם לתקציבכם, SSD זול, כרטיס רשת – ולהתקין ESXI. במקרה הזה תקבלו פי 2 יותר ליבות בהשוואה למעבדים של אינטל ותמיכה ב-עד 64 ג'יגהבייט זכרון.

כל אחד יכול כמובן לבחור לעצמו סוגי מאווררים שונים, קירור מים וכו', כל הדברים הללו הינם אופציונליים והכל כמובן תלוי בשיקולכם.

מכאן – נעבור לתובנות.

בקיץ האחרון היו לי מספר שרתים 1U ו-2U של חברות כמו Dell, HPE, IBM. כולם שרתים ישנים (מעבדי E5-2620 דור ראשון ושני) – והיו לי בין 3 ל-8 מכונות, תלוי בחודש ובדילים שהשגתי, מה שמכרתי ועוד. הסביבה שבא נמצאו השרתים היתה ללא מזגן ולפעמים נכנסו גם קרני שמש.

הבעיות בעבודה בשיטה כזו הן פשוטות: או שאתה מתקין מזגן ומפעיל אותו 24/7 (בעייתי אצלי, האזור שהם נמצאים הוא אזור פתוח) או שאתה סובל מהרעש של המאווררים שמנסים לקרר את השרת (גם אם ניצול המעבדים נע על אחוזים בודדים). היו לי מספיק לילות שהייתי צריך לישון עם דלת חדר השינה סגורה. אם אין לך UPS (אני בכוונה לא עובד עם UPS, פרטים על כך בפוסט קרוב) – המצב יותר גרוע אם השרתים לא נמצאים בחדר סגור וחלה הפסקת חשמל – ההפעלה מחדש של השרתים תפעיל את המאווררים למקסימום מהירות למשך מספר דקות, מה שירעיש את כל הבית.

מחשבים – בין אם דסקטופ ואם מדובר בשרתים, יכולים לפעול בלי שום בעיה גם אם בסביבתם הטמפרטורה נעה בין 30-36 מעלות צלזיוס. דווקא במערכות דסקטופ ניתן לבנות את עקומת ה-RPM של המאווררים כך שיפעלו יותר לאט או יותר מהר בטמפרטורות מסויימות (פונקציה זו קיימת בתצורה סופר-בסיסית בשרתים תחת שמות כמו ECO, Silence וכו' אך מבלי להגדיר/לשנות מספרים).

ולהלן תובנותיי:

  • כל עוד מדובר במכונה שלא יבוצע לה Overclock ואין בה כרטיסי GPU, אפשר יהיה להרכיב לה 3-4 מאווררים (2-3 מקדימה בתצורת PULL, מאוורר מאחורה בתצורת PUSH), יחד עם המאוורר שמגיע עם המעבד – מכונה כזו לא צריכה מיזוג או תנאים מיוחדים (יש לי 2 מכונות דסקטופ כאלו שעובדות כך כבר 6 שנים).
  • מתוך הנחה (ולאחר בדיקות) שניצול ה-CPU אינו עובר את ה-60-70% – אפשר להתקין פתרון קירור של Noctua מסידרת ה-Low Profile (כל עוד יש את האיוורור שציינתי לעיל), כך שהמכונה תהיה שקטה גם בקיץ.
  • במידה ובונים מכונה ורוצים עליה שליטה מרחוק עוד ברמת הכיבוי/הפעלה – מומלץ לרכוש לוחות אם עם IPMI. במקרה של אינטל – קשה מאוד למצוא לוחות כאלו שמקבלים מעבדי דסקטופ, ומעבדי Xeon הם יקרים ולכן ניתן לוחות אם שתומכים במעבדי Xeon ישנים יותר (אני ממליץ E5 V2 ומעלה) או שניתן לרכוש לוח כזה עבור מעבד Ryzen מודרני.
  • שרתים מוכנים – ישן, אך לא ישן מדי: מאוד מפתה לרכוש שרת ישן בן 6-7 שנים בכמה מאות או ב-1000-1500 שקל כשכמעט הכל כלול (מעבדים, זכרון, רשת – אין דיסקים), אולם לא ניתן בשרתים כאלו להוסיף ציוד כמו SSD NVME, כרטיסי רשת מרובי כניסות וכו', וכמו כן מבחינת ביצועים – מעבד דסקטופ מודרני זול "בועט" בכל Xeon דור ראשון או שני (כשמדובר על אותה כמות ליבות ולפעמים כשב-Xeon יש כמות ליבות כפולה). ראו, אגב, הערותיי למעלה אם אתם חושבים להקים "LAB" שבעצם מבוסס על מכונה אחת.
  • אם אין לך בעיה שהמערכת לא תעבוד זולת שרותים בסיסיים בהפסקת חשמל ושכל המידע שלך בשרת האחסון לא יזוק כתוצאה מהפסקת החשמל – לא חייבים UPS. פוסט ופרטים על כך – בקרוב.
  • אפשר לבנות שרתים שקטים גם בתצורת 2U. וידאו ופרטים על כך – בקרוב.

הקיץ הזה אני אצטרך כפי הנראה (בהתאם לפרויקטים שיכנסו) מספר שרתים, שרת ה-ZFS העיקרי שלי יוחלף למשהו הרבה יותר מאסיבי (320 ג'יגה זכרון, 20 דיסקים קשיחים, Optane SSD ו-2 מעבדי Xeon וכנראה תקשורת במהירות 40 ג'יגה) ותהיה גם מערכת ניהול חכמה למקרים של הפסקת חשמל והפעלת שרתים עם שרותים בסיסיים שיפעלו ללא תלות בחשמל רציף. הכל יוקלט בוידאו ויפורסם ביוטיוב, פוסטים חדשים יופיעו בנידון וגם הקוד לניהול ישוחרר באופן חופשי ב-GitHub. אתם מוזמנים להירשם לבלוג (או לעקוב אחר הפייסבוק שלי או ערוץ הטוויטר שלי), ואני אשמח לקרוא את תגובתכם.

המעבר מ-ESXi ל-KVM בחצות הלילה

כאן אצלי ב-LAB המערכת בנויה לעמוד לא רע במצב של ברקים/הפסקות חשמל לשניה או 2. בד"כ כשהחשמל קופץ וחוזר, מערכת ה-ZFS שרצה על מחשב דסקטופ (הסיבה לדסקטופ: זמן Boot מאפס קצר מאוד) עולה, ולאחר שהשרתים מואילים בטובים לסיים את שלבי ה-POST, מערכת ESXI עולה, מתחיל מצב HA, בשלב ראשון עולה VM של Windows 2012R2 (מה לעשות, צריך DNS עם AD – צריך AD לבדיקות התחברות מכל מיני פלטפורמות), אחריו עולה VM של שרת מדיה, אחרי זה עולה VM שרת מייל, אחרי זה עולה שרת VM עם VCSA ואחרי זה שורה ארוכה של מכונות VM עולות.

מה שאומר – בד"כ תוך 4-5 דקות אני יכול להמשיך לעבוד בלי שום בעיה. כל מכונות ה-VM יודעות להתאושש יפה כי ZFS יודע לדאוג ל-File System בצורה מעולה במצבו הרגיל ובמצב הוצאת וDatasets כ-iSCSI וכ-NFS.

בד"כ היו לי 2 מכונות פיזיות לצורך HA, אך אחד השרתים החליט לפני שבוע שטמפרטורה פנימית של 17 מעלות זה לא מספיק קר מדי אז הוא מפעיל מאווררים ב-80%, מה שאומר שגם השכנים בבניין ממול ישמעו אותו, כך שנאלצתי לכבות אותו עד שאמצא זמן לטיפול, וכתוצאה מכך אין יותר HA. אתמול שהיתה הפסקת החשמל, החליט שרת ה-HP G7 שלי ששוב מאוורר מקולקל (כבר החלפתי לו 5 מאווררים בחצי השנה האחרונה!) ולפיכך הוא לא מעוניין לעשות Reboot.

אז שרת אחד של IBM מושבת בגלל רעש, שרת שני מושבת בגלל מאוורר. לי אין DNS, אני לא יכול לעבוד. חייב לעשות משהו בנידון.

טוב, יש לי מכונות לינוקס, בוא נשתמש ב-KVM ונשתמש באפליקציית virt-v2v כדי להמיר מכונות מ-VMX ל-KVM! הוצאתי גם וידאו על כך, כך שאני מכיר את הפרוצדורה. התחברתי למכונת לינוקס, ביצעתי mount ל-NFS שמארח את מכונות ה-VM של ESXi והתחלתי להמיר את מכונת ה-Windows 2012 ל-KVM..

כלומר, ניסיתי. ש-Windows יתן לי להמיר? חס ושלום!

אפליקציית virt-v2v סירבה מיידית בטענה שהמכונה עדיין רצה (היא לא), כלומר יש lock. להעיף את ה-lock זה יעזור, נכון? אז זהו, שלא. מבחינת Windows, ה-File system נמצא במצב כמו suspended ולכן אי אפשר לעשות המרה. בקיצור – צריך לשחרר את ה-VM איכשהו.

אבל אין לי ESXI עכשיו, מה אני יעשה?

הורדתי ISO של ESXi ו.. התקנתי אותו על KVM. כמובן ש-ESXi מאוד מאוד בררן בציוד, והוא לא רצה לקבל שום ציוד מודרני (אף אחד לא מצפה שרד-האט תכתוב דרייברים ל-ESXi, נכון?), אז אחרי חיפוש רציני בגוגל (שלא ממש עזר במשהו) התפשרתי על מכונה וירטואלית מבוססת 440FX, דיסק קשיח IDE, ו-CD מבוסס SATA וכרטיס רשת וירטואלי עם אמולציה של  אינטל (e1000). כל הקומבינה הזו בסופו של דבר עבדה. בערך.

הקמתי את ה-ESXi על ה-KVM, ביצעתי mount ל-Datastore של ה-NFS ו… בום. כל קובץ שאני מנסה לגשת – I/O Error ובסופו של דבר ה-VM קפא. ביצוע Reset, ביצוע mount מחדש, ו.. הכל עובד! הפעלתי את ה-VM עם ה-Windows 2012 ו… כן, Windows בטוח שעכשיו זה זמן מעולה להריץ עדכונים! יאללה, תמתין חצי שעה לעדכונים….

בסוף ה-Windows סיים עדכונים, ביצעתי login, ולאחר מכן כיביתי את המכונה. ניסיתי שוב להמיר אותה ל-KVM, והפעם – זה הצליח. אחרי ההמרה הפעלתי, התקנתי את הדרייברים החסרים, הגדרתי את ה-IP הקבוע – וזהו, המכונה עובדת תחת KVM. המרתי עוד כמה מכונות לינוקס (שם לא צריך להתקין דרייברים, הידד!) – והכל תקתק. הגדרתי autostart ל-2 מכונות, וזהו, עכשיו אני אמור להיות מסודר גם במקרה ששוב תהיה הפסקת חשמל (כל מכונות ה-VM נמצאות על הדיסק המקומי של מכונת הלינוקס הפיזית)

הבעיה היחידה שנשארה שם: לצערי ב-libvirt (הספריה וה-daemon שמפעילים את ה-KVM) אין עדיין תעדוף איזו מכונה להפעיל ראשונה, שניה וכו', מה שאומר שכרגע – צריך לכתוב סקריפט שיעשה זאת. בעעע.

מסקנות: אם ה-LAB שלך חשוב לך ובמיוחד אם אתה צריך את השרותים שנותן ה-LAB, תכין תוכנית התאוששות ראשונית ותוכנית משנית. אני משער שלא מעט שיקראו את הדברים יאמרו ש-UPS היה פותר זאת, ויש בכך מן הצדק. מצד שני, קרו לי מקרים שעשיתי Reboot ל-G7 ו.. בום, הוא לא רוצה לפעול, שוב טוען שהלך המאוורר, ולכן תוכניות התאוששות חשובות.

(ולמי ששואל מדוע אין לי UPS – התשובה פשוטה: ה-LAB שלי הולך להשתנות. חשבתי שיהיה שינוי קטן עד אמצע השנה, התברר לי חודש שעבר שכנראה אני אארח כאן כמה "מפלצות", אז צריך למצוא משהו מתאים)

לבנות מחשב בזול

ישנם לא מעט מקרים שצריך להחליף בבית מחשב. רבים מנסים לדחות את הקץ בכך שמוסיפים SSD – שזה עוזר, עד גבול מסוים, אבל לפעמים המערכת פשוט "עייפה" – המעבד איטי, כמות הזכרון קטנה (וקשה למצוא זכרון נוסף, שלא לדבר על מקרים שצריך להחליף את כל הזכרון כי התושבות מלאות בזכרון קטן יותר), הדיסק הקשיח זוחל/נגמר – ובקיצור, אחת ל-3-5 שנים – מומלץ להחליף מחשב.

לאלו שלא מבינים בהרכבת מחשב בעצמם, אני אמליץ ללכת לחנות מחשבים ולרכוש, במקום לקנות חלקים ולעשות נזקים לציוד. העניין אינו כה מסובך אבל יש כאלו שאין להם את החוש הטכני לכך, שזה בסדר גמור (גם לי אין חושים בהרבה דברים אחרים). לעומת זאת, אלו שהרכיבו מחשב או 2 בחייהם – פוסט זה הוא בשבילם, מכיוון שהפוסט מזכיר דברים טכניים רבים.

גילוי נאות: רוב הקישורים שאביא כאן הם קישורי Affiliate באמזון, כלומר אם אתם קונים, אני אקבל איזה סנט שחוק לכיווני.

את רוב החלקים המוזכרים כאן אני ממליץ לקנות באמזון ולא בישראל, לא בגלל קישורי ה-Affiliate אלא בגלל סיבה אחרת: בארץ, בכל הקשור להחלפת ציוד (במיוחד ברשתתות חנויות מחשבים), מהרגע שפתחת את הצלופן או קרעת את המדבקה ואתה רוצה להחליף, יוצאים מתוך הנחה שפירקת את הציוד, שפכת 2 בקבוקי קולה משפחתית, סגרת ואתה רוצה להחליף. כל ציוד שנפתח ואתה רוצה להחליף – עובר ל"בדיקה" באיזו מעבדה כלשהי, ורק אם המעבדה מאשרת, תקבל ציוד זהה בלבד. מה קורה אם לדוגמא החלטת לקנות דיסק קשיח ורק כשהוא הגיע, פתחת את האריזה וראית שמהירות הדיסק קטנה מדי ואין לך בעיה להשלים את הסכום, רק שיחליפו לדיסק אחר? תשכח מזה! בקיצור – בכל הקשור לשרות לקוחות לגבי ציודי מחשב בארץ למשתמשים פרטיים – אנחנו עדיין תקועים בשנות ה-90.

באמזון לעומת זאת, רוצה להחליף? אין שום בעיה. תארוז, תשלח, תקבל חדש כמו שאתה צריך. אף אחד לא מפעיל יחידת שב"כ לבדוק אם אתה מרמה אותם, והאמון בלקוח – מלא. בגלל זה הם מקבלים ציונים בשרות לקוחות שוב ושוב. הלוואי עלינו בישראל.

בעקרון המפרט הטכני שאתן כאן הוא למחשב מהקצה הנמוך, עם 2 גרסאות מעבדים (המעבדים שאני ממליץ הם של AMD, המעבדים של אינטל עלו באחרונה ב-10-25% עקב חוסר מלאי ובעיות יצור של אינטל שהחלו לפני חודשיים). האחד מתאים לאלו שמשתמשים באופיס, גלישה באינטרנט ומשחקים בדפדפן, והשני יותר מתאים לאלו שרוצים לשחק משחקי מחשב רגילים. כל הציוד שאזכיר כאן ניתן לשדרוג כך שאפשר לשדרג את המחשב בהמשך ולהגיע גם לביצועים של תחנת עבודה בינונית.

אגב, הקישורים שאתן כאן מתאימים כמובן גם לאלו שיש להם מחשב והם רוצים אולי לשדרג חלק כלשהו ואולי המחיר יתאים להם. כל המחירים כאן הם בדולרים ותצטרכו להוסיף משלוח לארץ ומע"מ.

בואו נתחיל.

מעבדים
בעקרון, אני ממליץ על 2 סוגי מעבדים:

  • מעבד Athlon 200GE. השם אולי מוכר לותיקים אך זהו אינו מעבד עם הארכיטקטורה הישנה. AMD פשוט החליטה להשתמש בשם Athlon למעבדי בגיזרת ה-Value. מעבד זה מכיל 2 ליבות ו-4 נימים, הוא רץ במהירות 3.2 ג'יגהרץ, ויש לו 5 מגהבייט זכרון מטמון. הוא גם כולל בתוכו יחידת עיבוד גרפית עם 3 יחידות עיבוד (CU), כלומר המעבד גם נותן לנו פתרון לתצוגה. זהו מעבד שמתאים יותר למשתמשים שרוב הזמן גולשים בדפדפן, אופיס, ודברים משרדיים אחרים. עלות: 60$
  • מעבד Ryzen 2400G: זהו מעבד ה-Ryzen 5 של AMD שכולל GPU בתוכו שמשתווה בערך לכרטיס GTX 1050 של nVidia. מעבד זה מתאים לאלו שרוצים להריץ משחקים על מסך עם כמות פריימים טובה ברזולוציות עד 1920X1080. המעבד כולל 11 יחידות גרפיות (CU), כ-4 ליבות ו-8 נימים והוא רץ במהירות של עד 3.9 ג'יגהרץ (למעוניינים, אפשר לבצע Overclock). מחיר: 159$

זכרונות
אחת הבעיות הגדולות ביותר במחשבים שמורכבים בארץ, היא שמי שמרכיב את המחשב לא מבין אפילו מה זה זכרון DDR. לאלו שלא מכירים – כשמדובר בזכרון DDR, אז כל זכרון שמוכנס, צריך להיות ב-2, כלומר אם אנחנו רוצים 8 ג'יגהבייט, אנחנו צריכים להכניס 2 מקלות של 4. אפשר להכניס מקל אחד של 8 אבל אז המהירות יורדת כדי למעבד אין אפשרות לחלק את העבודה של הזכרון ל-2.

שימו לב: הזכרונות שאני מציע הם במהירות 2400 מגהרץ, כלומר מהירות בסיסית. יש הרבה יותר מהירים אבל המחיר מטפס.

במקרה הזה ההצעה שאני ממליץ עליה היא זכרון של Corsair Vengeance LPX 8G– אלו 2 מקלות של 4 ג'יגהבייט זכרון המחיר: 80$ (סתם שתדעו, המחיר הכי זול למקל יחיד של זכרון 4 ג'יגה בארץ הוא 200 שקל, ופה אתם מקבלים KIT של 2, אז תעשו חשבון כמה אתם חוסכים). אם אתם רוצים 16 ג'יגהבייט זכרון, אז ה-KIT הזה של Patrior עולה 140$. לדעתי – שווה.

לוח אם:
מכיוון שמדובר במחשב לילדים, ניקח לוח אם פשוט מבוסס Chipset מסידרה A320 של AMD. הלוח שאני ממליץ עליו הוא GIGABYTE GA-A320M-S2H. הלוח הזה כולל כל מה שתרצו למחשב: יש כניסות VGA/DVI/HDMI, יש כניסת רשת 1 ג'יגהביט, יש תושבת M.2 להכנסת מקל אחסון, יש 4 כניסות SATA-3, יש תושבת PCIe X16 להכנסת כרטיס גרפי בהמשך, וגם 2 תושבות PCIe X1 להכנסת ציודים אחרים (כרטיס רשת יותר טוב?) – בקיצור, כל מה שצריך מלוח אם למשתמש ביתי. המחיר: 50$.

הערה: המאוורר מגיע בתוך הקופסא של ה-CPU. יש מאווררים שונים ל-Ryzen ול-Athlon, והחומר הטרמי נמצא בקופסא.

SSD
אם יש משהו שצריך כיום בכל מחשב, גם בסיסי, זה SSD. זה גם יוריד את התחושה שהמחשב "עגלה" (במקרה של דיסק מכני עמוס נתונים), וגם יאיץ את ה-Boot ועליית משחקים ואפליקציות. ה-SSD שבחרתי הוא של ADATA. הוא לא מתחרה בביצועים של סמסונג ואחרים, והוא נמצא אי שם באמצע מבחינת ביצועים.

על מנת שלא להעביר כבלים של SATA ואחר כך להתבלבל מה הדיסק הראשוני ומה השני ב-BIOS, בחרתי בגירסת המקלון M.2, כך שכל מה שצריך זה להכניס לתושבת, להבריג – וזהו. 2 ההצעות הם M.2 SATA, לא NVME.

דיסק קשיח
במקרה של דיסק קשיח, לפעמים 500 ג'יגהבייט של SSD יכול בהחלט להספיק, אולם לפעמים עדיף לרכוש גם דיסק קשיח מכני. המחירים זולים ואפשר לאכסן יותר מידע, ואם משתמשים בתוכנת Macrium Reflect החינמית ב-Windows – אפשר לגבות אחת לשבוע את ה-SSD לתוך הדיסק הקשיח, גיבוי זה תמיד טוב.

לגבי דיסק קשיח, ההמלצה שלי היא על דיסק 2 טרהבייט של Seagate 2TB BarraCuda – הוא גם מהיר (7200 RPM), והוא גם זול: 60$.

ספק כח:
אחד הדברים החשובים במחשב הוא ספק כח טוב. אני ממליץ על EVGA 500 W1. אני משער שרבים יאמרו ש-500W זה מוגזם, אבל לעניות דעתי כדאי לחשוב קדימה, למצבים שבהם יהיה צורך להוסיף GPU למשחקים רציניים (כי הילד רוצה). המחיר, בכל מקרה, זול: 33$.

מארז למחשב
בסופו של דבר, צריך להכניס את את למארז, וכאן אני דווקא פחות ממליץ על אמזון. מבדיקה שעשיתי, גם אם תבחרו מארז זול, המשלוח יהיה יותר יקר מרכישה בארץ. אם מדובר במחשב לילד עם Athlon שאתם לא הולכים להוסיף לו GPU בקרוב, אז KSP מוכרים בארץ גנרי ב-159 שקל שכולל ספק כח צנוע גנרי. לעומת זאת, אם המחשב יורחב בעתיד, כדאי או לקנות מארז ללא ספק ולרכוש את הספק באמזון, או לחפש עיסקת חבילה שכוללת ספק 500W ומארז טוב, ומכיוון שיש הרבה סוגי מארזים, אז זה עניין של טעם ותקציב.

מאווררים:
בד"כ כל מארז מגיע עם 2 מאווררים (אחד מקדימה למטה ואחד מאחור למעלה), ויש מקרים שלא מגיעים מאווררים. איוורור במחשב הוא חשוב מכיוון שמחשב מוציא חום וצריך לשאוב אויר מבחוץ ולהוציא את האוויר החם. אפשר לרכוש מחנות המחשבים (אם אין במארז מאווררים) 2 מאווררים למחשב, אולם אם רוצים שקט אז אני יכול להמליץ על המאווררים ARCTIC F12 Silent שעולים $9 לחתיכה או Noctua 120mm שעולים אמנם כפול (כמעט $20), אבל הם הכי שקטים והכי אמינים שיש כיום בשוק. כלל אצבע: עדיף שיהיו 2 מאווררים מקדימה (בתצורת PULL) ואחד מאחור (בתצורת PUSH). למי שלא מכיר מה הכוונה PUSH/PULL, הוידאו הזה יסביר מה הכוונה.

סך הכל מחירים:

  • מחשב בסיסי (אופיס/ילדים, ללא GPU): המחיר (ללא משלוח ומע"מ): 411$.
  • מחשב לילדים/עבודה בסיסית/משחקים: $600.

הערות:

  • יהיו לא מעט אנשים שיעדיפו לקנות מקומית את הכל מכאן, ולחסוך משלוחים וכו', שזה לחלוטין לגטימי, אולם כדאי לזכור שעל דברים כמו SSD, מעבדים, זכרון וכו' – המחירים בחו"ל דינמיים ובארץ הם בקושי זזים למטה.
  • הפרטים הקטנים: הלוחות אם שמייבאים לארץ, במקרים רבים חסר בהם דברים. כך לדוגמא אני ציינתי בפוסט זה לוח מבוסס A320 Chipset. מה שמייבאים לארץ (בדקתי ב"זאפ") זה את הגירסה ללא M.2 (ובמחיר הרבה יותר גבוה מ-50$). גם מחירי המעבדים בארץ לא ממש מתעדכנים ו-AMD מורידה מחירים תכופות. אגב, מעבד ה-Athlon שהזכרתי? אין בארץ כרגע. הוא יהיה זמין בעוד חודש או חודשיים.
  • לחברות ועסקים שרוצים לקנות מחשבים לעובדי החברה: מחשבים שהם מבוססי Ryzen עולים בין 100-150$ פחות ואתם מקבלים יותר ליבות.
  • אם אתם רוצים ללכת על מעבדי אינטל: באינטל מציעים חבילה הכוללת "SSD" בגודל 16-32 ג'יגה ללא תשלום נוסף (כביכול, זה כבר מגולם במחיר המעבד). ממליץ לוותר מכיוון שהתועלת של SSD כזה מול כל SSD אחר בגודל של 250 ג'יגה – לא קיימת. עדיף לרכוש SSD או כ-M.2 או כ-SATA רגיל.
  • תוכנה שמאיצה את הביצועים בכך שהיא מעבירה אוטומטית חלקים מדיסק ישן ל-SSD ובכך מאיצה את ה-Boot: רוב התוכנות המסופקות עם היצרנים (אני לא מדבר על התוכנה להעתיק מדיסק קשיח קטן ל-SSD) הן תוכנות די גרועות. אני ממליץ על תוכנה בתשלום של 30$ שנקראת Primo Cache וגירסת נסיון שלה ניתנת להורדה כאן.
  • מערכת הפעלה Windows 10 עולה לרכישה כקופסא כ-500-600 שקלים בארץ ואופיס עולה 600-700 שקל. טריק "אפור" שיש הוא לרכוש את התוכנות ב-eBay בדולרים ספורים. מיקרוסופט לא תזנק עליכם עם שוטרים אם תרכשו, אבל יכול להתרחש מצב שבהמשך הדרך מספר הרשיון שלכם פתאום יפסיק לפעול (אתם יכולים לפנות למי שקניתם ב-eBay, סביר להניח שהוא יתן לכם מספר חדש).

 

ה-LAB הבא: התכנון לשרתים חדשים

אחד הדברים שלמדתי בחודשים האחרונים (חוץ מאשר לא לרכוש שרתי 1U), הוא שהמעבדים המוצעים בשוק לשרתים שכבר יש לי, הם די חלשים. כמה חלשים? מעבד דסקטופ i7-4790 (כלומר דור רביעי) עוקף בסיבוב מעבד E5-2620 V1 מבחינת ביצועים פר ליבה. בשרתים הללו אינני יכול לעבור למעבדים יותר מתקדמים (V2,V3,V4) ומצד שני ביצועי הזכרון (כשכבר מגדילים להם את הזכרון) איומים: איך זה 800 מגהרץ בשבילך? (סתם לשם השוואה: הזכרונות לדסקטופ כיום מתחילים במהירות 2 ג'יגהרץ ויש גם כאלו שמגיעים ל-4 ג'יגהרץ).

עם כל הדברים הללו יכלתי לחיות. אחרי הכל, זה רק LAB. הבעיות מתחילות כשדברים כמו:

  • החום שהם מוציאים – איום
  • הרעש שהם עושים כשהמעבדים מנוצלים מעל 60% – היסטרי.

בקיצור, גם ביצועי מעבד נמוכים, גם ביצועי זכרון נמוכים, גם מצריך השקעה בכרטיסי RAID כדי לקבל SATA-3, ובנוסף להשקיע במזגן לקירור ובתשלום חודשי די גבוה גם כך בגלל ה-LAB?

דברים צריכים להשנות ב-LAB שלי. לא מחר, עוד כמה חודשים…

אז התחלתי להסתכל על מעבדים. מעבדי Xeon SP חדשים של אינטל יורדים מיידית מהרשימה בגלל המחיר המפלצתי שלהם. מעבדי Xeon V4 גם יקרים מאוד. התחלתי להסתכל על מעבדי V3 כאשר צץ לי רעיון: אולי נסתכל על המעבדים של AMD?

מעבדי Threadripper – מעבדים מצויינים, עם מחיר שנע סביב ה-800$ למעבד 1950X עם 16 ליבות, 32 נימים, ו-32 מגהבייט זכרון מטמון L3. ואז החלטתי להשוות אותו ל"אח" שלו ממשפחת השרתים, ה-EPYC 7351P. המחיר שלו? עוד 23 דולר בהשוואה ל-1950X רק שאני מקבל 64 מגהבייט זכרון L3, אני מקבל 128 נתיבי PCIe, תצורת זכרון של 8 ערוצים (ב-1950X זה 4).

מה עם לוח אם? מסתבר של-Supermicro יש לוחות ל-EPYC ואחד הדגמים עולה 346$, שזה בהחלט מחיר שווה. כך יוצא ש-2 שרתים בבניה עצמית (עם מארז 4U או מארז Tower, עדיין חושב איזה מהם) מעיפה בין 4-5 שרתים ישנים החוצה, מאווררים של Noctua מבטיחים שקט, ותצרוכת החשמל יורדת ל-310 וואט (בהשוואה ל-800+ וואט כיום). בנוסף – יש חלק מאוד חשוב לי: שליטה מרחוק ברמת שרת (IPMI)

אחד השרתים הנוספים שאני כן רוצה להחליף, הוא שרת ה-ZFS שלי. בכל זאת, מכונה עם מעבד i5 דור שלישי עם 16 ג'יגהבייט זו מכונה ישנה מאוד (למרות שהוא עובד לא רע בכלל). חשבתי להעביר את זה לשרת HP דור 7, אבל הרעש של השרת הזה גומר אותי ואם יש משהו שאני לא צריך, זה שרת כזה ל-ZFS. אני מחפש משהו חסכוני.

ומצאתי משהו חסכוני. AMD מוציאה בחודש הקרוב את מעבד ה-Ryzen 2700E. צריכת החשמל שלו נעה בסביבות ה-45 וואט, כך שאפשר לשים קירור פאסיבי או קירור עם מאוורר איטי. המכונה יכולה לקבל עד 64 ג'יגהבייט של זכרון (מספיק עבור הצרכים שלי), ובתוכה יהיו 2 כרטיסי רשת עם כניסות כפולות של 10 ג'יגהביט (חיבור ישיר עם DAC לכל שרת במקום לקנות מתג 10G יקר), דיסק SSD 900P של אינטל (לשם Cache ו-ZIL ל-ZFS) ומקל SSD NVME עבור מערכת הפעלה ועוד כמה דברים קטנים, ובנוסף גם כרטיס תצוגה (כן, ל-2700E אין יציאת תצוגה) עם לוח אם X370 של MSI. כזה.

עוד מכונה כזו תירכש, רק עם מעבד Ryzen 2700, עם כרטיס תצוגה וכרטיס רשת 10G, ו-SSD קטן למקרה הצורך. זו מכונת טסטים לפרמוט תכוף כאשר יש צורך לנסות דברים "על הברזל". המכונה הזו תעיף עוד שרת 1U.

אשמח לשמוע את דעתכם, מה הייתם מחליפים, מה הייתם מוסיפים או מחסירים.

מה קורה לתחום הסיסטם?

כפרילאנסר שמקבל עבודות בתחום הלינוקס, אני יכול לספור על יד אחת את כמות הצעות העבודה שקיבלתי לעשות עבודות סיסטם בלינוקס בשנתיים האחרונות. גם כשמסתכלים באתרים כמו LinkedIn על עבודות בתחום הסיסטם, רואים ירידה מהתחום הסיסטם הקלאסי, ויותר דרישה לכיוון ה"כלבויניק" – תן שרותים לשרתי Windows, עדיף שתדע גם לינוקס, וגם להגדיר סוויצ'ים, ו-VMWare, וחומות אש, ואופיס, וגם לעזור למזכירות, ולמפתחים פה ושם ואם לא אכפת לך בדרך גם להוציא את הכלב של הבוס לטיול פעמיים ביום 🙂

עד לפני מס' שנים, עוד לפני כניסת העננים לסצינה, תחום הסיסטם בחברות גדולות לדוגמא, היה די ברור: היו אנשי סיסטם מיקרוסופט, אנשי סיסטם לינוקס, אבטחת מידע היו אחראים על ה-Firewall ודברים אחרים שהיו קשורים לתחום, וצוות תקשורת שהיו אחראים על סוויצ'ים, כתובות IP, על VLAN וכל הדברים הקשורים לתקשורת, מרכזיות, WIFI וכו'.  אם היה צריך להתקין אפליקציות ושרתי אפליקציות (נניח Exchange, SharePoint ב-Windows, או MySQL/Oracle או שרת אפליקציות כמו Tomcat) – אז הצוות שאחראי על אותה מערכת הפעלה היה מתקין אותה והמשתמשים היו מוגדרים ברמת משתמש, לא ברמת Admin.

ואז הגיע מקצוע חדש "איש Devops". בניגוד לאיש סיסטם ששם ההגדרה נכונה (כי אתה בעצם .. מגדיר מערכות שנחשבות כ"System"), לא היתה אמורה להיות חיה כזו בשם "איש Devops" כי Devops זו לא הגדרה של תחום, זה הגדרה של מתודות עבודה, אבל מה לעשות, זו כמו המלחמה לתקן אנשים ולאמר "שתיים" או "שניים" מתי שצריך – מלחמה די אבודה (ומעצבנת אנשים חובבי דיקציה).

אם נסתכל בתחומים שאותו "איש Devops" צריך להכיר ולתפעל ולכתוב סקריפטים אליו (כן, הרבה פחות שימוש ב-GUI!) – אז הוא בעצם לוקח את תחום הסיסטם לינוקס הבסיסי, ומתרכז הרבה יותר בכלים שרצים על הלינוקס. זה מתחיל בניהול קוד, ממשיך לאוטומציה, סקריפטים, Python, JSON, YAML, ניהול חשבונות ומשאבים בענן כמובן, Jenkin/Travis/CircleCI וכו', והרשימה עוד ארוכה, תלוי בתחומים שהחברה עוסקת בהם, כלומר אם ניקח איש סיסטם לינוקס ממוצע שבחיים לא נגע ברוב הדברים שתיארתי לעיל חוץ מלינוקס, יש לו כיברת דרך ארוכה לעשות השלמות כדי להיות "איש Devops" מקצועי טוב. מה לגבי איש סיסטם מיקרוסופט? ובכן, רוב הכלים שתיארתי קיימים גם ל-Windows (היתרונות של קוד פתוח), אבל אחד הדברים הראשונים שהוא יצטרך להתרגל לרדת מהם, זה ה-GUI, לעבוד עם PowerShell באופן קבוע ומומלץ גם להכיר Python בדרך, ואז כמובן את הדברים שציינתי לעיל בתור התחלה.

אז מה, לכל אלו שההורים/סבתא/מענק שחרור מאפשר להם ללמוד סיסטם מיקרוסופט (MCSA) או לינוקס (RHCA, LPIC) – האם לוותר? בתחום מיקרוסופט לדעתי יש רוויה בשוק (ואשמח שהקוראים יתקנו אותי כי זה לא התחום שלי), בתחום הלינוקס לעומת זאת – יש דרישה, אבל בשתיהם מצפים שהמועמד ידע הרבה יותר ממה שהקורס מספק (ולא, קורס המשך כמו MCSE או RHCE לא יעזרו הרבה, מצפים יותר לידע שמגיע מתוך שימוש ונסיון, לא שתדקלם כמו תוכי). אם לדוגמא תפנה לסטארטאפים, אז הדבר האחרון שהם מחפשים – זה איש סיסטם (אני יודע כי אחרי 7 שנים של להיות פרילאנסר, קיבלתי סך הכל פעמיים בקשה לשרותי סיסטם או בקשות ל"שידוך" איש סיסטם שכיר ע"י חברות סטארטאפ).

בימינו, האתגרים היום נהיו הרבה יותר מורכבים והחלוקה אינה ברורה כבעבר. כיום כבר מצפים לדברים כמו:

  • איך אתה מתקן תקלה X ואיך אתה מבצע זאת להבא באופן אוטומטי?
  • איך אתה פותר בעיות ניהול קוד, קונפליקטים, branching, Stash ועוד ועוד דברים שלא לומדים בשום חלק באיזה קורס סיסטם?
  • איך אתה יוצר חבילות מוצר של החברה באופן אוטומטי? איך אתה בונה "צינורות" (Pipe lines) שכוללים לוגיקות שונות?
  • איך אתה מרים ומנהל קונטיינרים? סטורג' לקונטיינרים? Load balance שלהם? פותח כניסה "מבחוץ" ועוד דברים שקשורים לסביבות פיתוח וייצור?
  • והרשימה עוד ארוכה.

לסיכום: אני מאמין שתחום הסיסטם יורד אט אט מהמכ"ם. כן, הוא בהחלט יהיה עדיין קיים בחברות שיש צוותי IT ושיש צוותים לכל פיפס, אך ככל שאותן חברות מכניסים ומטמיעים בעצם את מתודות ה-Devops, אותם אנשי סיסטם יהיו יותר ויותר מיותרים ומשם הדרך ל"רה-אירגון" ופיטורים (אחרי הכל, אם "איש ה-Devops" יודע לעשות מה שאתה עושה, למה צריכים אותך?)- אינה כה ארוכה ועלולה להגיע בהפתעה לסיום. לכן, אם אתם אנשי סיסטם והקריירה המקצועית שלכם חשובה, הגיע הזמן (אם לא עשיתם עד כה) לשדרג את עצמכם. קנו מחשב או 2, תקימו LAB (יש לי קטגוריה שלמה של פוסטים על כך פה בבלוג) ותתחילו ללמוד את הדברים הקשורים ל-Devops.

התחרות בין AMD לאינטל על ריבוי ליבות

תערוכת Computex שהיתה בטיוואן הסתיימה לפני מס' ימים. חברות הציגו כל מיני מוצרים או דיברו על מוצרים שעתידים לצאת. גם באינטל וגם ב-AMD דיברו על מעבדים שעתידים לצאת לשוק במהלך 2 הרבעונים הקרובים.

נתחיל מאינטל: היא הציגה את המעבד I7-8086K במלאת 40 שנה למעבד הנוסטלגי 8086 שהתחיל את כל מהפכת ה-PC. המעבד הזה הוא בעצם ה-I7-8700K רק שבתוכו יש פיסת סיליקון מובחרת שיכולה להיות מואצת למהירות 5 ג'יגהרץ (בחלק מהליבות, לא כולם) ואינטל דורשת עליו מחיר יותר גבוה מה-8700K.

אבל את עיקר הכותרות קיבלה אינטל מהצגת מעבד עתידי כלשהו שיכיל לא פחות מ-28 ליבות ושהודגם רץ במהירות 5 ג'יגהרץ. כל מי שקצת מבין בכמות ליבות פר מעבד ובמהירות שעון וראה את ההכרזה – חכך את ראשו כי המספרים לא ממש מסתדרים, ורק אחרי ההדגמה התגלה ה"טריק" של אינטל: הם לקחו בעצם מעבד מאוד יקר ממשפחת השרתים (השמועות מדברות על Xeon SP Platinum 8180 שעולה 10000$), ביטלו לו את נעילת ההאצה, והדגימו אותו על לוח אם סופר-מפלצתי והקירור היה קירור מאסיבי – Chiller שדורש 1000W בקירור מים. כל הטרראם הזה הוא אינו פתרון שאינטל יכולה למכור (זה לא פתרון שאתה יכול לרכוש הביתה או לחדר שרתים בחברה אלא אם יש לך מערכת הזנת חשמל מאוד גבוהה) וסביר להניח שאינטל גם לא תמכור מעבד כזה במהירות הזו (תזכרו – בשביל פתרון כזה צריך ספקי כח מיוחדים, לוח אם מיוחד וחתיכת פתרון קירור חיצוני). מדוע אינטל לא ציינו בהדגמה שמדובר ב-Overclock? כי הם "שכחו".

מדוע בעצם אינטל נכנסים לתחרות הזו? כי AMD המתחרים יכריזו למחרת על מעבדי Threadripper עם 32 ליבות (ולאינטל יש מחלקת ריגול שלמה כך שהם יודעים על הדברים מראש) אז הם יצאו בהכרזה מוקדמת על מעבד חדש. האם כדאי להתחיל להתלהב ואולי בהמשך לרכוש מעבד כזה? אני בספק. סביר להניח שכשאינטל תמכור מעבד כזה, המחיר שלו יהיה לא פחות מ-4000$, ועדיף לחברות שרוצות דבר כזה ורק מעבדים של אינטל – לרכוש מכונה עם 2 מעבדים עם 14 ליבות (כמו ה-i9-7940X או מה שאינטל תוציא בחודשים הקרובים), שם המחיר יהיה הרבה זול וצריכת החשמל תהיה נמוכה בהרבה. אינטל גם הכריזה לאחר הכנס כי יהיה גם מעבד עם 22 ליבות לצרכנים (שוב, כמו ה-Xeon SP Gold 6152).

בקיצור, שורת ההכרזות של אינטל היתה די טובה עד שהגיע הקטע עם המעבד 28 ליבות שיצר לאינטל שורה שלמה של יחסי ציבור גרועים וכפי שנראה תיכף – גניבת התשומת לב מ-AMD לא ממש היתה שווה את זה..

נעבור מכך, אם כן – ל-AMD.

בכנס של AMD הכריזו על מספר מוצרים עתידיים (בלי יותר מדי פרטים) ועל מעבדי ה-Threadripper החדשים שיקבלו את ארכיטקטורת +Zen שתשפר ביצועים בכל הקשור לתקשורת פנימית בין הליבות ותקשורת עם הזכרון, וכאן AMD הכריזה על 2 מעבדים חדשים במשפחת ה-Threadripper: מעבד אחד עם 24 ליבות ומעבד שני עם 32 ליבות. AMD שמחו להציג את תוכנת Blender עם השוואה מול המעבד ה-i9-7980XE של אינטל שמכיל 18 ליבות וכמובן שהמעבד עם 24 ליבות של AMD ניצח. באותו הזדמנות AMD הציגו שוב את Blender עם 32 ליבות אולם הפעם ההשוואה היתה ללא תצוגה מהצד של אינטל.

הבעיה ב-2 המעבדים החדשים פשוטה וקשורה למשפחת ה-Threadripper שהוא בעצם גירסה קצוצה של מעבדי EPYC לשרתים של AMD. במעבדי EPYC, תצורת הזכרון היא 8 ערוצים (כלומר אם נניח אתם רוצים שיהיה בשרת 128 ג'יגהבייט זכרון, עליכם למלא את כל 8 התושבות במקלות של 16 ג'יגהבייט ולא 4 מקלות של 32 ג'יגהבייט כדי לקבל ביצועים אופטימליים). ב-Threadripper תצורת הזכרון היא כמחצית מכך (4 ערוצים) כי Threadripper במקור היה עד 16 ליבות והיה צורך על כל רביעיית ליבות למלא זכרון ב-4 תושבות. עם המעבדים החדשים לעומת זאת, תצורת הזכרון נשארת אותו דבר כך שמעבד עם 32 ליבות, כך שמחצית מהליבות לא מקבלים גישה ישירה לזכרון, מה שפוגע בביצועים. נוסיף את הנקודה ש-AMD מדגישה תאימות לאחור (כך שאם יש לך מערכת עם Threadripper ואתה רוצה לשדרג למעבד עם 32 ג'יגהבייט זכרון, כל מה שתצטרך לעשות הוא פשוט לשדרג BIOS/UEFI ולהחליף לאחר מכן מעבד, רק אל תנסו לעשות Overclocking, לשם כך תצטרכו לוח חדש יותר עם אותם חלקים אך עם ערכת VRM משופרת, המעבדים החדשים צריכים יותר מתח).

יוצא מכך שההכרזות של AMD על מעבדי Threadripper החדשים (שיצאו באוגוסט) הם לא משהו שכל כך שווה להתלהב ממנו. כן, סביר להניח ש-AMD ימכרו מעבדי Threadripper עם 32 ליבות ו-64 ניבים במחיר של פחות מ-2000$ (מעבד לשרתים EPYC 7551P עם 32 ליבות עולה כיום 2300$) ומי שרוצה מעבדי AMD עם 32 ליבות ומקסימום ביצועים למעבד, עדיף שירכוש את EPYC (כותב שורות אלו מתכנן להחליף מספר שרתים בפתרונות מבוססי EPYC, הביצועים בוירטואליזציה מעולים בהשוואה למחיר פר מעבד ובצריכת החשמל שלהם).

לסיכום: גם ב-AMD וגם באינטל הבינו – לקוחות תחנות עבודה מקצועיות ומשתמשים מקצועיים רוצים מעבדים עם יותר ליבות ואותן חברות ישמחו לספק זאת, אבל יחד עם זאת, כדאי מעט לצנן את ההתלהבות. כבר כיום ניתן לקבל מספר גבוה של ליבות מבלי לקרוע את הכיס. לגבי שרתים – מלחמת הליבות תתחיל בשנה הבאה, כאשר AMD תכריז על מעבדי EPYC עם 48 ליבות במעבד או 96 ליבות בתצורת מעבדים כפולים ונראה מה אינטל תציג.

ה-LAB הבא: פרק 11 – החום

אתחיל בתמונה: מה שאתם רואים משמאל לקוח מתוך vSphere (מתוך ה-VCSA) ומציג בעצם את העומס על 2 שרתים שנמצאים כאשכול אצלי (הם ב-DRS כך שהעומס מחולק וב-2 המכונות מצב המעבד נראה כך). כמו שאתם יכולים לראות, העומס על המעבדים הוא קטן מאוד.

ובכל זאת, אם נקשיב למאווררים, נוכל לשמוע שהם לא ממש שקטים (לחצו להאזנה).

האם זה קשור לדגם מסוים של שרת או Brand כלשהו? התשובה היא לא. הבעיה תחזור בכל השרתים בגודל 1U, גם כאשר אין שום עומסים על המערכת. מה הסיבה? החום, כמובן. כך נראית טבלאת החומרה עם הטמפרטורות כרגע (לחצו להגדלה):

כמובן, כל מי שהתעסק או קרא אי פעם על Overclocking או שמבין במעלות חום למעבדים, יבין שהמספרים לא כל כך מדאיגים לגבי מעבד. בכל זאת, הוא יכול לעבוד עד 85 מעלות בלי שום בעיה (אם כי לא מומלץ שיגיע לשם) וכך גם לגבי הזכרון, כך שהמכונות יכולות להמשיך לעבוד ללא בעיה.

מדוע בעצם השרתים מגיעים לחום הזה? נכון, היכן שהם נמצאים אין מזגן, אבל המאווררים אמורים להעיף את החום, לא? אז זהו, שכאן מתחילה הבעיה הגדולה.

בתכנון השרתים.

במחשבי דסקטופ/תחנות עבודה העניין די ברור ופשוט: יש מאוורר ומערכת קירור יעודית למעבד, כנ"ל לגבי הכרטיס הגרפי. שאר המאווררים (תלוי בתצורת ה-Push/Pull שקבענו בעת הבניה) מטרתם בסך הכל להכניס אויר ולהוציא אויר. הם לא יכולים לקרר את המעבד או ה-GPU. אויר בטמפרטורת החדר נכנס, אויר חם יוצא. גם ביום קיץ מהביל, אינכם שומעים מחשב (כל עוד הוא תקין מבחינת מאווררים) "זועק" כמו הדוגמא שהעליתי לעיל.

בשרתים לעומת זאת, אפשר לראות את התכנון הלקוי שאפיין שרתי 1U בעשור האחרון. קשה להאשים את היצרנים – בסופו של דבר, רעש זה הפרמטר האחרון שהם התחשבו בו, ולכן הם החליטו שהפתרון הכי טוב לשרתים הם צלעות על המעבדים, ו-6-7 מאווררים קטנים אך חזקים בחזית השרת (אחרי הכוננים וה-Backplane), כך ששרתי 1U של היצרנים המוכרים מרעישים בברירת המחדל כשחם בחדר, גם כשהמעבדים לא עושים כמעט כלום. אגב, בשרתים מהדור האחרון היצרנים (לפחות HPE) "נזכרו" בחלק מהדגמים להשתמש בפתרונות כמו צינורות נחושת להעברת האויר ובכך השרתים יותר שקטים, רק שרוב האנשים לא ממש חושבים לרכוש שרתים מהדור האחרון ל-LAB הביתה..

הפתרון שכל אחד יציע: סגור את השרתים בחדר עם מזגן. הבעיה היא שגם אם תיישם זאת והמזגן יעבוד באופן רצוף, זה יעלה לך כל שנה כמעט 3000 שקל (כלומר תוספת של 500 שקל לחשבון חשמל דו חודשי):

אז מה? לא לקנות שרתים 1U? אם אתה לא יכול לסגור אותם בחדר ממוזג או לשים אותם במקום שיש בו מיזוג שפועל רצוף (במיוחד בימים כאלו שהחום ביום יכול להגיע ל-36 מעלות ומעלה) – אז יהיה עדיף לוותר על הפיתוי ולחשוב על פתרון אחר.

אם לעומת זאת, אתה רוצה לבנות שרת 1U אז תוכל להשתמש במס' טריקים שיוכלו לעזור לך "להשתיק" את השרת גם ללא צורך במזגן:

  • בחר במעבד נכון. אם לא מדובר בשרת וירטואליזציה אלא שרת קבצים או מדיה, אפשר לקנות לוחות שמשובץ בתוכם מעבד (שלא ניתן להחלפה) או לחלופין קנה מעבד שמעטפת צריכת החשמל שלו נמוכה (AMD לדוגמא הוציאו את ה-Ryzen 5 2400GE שמעטפת צריכת החשמל שלו היא 35 וואט ועדיין יש לו מעבד גרפי מכובד לדברים פשוטים ויש לו 4 ליבות).
  • השתמש בפתרון איוורור אקטיבי הכולל מאוורר. לחברת Dynatron לדוגמא יש מאוורר ל-1U וכל עוד המעבד לא מתאמץ אתה לא ממש תשמע אותו (כך שזה לא ל-HTPC עם מעבד חלש וישן). לעומת זאת לאותו מעבד AMD שציינתי לעיל הוא בהחלט יכול להתאים הואיל וכמות החום שהוא יוציא היא קטנה.
  • את המאווררים בקופסת 1U מומלץ לזרוק לפח ולרכוש מאווררי 40 מ"מ של חברת Noctua. אלו מאווררים שתוכננו מלכתחילה להיות שקטים מאוד והם כוללים גם 2 ערכות חוטים כדי להשתיק את המאווררים עוד יותר, והם כוללים גם גומיות בצדדים להשתקת ויברציות. בקיצור – אלו מאווררים מעולים.

בשרתי 2U יש יותר מקום וניתן לבצע כל מיני Hacks כדי להשתיק אותם ועל כך – בפרק הבא.

ה-LAB הבא פרק 10: חסימת פרסומות למכשירים בבית

קוראי בלוג זה הותיקים בוודאי יודעים על דעתי על פרסומות באתרים (אין לי בעיה עם פרסומות, כל עוד הם לא קופצים לך על הפרצוף ומפעילים מוסיקה בווליום בגלל שהעברת את העכבר בטעות ליידם ובוודאי לא פרסומות שגורמות למחשב לעבוד בצורה איטית!), ולכן החלטתי הפעם להדגים התקנה של אובונטו LTS עם PiHole, תוכנה בקוד חופשי שהופכת את המכונה שהיא רצה עליה לשרת DNS פנימי בבית/LAB כך שכל המשתמשים בבית שמשתמשים ברשת הפנימית/WIFI יוכלו לגלוש ללא פרסומות (כמעט).במילים אחרות, Pi Hole הוא מעין "פרוקסי" למכשירים/מחשבים בבית  שלך שמונע את הפרסומות מבלי שתצטרך להגדיר כל מכשיר/מחשב עם כל מיני חוסמי פרסומות.

לשם כך יש צורך ב-VM אבל למי שאין LAB או מערכת וירטואליזציה בבית, גם פתרון של Raspberry Pi-3 יעודי (ב-69$ כולל כל מה שצריך) יכול להיות פתרון מצוין לכך.

בעקרון מה ש-PiHole עושה הוא בעצם משמש כשרת DNS פנימי ויש צורך להגדיר בנתב הביתי את כתובת ה-DNS לשרות ה-DHCP אל ה-Pi Hole עצמו כך שכל בקשת DNS תעבור דרך האפליקציה ואם האתר מבקש גישה לשרת פרסומות, שרת הפרסומות חסום, וכך מקבלים גלישה טובה נטולת פרסומות (טוב, ברוב המקרים, לא כולם, במיוחד באתרים ישראליים ובפייסבוק). אם יש לכם שרת DNS פנימי כחלק מה-LAB, תוכלו להגדיר את ה-Pi Hole שיפנה אל שרת ה-DNS הפנימי הנוכחי שלכם ואם אתם רוצים שרת DHCP במקום שרות ה-DHCP של הנתב שלכם, אפשר לבטל שרות זה בנתב ולהפעיל זאת ב-Pi Hole.

בוידאו כאן תוכלו לראות הדגמה של הקמת שרת אובונטו LTS, הקמה והגדרות של Pi Hole.

ה-LAB הבא פרק 9: הרפתקאות עם שרתי HP דור 7

השבוע רכשתי (במחיר טוב! כמה? מוזמנים לקרוא את הפוסט שלי בנושא בבלוג העסקי) 3 שרתי HP DL360 G7. אלו שרתים די בסיסיים (בכל זאת, Xeon מלפני 8 שנים!) אבל קיבלתי אותם עם המון זכרון (208 ג'יגה!) ורציתי להקים עליהם VMWare vSphere 6.5 האחרון.

וכאן החלו ההרפתקות שאני רוצה לשתף עמכם, אם תירצו לרכוש שרתים כאלו בעתיד.

הדבר הראשון שהיתה בעיה – מערכת ה-iLO (זו מערכת הגישה מרחוק, ה-KVM המובנה פנימית) היתה לא מעודכנת (גירסה 1.15) וכתוצאה מכך לא היה ניתן כלל להיכנס לשרת מרחוק דרך דפדפן. לאחר בדיקות בגוגל התברר כי קודם כל יש לשדרג את הקושחה לגירסה 1.28 ורק לאחר מכן לשדרג לגירסת הקושחה האחרונה (נכון להרגע: 1.89). מכיוון שזו מערכת ישנה, אם אתם רוצים לראות את המסך מרחוק, תצטרכו .. להתקין JAVA ו"להילחם" בכרום שיתן לכם להוריד את קובץ ה-jnlp כדי שתוכלו להפעיל אותו. אם לעומת זאת אתם עם Firefox, מזלכם האיר לכם, יש תוסף יעודי "טבעי" של iLO ל-Firefox. בכל מקרה אין גירסת HTML5 לממשק ה-KVM לצפיה במסך. זה קיים רק ב-iLO 5 ומעלה ואי אפשר לשדרג iLO בשרת.

אחרי שסידרנו את עניין הגישה מרחוק, הדבר המומלץ הבא הוא לעדכן קושחות של השרתים. עדיין אין לנו מערכת הפעלה מותקנת ולכן מומלץ לעשות זאת עם קובץ ISO של יצרן השרת. כאן מגיעה הפתעה די מאכזבת: ל-HP אין שום בעיה שתורידו דרייברים ללא תשלום או רישום, אבל כשזה מגיע ל-ISO הזה הם רוצים שתשלמו על הארכת אחריות בכדי לקבל גישה לקובץ (שנקרא SPP – שזה Service Platform for Priliant וזו גירסה עצמונית של SUM – מערכת העדכון של HP). מכיוון שאין סיכוי שאני אשלם על שרת ישן "חידוש אחריות", פניתי ל"חבר האינטרנטי" (גוגל). נחסוך לכם את החיפוש, כאן אתם יכולים להוריד את ה-ISO מחודש יולי (מצאתי מקום אחר שנותן להוריד עדכון מהחודש, אבל אין שום הבדלים בין קבצי ה-ISO בכל מה שקשור לשרתים G7).

אז איך נפעיל את ה-ISO? שנתחיל לחפש USB Disk on key? לא צריך, אפשר דרך iLO.. כלומר אפשרי, אבל רק אחרי שתרכוש רשיון של iLO Advanced (אם אין לכם בשרת, לי לא היה באחד מהשרתים). כמה עולה? הו, טוב ששאלתם:

לשנה זה עולה $221 ול-3 שנים $339 וזה כמובן לא מזכה אתכם בשום תמיכה (התמיכה היחידה שתקבלו זה איפה להכניס את המספר ועדכונים.. שהם רק ל-iLO). טוב, גם הפעם אני לא ממש מעוניין לשלם על הרשיון אז שוב – גוגל שנותן לך לינק ל-Reddit כאן עם 2 רשיונות. תכניס, תפעיל (לא, זה לא מתחבר לאינטרנט לבדוק אם הרשיון "כשר").

אחרי שהפעלנו את הרשיון, ניתן להפעיל את ה-Remote Console, וניתן למפות קובץ ISO מהמכונה המקומית שלכם ולהפעיל את ה-SPP. כמות העדכונים שהיו היא .. אחת. עדכון לקושחת כרטיסי Qlogic. אם ציפיתם שהוא יעדכן את ה-iLO באותה הזדמנות – טעיתם. זה לא כולל עדכון של iLO. מדוע? ל-HP הפתרונים…

אז אחרי שהתקננו את העדכונים ל-iLO ויש לנו גישה מהדפדפן, אחרי שהרצנו את ה-SPP והוא עדכן את קושחת כרטיס הרשת הפנימי – נרצה להתקין וירטואליזציה אולי? אולי VMWare? רעיון מעולה, רק ששוב – זה לא כזה פשוט…

ל-HP יש IMAGE מוכן שתוכלו להריץ אותו דרך ה-iLO (אני ממליץ להכניס USB Disk on Key או כרטיס SD לשרת ועליו להתקין את ה-ESXi במקום דיסקים קשיחים). אתם מוזמנים להוריד אותו ולהתקין, הכל ילך חלק עד ש… תנסו להעמיס על השרת ותוך 6 דקות על השעון תיראו במסך ה-KVM מוצף בצבע סגול עם הודעות שגיאה ורגיסטרים. זה נראה כך:

לא, החומרה שלכם לא דפוקה, זה הדרייבר SMX של HP שהותאם לעבוד עם שרתים דור 9 ו-10, אבל בדרך הם שברו תאימות לשרתים דור 7 ו-8. מה עושים? משנסים מותניים, מתקינים VMWare PowerCLI ועוקבים אחר ההוראות כאן איך ליצור ISO חדש הכולל דרייברים מגירסה vSphere 6.0. אחרי שהכננו את ה-ISO, מפעילים דרך ה-iLO ומתקינים על ה-USB Disk on Key או על כרטיס ה-SD. מנסיון – זה עובד מעולה. עכשיו אפשר להתחיל לעבוד …

… בערך.

אם כל ה-Datastore שלכם מאוחסן באיזה סטורג' או NAS – אין בעיה שתתחילו לעבוד עם המערכת. לעומת זאת, אם אתם חושבים להכניס דיסקים SATA – תתבעסו לגלות שמהירות ה-SATA היא 3 ג'יגהביט (במקום 6 ג'יגהביט של SATA 3), כך שאו שתיקחו דיסקים SAS או שתחליפו לבקר אחר (ותשיגו כבל מיני SAS 8087 לחבר בין ה-Backplane לבין הכרטיס). חושבים להכניס SSD? קנו בקר אחר. איזה? כזה. מבחינת הרחבת זכרון, אתם יכולים להכניס עד 192 ג'יגהבייט אם זה זכרון 8500R (במהירות 1066 מגהרץ) או 288 ג'יגהבייט אם זה זכרון 10600R (במהירות 1333 מגהרץ).

ולבסוף רשמים: איך הרעש? כרגע מופעלים 2 מכונות כשבכל אחד מהם מעבדי X5650. אני כרגע מריץ סה"כ 10 מכונות VM (יהיו עוד הרבה) והם בחדר ממול, הרעש שהם עושים הוא פחות ממכונת ה-i5 שמתפקדת אצלי בתור NAS, כך שהם בהחלט שקטים.

לגבי חשמל .. היו רגעים שהגעתי לתצרוכת של 240-260 וואט, כרגע זה נראה כך:

כך שבסופו של דבר זה יחסית לא לוקח הרבה חשמל (כמובן, ברגע שאני אקים עוד כמה VM וייבא עוד כמה, התמונה תשתנה, אבל 200-260 וואט זה עדיין טוב.

לסיכום: האם הייתי ממליץ על רכישת שרתי DL360/DL380 G7? אני חושב שכן (כל עוד אין לך בעיה לעבור את המסכת שתיארתי לעיל אך מצד שני, בכל שרת תצטרך לעשות זאת פחות או יותר. בכל הקשור ל-iLO, פה זה עניין של מפתח מספרים, בשרתים אחרים מדובר במפתח חומרה כך שכן תצטרך לרכוש כזה, אם כי ב-eBay תוכל למצוא זאת בכמה דולרים).

ה-LAB הבא פרק 8: רשת 10 ג'יגהביט?

כשאנחנו בונים LAB לבית שלנו, אחת הנקודות החשובות היא חיבוריות בין אמצעי האחסון (NAS ברוב המקרים) לבין השרתים שלנו. אחרי הכל, לא חשוב איזו מערכת הפעלה השרתים יריצו, צריך לחבר אותם ל-NAS כדי להעביר נתונים, להתקין מכונות VM או קונטיינרים, להעביר נתונים וכו'. יש לנו בעצם 2 "רשתות" – הרשת האחת היא בין השרתים ל-NAS, והשניה היא בין השרתים (והשלישית זה תקשורת כניסה/יציאה לאינטרנט). בד"כ אנחנו נשתמש במתג (Switch) כלשהו כדי לחבר את הכל כך שכל מכונה תקבל כבל תקשורת אחד במהירות 1 ג'יגהביט או שנחבר מספר חיבורים פיזיים ב-Teaming כדי לקבל מהירות יותר גבוהה מ-1 ג'יגהביט.

נשאלת השאלה: האם אנחנו צריכים מהירות יותר גבוהה מ-1 ג'יגהביט? הבה נראה:

נתחיל ב-NAS שלנו (לא חשוב איזו מערכת הפעלה או איזה File System יש על ה-NAS). סביר להניח שהוא יכלול לפחות 4 דיסקים ומעלה. בואו נסתכל לדוגמא על דיסקים Red Pro של Western Digital (המתחרים נותנים את אותם נתונים). לחצו על התמונה להגדלה:

כפי שאתם יכולים לראות, דיסק קשיח שמעביר כמות נתונים גדולה ברציפות, מעביר אותם במהירות החל מ-164 מגהבייט לשניה ועד 240 מגהבייט לשניה במקרה של דיסק 10 טרהבייט. סביר להניח שנשתמש ב-RAID כלשהו (או RAIDZ ב-ZFS) כך שאם נעביר קובץ שמתחיל אפילו בג'יגהבייט אחד, מהר מאוד נגלה שצוואר הבקבוק שלנו הוא חיבור הרשת. אם תסתכלו אצלכם בעבודה, החיבור בין ה-SAN לשרתים כלל אינו מבוצע על כבל רשת נחושת אלא על סיב אופטי במהירות 8 ג'יגהביט ומעלה (או בחיבור SFF-8088 או SFF-8640, תלוי בסטורג'). מכיוון שלרובינו לא יהיה SAN בבית נצטרך בעצם למצוא דרך לבצע חיבור מהיר בין ה-NAS לבין השרתים. יש כמובן את שיטת ה-Teaming לחבר מס' כבלי נחושת Ethernet ביחד ליצור רוחב פס של 4 ג'יגהביט, אבל ישנו פתרון יותר טוב ומה שחשוב – יותר אמין.

לשם כך נצטרך 3 כרטיסי רשת 10 ג'יגהביט +SFP כאשר 2 מהם עם כניסה יחידה וכרטיס אחד עם כניסה כפולה. כאן לדוגמא אפשר לקנות 2 כרטיסים וזה יעלה בסביבות ה-240 שקלים (יכול להיות פחות), וכאן יש לנו כרטיס עם כניסה כפולה במחיר של 208 שקל (כדאי לדבר עם המוכר, הוא ישראלי). כדי לחבר בין הכרטיסים, מומלץ להשתמש בכבל DAC (כלומר Direct Attach Cable) בין ה-NAS לשרתים, נצטרך לפחות 2 כבלים (אם יש לך 2 שרתים) או יותר (אם יש לך יותר). כאן אפשר לרכוש חבילה של 10 כבלים (באורך 2 מטר) מסוג TwinAx Copper במחיר של 660 שקל + משלוח. אם לעומת זאת אתה רוצה לרכוש בבודדים, אתה יכול להציץ כאן ולרכוש ב-20$ כבל באורך 3 מטר. לאחר רכישה והתקנה, כל מה שנשאר לעשות זה להגדיר חיבוריות 10 ג'יגה, הגדרת Jumbo Frames ולהגדיר ב-DNS כתובת IP שונה כדי שקבלת/שליחת קבצים במכונות תהיה דרך ה-10 ג'יגהביט ולא דרך ה-1 ג'יגהביט.

לסיכום: חיבור 10 ג'יגהביט אינו כה יקר בין המחשבים והשרתים ל-NAS (יוצא בסביבות ה-600 שקל פלוס מינוס) והיתרון הגדול בחיבור כזה הוא מהירות תעבורת הנתונים ללא צורך במתג 10 ג'יגהביט וללא צורך בידע רציני כיצד להגדיר זאת. אם לדוגמא אתם עובדים עם "מדף" או עם JBOD שמחובר לשרת כלשהו, אז מחברים כרטיס כניסה כפולה לשרת ומגדירים את הכל כרגיל.