אתחיל בתמונה: מה שאתם רואים משמאל לקוח מתוך vSphere (מתוך ה-VCSA) ומציג בעצם את העומס על 2 שרתים שנמצאים כאשכול אצלי (הם ב-DRS כך שהעומס מחולק וב-2 המכונות מצב המעבד נראה כך). כמו שאתם יכולים לראות, העומס על המעבדים הוא קטן מאוד.
ובכל זאת, אם נקשיב למאווררים, נוכל לשמוע שהם לא ממש שקטים (לחצו להאזנה).
האם זה קשור לדגם מסוים של שרת או Brand כלשהו? התשובה היא לא. הבעיה תחזור בכל השרתים בגודל 1U, גם כאשר אין שום עומסים על המערכת. מה הסיבה? החום, כמובן. כך נראית טבלאת החומרה עם הטמפרטורות כרגע (לחצו להגדלה):
כמובן, כל מי שהתעסק או קרא אי פעם על Overclocking או שמבין במעלות חום למעבדים, יבין שהמספרים לא כל כך מדאיגים לגבי מעבד. בכל זאת, הוא יכול לעבוד עד 85 מעלות בלי שום בעיה (אם כי לא מומלץ שיגיע לשם) וכך גם לגבי הזכרון, כך שהמכונות יכולות להמשיך לעבוד ללא בעיה.
מדוע בעצם השרתים מגיעים לחום הזה? נכון, היכן שהם נמצאים אין מזגן, אבל המאווררים אמורים להעיף את החום, לא? אז זהו, שכאן מתחילה הבעיה הגדולה.
בתכנון השרתים.
במחשבי דסקטופ/תחנות עבודה העניין די ברור ופשוט: יש מאוורר ומערכת קירור יעודית למעבד, כנ"ל לגבי הכרטיס הגרפי. שאר המאווררים (תלוי בתצורת ה-Push/Pull שקבענו בעת הבניה) מטרתם בסך הכל להכניס אויר ולהוציא אויר. הם לא יכולים לקרר את המעבד או ה-GPU. אויר בטמפרטורת החדר נכנס, אויר חם יוצא. גם ביום קיץ מהביל, אינכם שומעים מחשב (כל עוד הוא תקין מבחינת מאווררים) "זועק" כמו הדוגמא שהעליתי לעיל.
בשרתים לעומת זאת, אפשר לראות את התכנון הלקוי שאפיין שרתי 1U בעשור האחרון. קשה להאשים את היצרנים – בסופו של דבר, רעש זה הפרמטר האחרון שהם התחשבו בו, ולכן הם החליטו שהפתרון הכי טוב לשרתים הם צלעות על המעבדים, ו-6-7 מאווררים קטנים אך חזקים בחזית השרת (אחרי הכוננים וה-Backplane), כך ששרתי 1U של היצרנים המוכרים מרעישים בברירת המחדל כשחם בחדר, גם כשהמעבדים לא עושים כמעט כלום. אגב, בשרתים מהדור האחרון היצרנים (לפחות HPE) "נזכרו" בחלק מהדגמים להשתמש בפתרונות כמו צינורות נחושת להעברת האויר ובכך השרתים יותר שקטים, רק שרוב האנשים לא ממש חושבים לרכוש שרתים מהדור האחרון ל-LAB הביתה..
הפתרון שכל אחד יציע: סגור את השרתים בחדר עם מזגן. הבעיה היא שגם אם תיישם זאת והמזגן יעבוד באופן רצוף, זה יעלה לך כל שנה כמעט 3000 שקל (כלומר תוספת של 500 שקל לחשבון חשמל דו חודשי):
אז מה? לא לקנות שרתים 1U? אם אתה לא יכול לסגור אותם בחדר ממוזג או לשים אותם במקום שיש בו מיזוג שפועל רצוף (במיוחד בימים כאלו שהחום ביום יכול להגיע ל-36 מעלות ומעלה) – אז יהיה עדיף לוותר על הפיתוי ולחשוב על פתרון אחר.
אם לעומת זאת, אתה רוצה לבנות שרת 1U אז תוכל להשתמש במס' טריקים שיוכלו לעזור לך "להשתיק" את השרת גם ללא צורך במזגן:
בחר במעבד נכון. אם לא מדובר בשרת וירטואליזציה אלא שרת קבצים או מדיה, אפשר לקנות לוחות שמשובץ בתוכם מעבד (שלא ניתן להחלפה) או לחלופין קנה מעבד שמעטפת צריכת החשמל שלו נמוכה (AMD לדוגמא הוציאו את ה-Ryzen 5 2400GE שמעטפת צריכת החשמל שלו היא 35 וואט ועדיין יש לו מעבד גרפי מכובד לדברים פשוטים ויש לו 4 ליבות).
השתמש בפתרון איוורור אקטיבי הכולל מאוורר. לחברת Dynatron לדוגמא יש מאוורר ל-1U וכל עוד המעבד לא מתאמץ אתה לא ממש תשמע אותו (כך שזה לא ל-HTPC עם מעבד חלש וישן). לעומת זאת לאותו מעבד AMD שציינתי לעיל הוא בהחלט יכול להתאים הואיל וכמות החום שהוא יוציא היא קטנה.
את המאווררים בקופסת 1U מומלץ לזרוק לפח ולרכוש מאווררי 40 מ"מ של חברת Noctua. אלו מאווררים שתוכננו מלכתחילה להיות שקטים מאוד והם כוללים גם 2 ערכות חוטים כדי להשתיק את המאווררים עוד יותר, והם כוללים גם גומיות בצדדים להשתקת ויברציות. בקיצור – אלו מאווררים מעולים.
בשרתי 2U יש יותר מקום וניתן לבצע כל מיני Hacks כדי להשתיק אותם ועל כך – בפרק הבא.
אנחנו בשנת 2018, כמעט לכל ילד ברחוב יש טלפון סלולרי, אולי טאבלט בבית, ויכול להיות שיש גם איזה מחשב נייח בבית, שלפעמים הילדים רבים לגבי שימוש בו ולכן חושבים לרכוש מחשב נייח חדש.
ילדים, מה לעשות, לא מחפשים רק לגלוש באינטרנט ובאתרים, אלא הם מחפשים גם לשחק משחקי מחשב עתירי גרפיקה, וכך במקרים רבים מחשבים בסיסיים עם מעבד גרפי מובנה של אינטל אינם מספקים. מה לעשות, אינטל וכל מה שקשור לגרפיקה – לא ממש מובילים בביצועים זה זמן רב, ולפיכך בד"כ גם רוכשים כרטיס גרפי טוב וזול. הבעיה? מחירי כרטיסים גרפיים עלו בשנה האחרונה בעשרות עד מאות אחוזים עקב דרישה גוברת של "חופרי מטבעות" דיגיטליים וכרטיס גרפי בסיסי שעלה בעבר בסכום של 100-150$, נמכר כיום ב-180-220$. יש משפחות שהוצאה כזו היא אינה הוצאה רצינית אולם משפחות ברוכות ילדים לדוגמא – הוצאה כזו היא בהחלט הוצאה משמעותית.
חברת AMD הוציאה בעבר את מעבדי ה-Ryzen שלא ממש התחרו בדור האחרון (Coffee Lake) של אינטל מבחינת ביצועים במשחקים, אבל המחיר היה יותר נמוך מהמעבדים של אינטל. הבעיה המרכזית היא שאם רצית לקנות מחשב מבוסס AMD, היית חייב לרכוש גם כרטיס גרפי יעודי כי המעבד לא כולל שום יחידה גרפית.
הדברים השתנו בחודש האחרון ו-AMD הוציאה את מעבדי ה-Ryzen 3 2200G ו-Ryzen-5 2400G. המעבד הראשון הוא מעבד בסיסי עם 4 ליבות ו-4 נימים (כלומר אין Hyperthreading או כפי ש-AMD קוראים לזה: SMT), והוא עם 8 ליבות GPU לגרפיקה של משחקים, גלישה וכו' וכו'. מחירו בחו"ל הוא 99$. לעומתו מעבד ה-Ryzen 5 2400G כולל 4 ליבות, 8 נימים, ו-11 ליבות GPU ומחירו הוא $130, כלומר אם קונים, עדיף לרכוש את ה-Ryzen-5 2400G.
מבחינת גרפיקה למשחקים ודברים כאלו, המעבד בכל הסקירות הפגין ביצועים מאוד יפים (אפשר לקרוא על כך כאן לדוגמא) כשמריצים משחקים עד רזולוציה של 1920X1080 (כלומר 1080P) עם איכות גרפיקה בינונית (שבינינו, זה מספיק בהחלט לילדים). אם משווים זאת לכרטיס גרפי יעודי, הביצועים נעים בין GT 1030 (שעולה 380 שקל לפי ZAP) לבין GT 1050 (שעולה בין 680 ל-1000 שקל לפי ZAP). בסכום הזה אתם יכולים לקנות דיסק קשיח יותר גדול למחשב שתרכשו לדוגמא.
אבל לפני שרצים לקנות מחשב מבוסס Ryzen 5 2400G, כדאי לשים לב שעל קופסת הלוח אם (אתם מקבלים את זה יחד כשאתם רוכשים את המחשב) יש את המדבקה כמו זו:
הסיבה לכך פשוטה: לוחות אם רבים יצאו בשנה שעברה עם תמיכה למעבדי ה-APU של AMD כמו ה-Ryzen 5 2400G, אבל המעבדים לא היו מוכנים בתצורה הסופית וכשהם שוחררו היו מספר שינויים שמחייבים שדרוג BIOS לפני הכנסת מעבד כזה לתושבת לוח האם. לוחות אם שאין להם את המדבקה עם הכיתוב "AMD Ryzen Desktop 2000 Ready" אינם מעודכנים ויש צורך במעבד אחר של AMD על מנת לעדכן את הלוח, ואם יש את המדבקה, אז הלוח עבר עדכון והוא מוכן לעבודה מלאה עם המעבדים החדשים של AMD.
במסגרת המאמרים על ה-LAB הבא, שמעתי לא מעט טיפים על הוספת תמיכת תלת-פאזי בביתי בשביל השרתים ואני מעוניין להפריך את המיתוס הזה בהזדמנות זו.
בואו ניקח מחשב דסקטופ רגיל. אנחנו נמצא בו מעבד של AMD או אינטל עם צריכת חשמל של עד 65 או 90 וואט (ללא Overclocking) זה ה-TDP שהוא ממוצע. מעבד כמו אינטל i7-6700K בעומס יצרוך 116 וואט. בחלק מהמקרים שיש שם גם כרטיס גרפי יעודי למשחקים וכו', צריכת החשמל שלו תהיה בין 100-300 וואט (ה-300 במקרים של VEGA מ-AMD, במקרים של nVidia זה בד"כ מגיע גג בצריכה מקסימלית ל-250 וואט). שאר הציודים במחשב לא ממש צורכים הרבה. מאוורר (גם בפעילות מלאה) צורך 0.6 וואט ודיסק קשיח צורך בין 5-9 וואט.
כלומר ספק כח של 300-500 וואט יכול בהחלט להספיק ל-PC רגיל. (שוב, בלי Overclocking)
מכאן נעבור לשרתים: שרת בעקרון בנוי פחות או יותר כמו PC רק בתצורה הרבה יותר "הדוקה" מבחינת אינטגרציה, זרימת אוויר, רכיבים וכו'.
אם נסתכל על החלק שצורך את הכי הרבה חשמל, מדובר כמובן במעבדים. הבה ניקח מעבד פופולרי בשרתים כמו ה-Xeon E5-2620 V4 בזוג. אם תסתכלו על הדף הזה, תראו שהמקסימום צריכה של כל השרת מגיע ל-368 וואט. שוב, ספק 500 וואט יספיק פה לחלוטין.
כל העניין של חיבור תלת פאזי הוא מהסיבה שאנחנו רואים את זה בחוות שרתים. ארון 42U עם 20 שרתי 2U, או 40 שרתי 1U (או הרבה פחות אם השרת הוא עם U יותר גבוה) אז כן – צריכת החשמל עולה ועולה ואז באמת צריך חיבור תלת פאזי.
אבל בבית, מה בדיוק נקים? 2-4 שרתים? ברוב המקרים זה יהיה 2-3), זה יהיה כמו להפעיל 5 מחשבי PC בתצורת Desktop. נוסיף לכך את העניין שמדובר ב-LAB וברוב המקרים מה שנריץ לא יתפוס באופן קבוע את המעבדים בצריכת 100% אלא יותר לכיוון ה-20-40% כך שצריכת החשמל עצמה לא תהיה גבוהה.
בלוח החשמל שלנו יש לנו מתג ראשי שמקבל כמות מסויימת של אמפר (בחלק מהמקומות זה 24, בחלק 32 וכו' – צריך לשאול את חברת חשמל לגבי הבית שלך), והמתגים המשניים יכולים להעביר X אמפר לאותם נקודות להם מחוברת נקודת המשנה (בד"כ זה 10 או 16 אמפר, תלוי במתג המשני). כשמתכננים LAB, כדאי לחשב צריכה פר שרת (Amp = Watt/Volt) וכמובן יש לקחת בחשבון ציודים אחרים שמחוברים לאותו מתג משני, כך שאפשר בהחלט להגיע למצב שלא צריך להגיע לקניית הרחבה לחיבור תלת פאזי.
נקודה נוספת חשובה: סוג המעבד. מעבדים כמו Xxxxx (כמו X5670) ומעבדי E5 צורכים לא מעט וואט, אבל אפשר גם ללכת על מעבדי L עם מעטפת צריכת חשמל נמוכה (65 וואט). החסרון: המהירות נמוכה ב-1 ג'יגהרץ לערך ממעבד E5, כך שאם אתה מוכן לאיטיות קלה, תוכל לחסוך בחשמל.
לסיכום: כל עוד מדובר במספר קטן של שרתים (שוב – משהו כמו 2-5) ואין בנקודת המשנה שום ציוד שצורך וואט גבוה באופן רציף – אפשר להקים LAB מבלי להרחיב חיבור לתלת-פאזי.
בפוסט הקודם דיברתי על בניית Storage ל-LAB שלכם, ודיברתי יותר על תוכנה (OS וכו') מאשר חומרה. הפעם אשלים את הפערים לגבי חומרה.
טכנית, הפתרון הכי פשוט ל-LAB קטן זה לקחת שרת 1U, למלא אותו בדיסקים, להקים בשרת VM, ולייעד חלק מה-Datastore שיהיה שרת iSCSI/NFS/CIFS וכו'. זה לא יתן את הביצועים הכי טובים (בכל זאת, אתם לא יכולים למפות את הכרטיס RAID ל-VM כי המערכת משתמשת בו, אלא אם תפרידו פורטים של SAS מהכרטיס RAID הפנימי לטובת כרטיס RAID אחר) – אבל כשהתקציב מצומצם וצריך משהו פה ועכשיו – זה יכול להיות פתרון.
אבל יש עוד פתרונות.
אחד הפתרונות הפופולריים הוא קניה של JBOD (כלומר Just a Bunch Of Disks, יש גם הסברים אחרים ל-JBOD). בעקרון JBOD הוא דבר די "טיפש" שאינו מכיל מחשב X86 בתוכו אלא בקר יעודי שכל תפקידו הוא להתחבר לחיבורי המיני SAS ב-Backplane (חיבור עם כבל SFF 8087) ולהוציא אותם החוצה, כך שאם יש לך לדוגמא ב-JBOD כ-3 שורות של 4 דיסקים לדוגמא, תצטרך לחבר 3 כבלי SFF-8088 (בתמונה מימין) בין ה-JBOD לבין המכונה שתריץ ה-OS שיתן שרותי קבצים.
ישנם קופסאות עם JBOD עם כרטיסים יותר חכמים שמוציאים את כל תעבורת הדיסקים שלכם על SFF-8088 יחיד ויש עוד כניסה שמאפשרת שרשור מתמשך של קופסאות JBOD (כך ניתן לשרשר עד 1024 דיסקים SATA או SAS), כך שבסופו של דבר, שרת 1U שמריץ פתרון וירטואליזציה, כרטיס RAID עם כניסות חיצוניות שממופה ל-VM – ותוכלו להרים יופי של פתרון שרת קבצים.
ויש כמובן את הפתרון שהרבה יעדיפו – לרכוש מארז 2U גנרי לשרת כמו Chenbro, iStarUSA, NorcoTek ואחרים, להכניס שם לוח אם דסקטופ עם מעבד פשוט וכמות זכרון צנועה וכרטיס רשת, לדחוף דיסקים ולבנות שרת קבצים כמכונה יעודית או לרכוש פשוט שרת 2U יעודי יד שניה. החסרון ברכישת שרת יעודי יד שניה זה שאתה עלול למצוא את עצמך עם ביצועים מופחתים ב-50%, הואיל ושרתים רבים הם ישנים ועדיין עובדים עם SATA 2, כלומר מחצית מהמהירות של SATA-3. במקרים כאלו אם מחליטים לרכוש שרת כזה, קנו כרטיס RAID יעודי וחברו אותו ל-Backplane במקום כרטיס ה-RAID שנמצא בשרת, רק תוודאו שהוא תומך ב-SATA-3.
לסיכום: ה-LAB שלך יכול לתת ביצועים טובים או גרועים – תלוי בפתרון Storage שתבחר להקים/לרכוש. אם בחרת לדוגמא להכניס דיסקים מכניים 2.5 אינטש של לאפטופים (כי מצאת בזול) – יהיה מצב שה-VM יעלו לאט וכל פעולה שדורשת שימוש בדיסקים תהיה איטית בגלל שמהירות הדיסקים הזו היא איטית יחסית (5400 סיבובים לדקה מול 7200 בדיסק טוב). לעומת זאת, אם תבחר דיסקים קשיחים במהירות 7200 RPM ותוסיף דיסק או 2 SSD שישמשו כ-Cache, הביצועים שלך יהיו (יחסית) טובים. נכון, זה רק LAB ביתי, אבל חוק מרפי אומר שלפעמים כשאתה בדיוק צריך לבדוק משהו ועכשיו – ביצועים טובים מאוד יעזרו לך.
בפרק השלישי אנחנו נדבר על Storage. אם יש משהו שאנחנו צריכים ל-LAB – זה Storage. זה יכול להיות משהו קטן וצנוע, וזה יכול להיות 4 שרתים ב-Cluster שמריצים CEPH עם כרטיסים של 10 ג'יגהביט או GlusterFS עם 3-4 שרתים שיתנו לנו מה שאנחנו צריכים. בקיצור – הטווח רחב.
אז לפני שנשלוף את כרטיס האשראי, נרוץ ל-eBay ולאמזון לרכוש ציוד – צריך לבדוק מה הצרכים שלכם. אם לדוגמא אתם רק רוצים לבנות איזה NAS קטן לארח קבצים (ISO, סרטים, סדרות, כמה VMDK קטנים וכו') אז כל מה שאתם צריכים זה לוח אם עם מעבד בינוני (מעבד i5 או i7 מלפני דור או 2), 8-32 ג'יגה זכרון, וכמובן – דיסקים קשיחים. לצרכים כמו שתיארתי לעיל, ערימת דיסקים קשיחים מכניים + כונן SSD יספיקו. אם לעומת זאת אתם רוצים להריץ את כל ה-VM/קונטיינרים שלכם דרך NFS או iSCSI, אז נצטרך משאבים יותר רציניים כמו SSD מכובד (סידרת ה-PRO של סמסונג היא בחירה מעולה, גם Crucial MX300 זו בחירה טובה). אם לעומת זאת אתם רוצים לחבר את כל המכונות (ויש לכם יותר מ-20 מכונות VM רצות) לאותו Storage בחיבור 10 ג'יגהביט (RJ45 או +SFP) – אני ממליץ על 2 כרטיסי Intel Optane 900P בגודל 280 ג'יגה בתצורת RAID-0 שישמשו כ-Cache.
שאלת השאלות כמובן היא – מה להתקין מבחינת OS? יש לכך כמה תשובות:
אם אתה לא אוהב לינוקס/שונא לינוקס/לא מכיר לינוקס/פוחד מלינוקס – אתה יכול להתקין את XPEnology של Synology. גירסה זו אינה מקבלת תמיכה רשמית (ולא תמיד היא עובדת על מעבדי AMD בלי לבצע כמה שינויים) – אבל אתה מקבל את מה ש-Synology מוכרים: יצירת RAID, ווליומים, הרמת קונטיינרים ומכונות וירטואליות, שיתוף קבצים ותיקיות, שימוש ב-SSD כ-Cache ועוד ועוד. למעוניינים לראות איך להתקין את זה, כאן הוידאו שמדגים ומסביר בקצרה.
אם אתה מחפש לבנות NAS יותר רציני (עם חיבור ל-Active Directory, עם iSCSI יותר רציני, עם ביצועים יותר גבוהים וכו') ואתה לא רוצה להתקרב ללינוקס – FreeNAS יכול להיות פתרון מעולה בשבילך. חשוב מאוד – מכיוון ש-FreeNAS מבוססת על FreeBSD ו-FreeBSD לא מתעדכן תדיר כמו פדורה ואובונטו, אז עדיף להשתמש בלוח אם ומעבד דור או 2 אחורה ולאו דווקא משהו חדש שיצא לפני כמה חודשים (אחרת המערכת אפילו לא תפעל).
אם לעומת זאת, אתה רוצה ביצועים מאוד גבוהים ואתה מכיר לינוקס טוב והסטורג' שלך הוא מכונה אחת, לך על ZFS שרץ על לינוקס. תקים מכונת אובונטו 16 LTS (הגירסה לשרת, לא לדסקטופ), תתקין עליה ZFS ותתחיל להגדיר דברים. לא מכיר ZFS טוב או בכלל ויש לך סבלנות? קנה את הספר הזה ותתחיל ללמוד אותו.
רוצה לא רק ביצועים ויציבות אלא גם שרידות חומרה? הקם 2 שרתים, תתקין עליהם ZFS ומעל זה הקם לך GlusterFS. לאחר הקמת ה-GlusterFS (הוא לא מצריך מעבד עם 16 ליבות ו-128 ג'יגה זכרון. מעבד עם 4 ליבות, ו-8 או 16 ג'יגה זכרון יספיקו) תוכל להקים שרותים כמו NFS, iSCSI ו-CIFS כדי לשתף. על מנת לקבל שרידות, יהיה צורך להתקין חבילות Corosync ו-PaceMaker שאיתן תוכלו להגדיר VIP. מומלץ להשתמש בגירסת GlusterFS 3.8 (ב-3.10 ו-3.12 יש בעיות שמטופלות בימים אלו). אה … המערכת תהיה Active/Active 🙂
אם אתם משתמשים ב-Storage שלכם למערכות VM/קונטיינרים/Open Stack וכו' – גיבוי יהיה חשוב לכם. במקרה כזה, קנו שרת יד שניה, מעאפן ככל שיהיה, הכניסו בו דיסקים ו-SSD, תתקינו איזו מערכת מההמלצות למעלה, ותייצאו ממנו SHARE ב-NFS (או CIFS) ותגבו לשם, ולמי ששואל – Veeam עובד עם זה מעולה, מנסיון.
אחרי שהקמתם את ה-Storage שלכם, דחפו למכונה (אם אין) כרטיס רשת עם 2 או 4 כניסות (חוץ מהכניסה שאתם משתמשים כרגע) ויצאו את ה-Share פר כניסה או פר זוג (Teaming וכו'). לשם כך תצטרכו מתג טוב שיודע לתמוך טוב ב-VLAN, Tagging, 802.11q ושאר ירקות. איזה? אין לי המלצות קונקרטיות, שאלו חברים 🙂
לסיכום: אם אתם מקימים LAB כדי ללמוד דברים חדשים על מנת לשפר את הקריירה והידע המקצועי שלכם, כדאי לכם מאוד להקים Storage מקומי ולא להשתמש באחסון המקומי בתוך השרתים. לכל חברה שתלכו שמכבדת את עצמה – יש פתרון Storage כלשהו ועדיף שתלמדו איך ליישם פתרונות עם Storage דרך כניסות רשת נפרדות, איך משתמשים ב-Multipath וכו' וכו'.
בפוסט הקודם שלי דיברתי על אלו שרתים אני רוצה. יצא לי בימים האחרונים להסתכל על כמה מכירות של שרתים יעודיים יד שניה ב-eBay ובארץ ואני הולך לרכוש 2 שרתים, והחלטתי לשתף כמה טיפים בבחירה, החלפת ציוד פנימי ועוד.
בחברות בד"כ, השרתים שנרכשים נמצאים בחדר יעודי או בחוות שרתים. כל הרעש שהם מפיקים – לא מזיז לאיש. יש דלת, יש מזגן בחדר והכל עובד פיקס (טוב, תיאורתית לפחות. תנסו פעם להכניס לחדר כזה 4 שרתים כשבכל אחד מהם 8 מעבדי Xeon, נראה איך המזגן בחדר יקרר…).
אבל כשזה מגיע לבית ואין איזה חדר פנוי/ממ"ד לאחסן, לשים מזגן ולסגור את הדלת – מתחילה הבעיה במיוחד בשרתים בגדלים של 1U. לשרתים האלו יצא שם של מנועי סילון מבחינת רעש שהמאווררים עושים.
מדוע המאווררים האלו יוצרים רעש כזה חזק? מכמה סיבות. לשם הדוגמא, ניקח שרת של DELL, ה-R710. נתחיל עם צלעות הקירור (לחצו להגדלה).
אם תסתכלו מקרוב על צלעות הקירור, תראו שהם מאוד צפופים. לשם השוואה, אם תסתכלו על כל פתרון קירור עם צלעות וקירור אויר, תראו שהרווח בין הצלעות הרבה יותר גדול. הסיבה לצפיפות היא שישנם הרבה יותר צלעות, מה שעוזר לחום לעלות בהדרגה ולא במכה אחת. נוסיף לכך שבמקרה של שרתים רציניים יש צורך לקרר את הכל, החל מהדיסקים הקשיחים (גם SSD), נמשיך בזכרון, במעבד כמובן, ברכיבים השונים וכלה בכרטיסים שנמצאים בסוף השרת (במיוחד אם יש לכם GPU רעב לוואטים רבים). במאווררי מחשבים רגילים, עצם יצירת הרוח היא פונקציה מספקת כדי לקרר את הציוד. בשרתים לעומת זאת, המאווררים צריכים לרוץ במהירות של עד פי 4-5 (כלומר עד בערך 20,000-25,000 סיבובים לשניה – RPM). מדוע? כי המהירות הזו יוצרת לחץ סטטי של אוויר שנמדד ב-CFM (כלומר Cubit Foot/Minute). במילים אחרות, המאווררים יוצרים מעין "מנהרת רוח" שנכנסת מהחורים היכן שנמצאים הדיסקים (ולכן אפשר להרגיש לפעמים דיסקים "קפואים") והאוורור יוצא בתפזורת מהצד השני. כל הספקים גם מוסיפים פלסטיק בשרתים יעודיים שמחלק את האוורור בין 2 המעבדים בשרת כך שהאוורור יספק את הציוד ב-2 החלקים בשרת.
בקליפים רבים ביוטיוב ניתן לראות אנשים שמחליפים מאווררים אלו במאווררים של Noctua לדוגמא. אלו מאווררים מאוד שקטים, אך זהו אינו פתרון. מאוורר של Noctua מסוגל במקרה הטוב להוציא 5000 RPM, רבע ממה שמאוורר טיפוסי של שרת 1U יכול להוציא כך שהוא אינו יכול ליצור את אותו לחץ סטטי הדרוש לקירור המעבדים ושאר הציוד בשרת. פתרון כזה כן יכול להתאים אם יש לכם מתג או נתב שמרעישים, במקרה הזה – ההחלפה היא מומלצת ויהיה לכם שקט.
נקודה חשובה נוספת היא בבחירת המעבדים בשרת. אם חשקה נפשכם בהכנסת המעבדים הכי חזקים לשרת (כמו ה-E5 2699 V4), תצטרכו לקחת בחשבון חיים מחוץ למטוס בואינג 747 גם כשהשרת לא עושה מאומה. מעבד כזה לוקח 145 וואט, נכפיל ב-2 (2 מעבדים) והרי לנו מפלצת שצריך לקרר אותה כל רגע וכל שניה, כאן המאווררים לא ממש יוכלו "לנוח" ולרדת לרמה סבילה של רעש לבן. לכן – כדאי לבדוק מה ה-TDP (מעטפת צריכת חשמל) של כל מעבד. כמה שיותר נמוך, המאווררים יצטרכו פחות לעבוד ואתם תוכלו לחיות בבית בשקט. בד"כ מעבדים של 60 וואט הם אידיאליים אולם ניתן גם לקחת מעבדים עם TDP של 90 וואט.
עניין נוסף הוא הדיסקים בשרת. ברגע שאין לכם דיסקים בשרת, יכנס הרבה יותר אוויר (אין דיסקים שחוסמים חלק מכניסת האוויר) לשרת והוא יתקרר הרבה יותר מהר, מה שיוריד את מהירות המאווררים ויתן שקט, ולכן אם אתם לדוגמא חובבי VMWare, השתמשו ב-Disk On Key (או בכרטיס SD שישב בשרת) כציוד ל-Boot ללא כמות גדולה של דיסקים (אפשר להכניס SSD או 2 ב-RAID-0 שישמשו כ-Read Cache עבור ה-vSphere) והקימו לכם שרת גדול (4U) עם דיסקים מכניים ו-SSD שישמשו כ-Storage שאותו תשתפו כ-NFS, CIFS, iSCSI לשאר השרתים (ואם יש לכם תקציב, הקימו עוד אחד כזה עם דיסקים יותר איטיים שישמשו לגיבוי). זיכרו: לא חייבים דיסקים בכל שרת ואפשר לעשות BOOT מ-PXE (תכירו את iPXE שנותן הרבה יותר מ-PXE רגיל).
אם אתם רוצים לחסוך בצריכת חשמל וגם לקבל שקט, תצטרכו לבנות לכם שרתים וכאן מומלץ לעבוד עם מארזים בגודל 4U (או 3U, תלוי בצרכים). במארזים כאלו ניתן להכניס 2 מאווררים שקטים של 120 מ"מ, 2 מאווררים מאחורה (בתצורת PULL כדי שישאבו את האויר מהמכונה ויוציאו אותו החוצה) ופתרון קירור רגיל מבוסס אויר למעבד שתבחרו. כל המאווררים לא לוקחים צריכת חשמל רצינית (בערך 0.6 וואט פר מאוורר) כך שהמכונה אולי תהיה גדולה, אבל צריכת החשמל שלה תהיה נמוכה משמעותית מצריכת חשמל של שרת יעודי רגיל.
מי שקורא את הבלוג הזה בוודאי קרא בעבר על ה-LAB שלי. למען האמת, עד היום היו לי בערך 3 LABS שהורכבו ממחשבים שונים, חלקם היו PC רגילים עם מפרט נמוך, בחלק מהזמן ה-LAB היה מורכב משרתים של HPE ובשנתיים האחרונות היה לי מיקס של מכונות החל ממיני PC ו-Raspberry Pi ועד צמד שרתים עם 8 מעבדי Xeon בכל מכונה (הושאל ע"י לקוח לטסטים עבורו).
אחד הדברים שאני מתכנן לבצע בשנת 2018 זה להקים LAB חדש מאפס, לעשות קונסולידציה (לוותר על הנתב שלי ולאחד את זה עם דברים אחרים), לעבור לפלטפורמה אחידה ואם יהיו פרויקטים רווחיים – להקים Storage חדש (כמובן שמבוסס ZFS) ושכל המכונות יהיו במבנה שרתים (1U, 2U).
אבל לפני שעושים את הדברים האלו, חשוב לדעתי לבדוק מהי הסביבה שכל זה ישב. אם מאן דהוא שוכר/רכש בית של 2 קומות ומעלה עם חיבור חשמל גדול ועתיר אמפרים/וואט, אז הוא יכול לרכוש לעצמו כמה שרתי מותג יד שניה, NAS כמו Synology, להוסיף נתב, להקים את הכל בארון 20U/40U, לאחסן את זה בממ"ד, להקים כמה נקודות AP בבית, אולי להוסיף מזגן (במקרה הצורך, בהתאם לטמפרטורות) ולסגור עניין. משם עושים את כל ההגדרות דרך SSH/RDP/דפדפן מבלי לסבול מהרעש של המכונות.
אני מצד שני חי בדירה שכורה בבניין די ישן. מצב החשמל אינו משהו (אם ידידתי שגרה איתי מפעילה פן וב-2 חדרים פועל מזגן – החשמל נופל) ואין פה שום ממ"ד וזה ישב בסלון, כך שלקנות שרתי מותג לא רלוונטי אם אני רוצה לישון בלילה. גם מעבדי זוללי חשמל כמו Xeon או Threadripper הם בעייתיים כי חשבון החשמל יקפוץ חופשי לאזור ה-2000 שקלים לחשבונית ו-NAS מוכן בד"כ לא ממש יעזור לצרכים שלי.
אז מה הולך להיות לי ב-LAB הבא: (התכנון כמובן אינו סופי ודברים עוד ישתנו)
מבחינת מעבדים – כל המכונות (למעט נתב) יהיו מבוססים Ryzen 7-1700. הסיבה? מעטפת חשמלית נמוכה (65W) יחד עם 8 ליבות ו-16 נימים. לינוקס רץ על זה מעולה, וגם vSphere 6.5U1 תומך ב-Ryzen.
מבחינת שרתים – 3 מכונות, 64 ג'יגה זכרון, דיסק SSD של 250 ג'יגה פר ESXI (לשימוש כ-Cache). יהיו 2 שרתי vSphere כ-Cluster שיופעלו מ-Disk on Key ועוד מכונה שתריץ לינוקס "על הברזל" כדי להריץ עליה דברים שמצריכים וירטואליזציה כמו VirtualBox (פרויקטים כמו MiniKube, MiniShift ועוד)
מבחינת תקשורת – יש לי כל מיני רעיונות בראש. התקשורת המרכזית תהיה על 1 ג'יגהביט אך התקשורת בין ה-ZFS למכונות הוירטואליות תהיה ב-10 ג'יגהביט. מבחינת מכונה שתשמש כנתב אני כנראה אבנה זאת מ:
קופסא 2U (או 3U) עם לוח רגיל ומעבד i3-7100T (מעטפת 35W) או לוח עם מעבד ATOM C3XXX. למי ששואל מדוע צריך מעבד כזה – 2 חיבורי VPN, אפליקציה כמו Suricata או כל פתרון IPS/IDS, ניתוב 10G, והמעבד נצרך במלואו.
2 כרטיסי רשת – 1 עם 4 פורטים של ג'יגה והשני 4 פורטים של 10 ג'יגה +SFP כך שאוכל לחסוך רכישת נתב +10G SFP (כן, יש יד שניה זולים כמו של Quanta, תצרוכת החשמל שלהם בשמיים).
מבחינת Storage – בהתאם לתקציב ורווח, אני אקנה מארז 2U ל-12 דיסקים 3.5", פלוס 2 דיסקים SSD + מקל M.2 PCIE שישמש ל-SLOG ו-ZFS שנותן את כל השרותים שירוץ על אובונטו LTS או פדורה.
הכל ישב בארון 20U עם 2 דלתות ואולי מאוורר פנימי, בהתאם לצורך.
הפוסט הזה הוא פוסט ראשון בסידרת פוסטים. בפוסטים הבאים אני אתאר מדוע בחרתי את אותם דברים (או דברים אחרים), מה האלטרנטיבות והיכן ניתן לחסוך כספים.
הערה: יש עוד 3 וחצי חודשים עד שמסתיימת השנה, אך מכיוון שראש השנה חל בקרוב ומשפחת מעבדים חדשים לא עומדת לצאת בקרוב – אז החלטתי לדרג את המעבדים מוקדם 🙂
כשזה מגיע למעבדי X86-64, שנת 2017 בהחלט תירשם כשנת מפנה, הן עבור AMD והן עבור אינטל. 2 החברות הוציאו משפחות מעבדים שונות השנה והצרכן – רק הרוויח מכך (פחות או יותר, על כך בהמשך).
נתחיל עם AMD:
חברת AMD הוציאה השנה מעבדים המבוססים ארכיטקטורה חדשה שלהם, ה-ZEN. לפני ZEN, חברת AMD הוציאה מעבדים הכוללים מעבד גרפי (ובקיצור: APU) שביצועיהם לא ממש הרשימו אך המחירים שלהם היו מאוד נמוכים. עם ZEN המעבדים של AMD קיבלו תפנית רצינית ולראשונה AMD הציגה משפחת מעבדים בשנת 2017 החל מ-Ryzen 3 ועד Ryzen-7 שהצליחו להתחרות בכבוד במעבדים של אינטל בכל מה שקשור לעבודה בריבוי משימות. AMD לא הצליחה להגיע לביצועים יותר גבוהים ממעבדי אינטל בכל הקשור למשימות שמשתמשות בליבה אחת (Single Threading) אך AMD העמידה אתגר מעניין לצרכנים: שלם פחות, קבל יותר ליבות ממה שאינטל נותנת לך. התוצאה? הסתערות המונית של צרכנים שהחליטו לנצל את המחירים היותר נמוכים ע"מ לשדרג את המכונות שלהם.
גם בתחום השרתים AMD השתמשתה בפלטפורמת ה-ZEN שלהם וגם כאן, לראשונה לאחר 5 שנים, AMD הוציאה משפחת מעבדים לשרתים (ה-EPYC) עם מחירים מאוד מפתים וביצועים מעולים ברוב המטלות – בהשוואה למעבדי דור 4 ו-5 של אינטל. גם כאן, לראשונה, לאינטל יש תחרות וחברות גדולות מאוד כמו מיקרוסופט ו-Ali Baba החליטו לרכוש הרבה מאוד מעבדים לעננים הציבוריים שלהם מ-AMD.
ואז.. צצה ההפתעה של AMD, הפתעה ש-AMD בעצמה לא תכננה..
אם תשאלו כל יצרן מעבדים, לוקח בין שנתיים ל-3 שנים ליצור מעבד. ב-AMD לעומת זאת מספר מהנדסים החליטו לפתח להם פרויקט צד קטן. הם לקחו את תכנון מעבדי EPYC, לקחו את ה-Chipset מסידרה X370 שיועד ל-Ryzen והם החליטו "לשחק" קצת…
הם העיפו את כל מה שקשור לניהול המערכת מה-EPYC.
הם בנו את ה-X370 מחדש כך שיתמוך בתושבת העצומה של המעבד החדש
הם הפעילו תמיכה בעד 1 טרהבייט זכרון ECC
הם שינו את תמיכת הזכרון ל-QDR
הם ביטלו 2 חתיכות סיליקון מהתוכנית של ה-EPYC.
התוצאה? משפחת מעבדים חדשה, ה-Threadripper שנבנה ב-3 חודשים ובדגם בקצה הגבוה נותן לצרכן 16 ליבות, 32 נימים, 64 נתיבי PCIE, עד 1 טרהבייט זכרון ECC (כולל תמיכה בזכרון שאינו ECC), ובמחיר שרבים לא ציפו לו – 999$, הרבה פחות מהתחזיות שציפו למחיר של 1500-2000$. ההפתעה היותר גדולה (ש-AMD כלל לא דיברה עליה) התגלתה רק לפני מס' ימים: רבים הניחו ש-2 החתיכות סיליקון שאינם עובדים ב-Threadripper הם סתם סיליקון ללא טרנזיסטורים, אבל אז אחד המומחים לפריקה של מעבדים רכש מעבד Threadripper ופירק לו את הצורה והתוצאה שהתגלתה – שהסיליקונים הללו הם פשוט סיליקונים פגומים, כלומר אם AMD תרצה מחר להוציא מעבדים לדסקטופ עם 24 או 32 ליבות – הם פשוט יכולים להנמיך במעט את מהירות השעון, ולשנות מס' דברים קטנים במעבד – ויש להם דגמים חדשים.
AMD השנה תציג גם את מעבדי ה-Ravenridge, אלו המעבדים החדשים (סידרה 2500U) של AMD שמיועדים למחשבים ניידים. הם יהיו יותר חסכוניים בסוללה בכ-50% בהשוואה לדור קודם של AMD, הם יהיו מבוססי Ryzen עם 4 ליבות והם יכללו GPU מסידרת VEGA בתוך המעבד. התוצאות הראשונות שדלפו הראו שיש ל-AMD במה להתגאות. מחשבים ניידים מבוססי RavenRidge יצאו לקראת קניות חג המולד.
בקיצור: בכל הקשור ל-AMD, שנת 2017 תירשם כשנה בהחלט מוצלחת (בכל הקשור לכרטיסים גרפיים… קצת פחות, אבל זה כבר עניין לפוסט אחר).
מכאן נעבור למתחרה הכחולה הגדולה: אינטל.
את שנת 2017 אפשר לסכם לגבי אינטל כשנה שאינטל ירתה לכל הכיוונים. אין לי שום בעיה עם זה שאינטל הוציאה מעבדים לכל הסגמנטים בשוק, הבעיה מתחילה בכך שחלק מהמעבדים הם תמוהים וחלק אחר – מתחרה במעבדים אחרים .. של אינטל.
בתחילת השנה הגיעו מעבדי Kaby Lake לשוק, ולמען האמת – לא היו חידושים כה סוערים וגם במבחני הביצועים לא נרשמו התלהבויות. תוספת של 10% במקרה הטוב. אינטל נאלצה להשתמש בגימיקים כמו תמיכה ב-4K עם דפדפן Edge ב-Netflix, והוצאת מקלון SSD מסוג Optane שפועל רק עם Kaby Lake על מנת להאיץ דיסק קשיח (פתרון לא משהו, במיוחד שדיסק SSD בגודל 128 ג'יגהבייט יכול לבצע את אותה מטלה במחיר זהה רק עם יותר Cache).
בהמשך השנה אינטל הוציאו 2 משפחות מעבדים לדסקטופ: ה-Sky Lake X וה-Kaby Lake X. נתחיל ב-Kaby Lake X: עד היום, אף אחד לא מבין מדוע אינטל הוציאו חלק מהמעבדים הללו (כמו 7640X ו-7740X). הם נחותים מה-Kaby Lake בכך שיש להם פחות נתיבי PCIE ואין להם יחידת עיבוד גרפי פנימית, מה שמכריח את הצרכן לקנות GPU. מיטב הסוקרים לא מצאו תשובה מדוע אינטל הוציאו את אותם מעבדים. יחד עם זאת, אם הצרכן מוכן לחיות עם המגבלות, ישנם מעבדים בסידרה כמו 7800X עם 6 ליבות ו-7820X עם 8 ליבות.
במקביל אינטל, כפי שציינתי, הוציאו את ה-Sky Lake X, ועם מעבדים אלו (ולוח אם שמבוסס על Chipsets כמו X299 ו-Z270) אינטל לראשונה הוציאו סדרת מעבדים חדשה שמאפשרת לצרכן לרכוש מעבדים עם יותר מ-4 ליבות מבלי למכור כליה (ע.ע. 6950X ב-1700$). המעבדים הללו (שנקראים Core-i9) הגיעו עם מספר ליבות שנע בין 6 ליבות (7800X) וכלה ב-18 ליבות (7980XE) ואלו מעבדים שאינטל בהחלט יכולים להתגאות בהם בכך שהם נותנים ביצועים (כמעט) בכל סוג של מטלה. הבעיה היחידה שלהם – היא תמחור. במחיר של מעבד 10 ליבות כמו 7900X, אפשר לרכוש Threadripper שנותן הרבה יותר. בינתיים, בשלב זה אינטל לא מורידה מחירים.
חשבתם שגמרנו עם Kaby Lake? טעיתם. אינטל הציגה לאחרונה את ה-Kaby Lake Refresh. אלו מעבדים שמיועדים למחשבים ניידים בסידרה 8 של אינטל. החידוש העיקרי – אינטל החליטה לתת קצת יותר לצרכן והפעם יש 4 ליבות ו-8 נימים במקום 2 ליבות ו-4 נימים. מחשבים ניידים עם המעבדים הללו יוצאים בימים אלו.
כשזה מגיע לשרתים, אינטל החליטה להוציא את המעבדי Xeon-SP (שם קוד: Purley) ב-4 משפחות: ברונזה, כסף, זהב, ו-פלטיניום. כל אחד מהצבעים מתאים לצרכים שונים. אם הייתם רגילים לדוגמא ל-Xeon E5 עם 8 ליבות ו-2 מעבדים, הסתכלו על משפחת הברונזה. המעבדים הללו יקרים בהרבה מהמעבדים הקודמים מדור 4 ומבחינת ביצועים – הם נותנים ביצועים טובים אולם יש לא מעט מבחנים שבהם דווקא מעבדי EPYC מובילים.
בקיצור: אינטל בהחלט הוציאה השנה מעבדים לכל הסגמנטים בשוק, ומדובר במעבדים טובים עם ביצועים מעולים, אך יש תחרות מול AMD ואינטל עדיין לא ממש מתייחסת אל התחרות.
אם הייתי נותן דירוג לחברות, הייתי נותן 9 ל-AMD ו-7.5 לאינטל. להלן הסיבות:
ל-AMD מגיע הציון 9 בשחרור המעבדים החדשים ובהוכחה לשוק שהם בהחלט רלוונטיים. הם הוכיחו את זה גם מבחינת תמחור שלראשונה מאפשר גם לאנשים עם תקציב קטן (בסביבות ה-500$) לרכוש מחשב עם ביצועים יפים ועם כמות נאה של ליבות. הנקודה שהורדתי היא בגלל ש-AMD לא ממש עבדו טוב מול יצרני הלוחות מה שהוביל לאנדרלמוסיה שלמה בכל הקשור לתמיכה בזכרונות וגם לא היתה מספיק עבודה מול יצרני תוכנות ומשחקים על מנת לבצע אופטימיזציה של התוכנות ומשחקים.
ל-אינטל אני נותן ציון 7.5: המעבדים שלהם מעולים, אך ישנם מספר בעיות:
התמחור שלהם במקרים רבים כלל אינו לוקח בחשבון את המתחרים הירוקים (AMD). מחיר של $2000 על מעבד 18 ליבות? מדוע?
ההגבלות שאינטל מטילה על המעבדים החדשים שוב מגחיכים את אינטל. תשלם $2000 על מעבד וכמות הזכרון המקסימלית היא 128 ג'יגהבייט, אין תמיכה ב-ECC, אין תמיכת RAS. כמו כן, מדוע להוציא מעבדים ללא יחידת GPU פנימית כשמדובר בקצה הנמוך של Kaby Lake X?
הקמפיין לשיווק ה-Xeon SP עם ההשוואות ל-AMD נראה כאילו הוא נכתב ע"י ילד בכיין ולא ע"י גוף מקצועי, במיוחד בכל הקשור להשוואות ולסלוגנים על המתחרים – וחבל.
לסיכום: שנת 2017 היא השנה שגם אינטל וגם AMD יצאו לקרב לשכנע אותך הצרכן שהגיע הזמן לשדרג את ה-PC שלך ו-2 החברות מציעות לך שורה של מעבדים שאחד מהם סביר להניח שיתאים לתקציבך. בשנה הבאה אנחנו נראה מאינטל את ה-Coffee Lake (המעבדים לקצה הנמוך לדסקטופ ששם יהיו יותר ליבות) וה-Ice Lake (שיחליפו את ה-Sky Lake X). מהצד של AMD אנחנו נראה יותר מעבדים למחשבים ניידים (RavenRidge) ומעבדים חדשים עם פלטפורמת Zen-2 המשופרת.
סוף סוף הסתיים ה-NDA לגבי משפחת מעבדי Threadripper ועכשיו אפשר קצת יותר להסביר בפרוטרוט לגבי המעבד ומה השוני בינו למעבדים אחרים.
מעבדים מרובי ליבות זה לא דבר חדש. יש 4 ליבות במעבד, 6,8,10, ועכשיו 12, 14,16 ואפילו 18 ליבות במעבד אחד. אינטל במשפחת המעבדים לדסקטופ (Skylake) מכרה מעבד עם 10 ליבות ו-20 נימים ב-1700$ ובמשפחה החדשה (Skylake-X) היא מוציאה ותוציא מעבדים עד 18 ליבות (אותו מעבד יעלה לך $2000). AMD מהצד השני הוציאה את משפחת Ryzen עם 4,6,8 ליבות (עם 8,12,16 נימים בהתאמה) ועתה עם משפחת ה-Threadripper היא מוציאה מעבדים עם 8,12,16 ליבות (ו-16,24,32 נימים בהתאמה). מהצד מי שמסתכל רק על ליבות, לא נראה שיש כזה הבדל גדול. נכון, AMD כרגע מובילה עם מעבד 16 ליבות אבל בחודש הבא אינטל תעקוף זאת עם 18 ליבות. מה הביג דיל?
ההבדל הענק הוא מתחת לכיסוי המעבד, וכאן 2 החברות נוקטות גישות שונות לחלוטין. אם נסתכל עם מיקרוסקופ אלקטרוני לתוך אחד ממעבדי ה-Skylake-X, נראה שהמעבד מורכב מחתיכת סיליקון אחד שעליה תוכננו כל הליבות, מה שנקרא "מעבד מונוליטי" – הכל תחת אותו סיליקון, לכל ליבה יש כמות די גדולה של זכרון מטמון L2 וישנו זכרון מטמון מסוג L3 (שהוא יותר קטן בהשוואה למעבדים הקודמים) שמשותף לכל הליבות והתקשורת בין הליבות עובדת בשיטה שנקראת MESH. לשיטה הזו יש יתרון גדול בכך שאם מריצים אפליקציות שרצות כתהליך יחיד – המעבדים של אינטל יותר מהירים מ-AMD אולם כשאפליקציות מתפרסות על כמה שיותר נימים וליבות – יש יתרון למעבדים של AMD (תלוי כמובן איזה מעבד משווים מול איזה מעבד).
במשפחת מעבדי Threadripper, הדברים שונים בכך שהמעבד בנוי בצורה שונה. אם נעיף את מפזר החום שנמצא על המעבד, נמצא בעצם 4 פיסות סיליקון (בניגוד ל-1 שבאינטל), כאשר 2 מהפיסות הם "סיליקון מת" (כלומר אין בפנים מעגלים או תפקוד כלשהו) ו-2 סיליקונים פעילים כשהם ביחד מהווים את המעבד (ה-2 המתים נמצאים בכדי לעזור בפיזור החום באופן שווה הואיל והמעבדים הללו אוכלים חשמל, לא פחות מאלו של אינטל, וגירסת ה-18 ליבות של אינטל גם אוכלת חשמל הרבה, תלוי מה מריצים ובאיזו מהירות).
מדוע בעצם AMD לא בנו את המעבדים כמו שאינטל בונה? מכיוון שמעבדים אלו מהווים פלטפורמה שהיא שונה ממה שאינטל מציעה ב-Skylake-X והיא יותר מזכירה מה שיש בתחנות עבודה מבוססות Xeon עם 2 מעבדים, כלומר ה-Threadripper זו מערכת שבנויה מ-2 מעבדים ובהתאם העבודה מבוצעת כך. חלק מכם שעובדים על שרתים מכירים זאת כ-SMP וליתר דיוק: NUMA ככל שזה מגיע לפריסת אפליקציות וניהול זכרון. בשיטה הזו ניצול מהירות הגישה של אותם פיסות זכרון מוצמדות גם ל"מעבד" שקרוב לזכרון על מנת לקבל ביצועים מיטביים. אם נחזור לרגע למעבדי Skylake-X של אינטל, המעבדים הללו עובדים בשיטה של UMA בכך שכל הזכרון מדבר עם פיסת סיליקון אחת, יהיה מה שיהיה.
אם ננסה לבדוק מה השיטה היותר טובה להריץ אפליקציות מאוד כבדות (רינדור וידאו, תלת מימד, וירטואליזציה וכו') – גם אינטל וגם AMD יאמרו בפה אחד: NUMA, כך כל מעבדי Xeon של אינטל ומעבדי EPYC (ועכשיו Threadripper) עובדים. כך גם הפצות לינוקס וגם Windows Server 2012/2016 עובדים כבר שנים רבות.
מעבדי Threadripper בעצם באים להתחרות יותר בזוג מעבדי ה-Xeon שיש בתחנת עבודה, אבל במקביל AMD מודעת בהחלט לכך שרוב משתמשי Threadripper יעבדו תחת Windows 10. ימי ה-Windows NT Workstation עברו מזמן מהעולם וזה מה שיש, ולכן AMD הוסיפה מצבים שונים למעבד כשבראשם 2 מצבים (מתחתם יש כל מיני אפשרויות שלא ניכנס אליהם כרגע): מצב היצירה (Creator mode) ומצב משחק (Game mode): בברירת המחדל המעבד עובד במצב Creator שבהם 2 פיסות הסיליקון עובדות, ובמצב Game Mode רק פיסת סיליקון אחת עובדת והמשתמש "מאבד" 8 ליבות ו-16 נימים (בהתאם לסוג המעבד) על מנת להריץ תוכנות ומשחקים ש"מתחרפנים" ברגע שהם רואים שיש יותר מ-20 נימים למכונה ובמצב Game mode אותם תוכנות ומשחקים רצים יותר מהר. הפתרון הזה הוא מעין "מעקף" עד שיצרני תוכנות ומשחקים (ליתר דיוק משחקים) יוסיפו תמיכה ל-Threadripper באופן טבעי.
מבחינת זכרון, ה-Threadripper הוא המעבד הראשון בעולם שנותן תמיכה בזכרון לא רק שקיים בשוק, אלא זכרון שגם עדיין לא מיוצר באותו גודל. כיום מקלות הזכרון DDR-4 מיוצרים בגדלים עד 16 ג'יגהבייט ו-Threadripper תומך בכך בלי שום בעיה אך בעתיד לכשייצרו מקלות של 32 ג'יגהבייט הוא יתמוך בכך ללא שום בעיה. בנוסף, מעבד Threadripper גם תומך בזכרון ECC (מקלות UDIMM בלבד) עד 1 טרהבייט זכרון אך שוב, כרגע מקלות UDIMM מיוצרים בגודל עד 16 ג'יגהבייט, כלומר מבחינת זכרון, המגבלה כרגע היא של גודל המקלות שמיוצרים בשוק, והמעבד אינו מגביל אותך בכמות הזכרון שתכניס.
אחת השאלות הכי חשובות שכל צרכן צריך לשאול את עצמו אם הוא רוצה לשדרג מעבד, היא השאלה: מה אני מריץ ומה אני צריך? אפשר להשוות את זה לעולם הרכב: האם לקנות לדוגמא יונדאי או שצריך Pick Up Track כמו בתמונה? וכאן הכל תלוי בצרכים.
אם לדוגמא הצרכן מריץ משחקים, פה ושם עורך וידאו Full HD, אפליקציות אופיס ואולי אפילו 2-4 מכונות וירטואליות, אז במקרה כזה מעבד Threadripper אינו מתאים. למי הוא כן מתאים? לכל מי שצריך הרבה יותר: וידאו 4K/6K/8K (גם RAW) עם המון זכרון ורינדור וידאו כמה שיותר מהיר, מספר כונני SSD בחיבור NVME, כ-64 ג'יגהבייט זכרון ומעלה, מעל 2 כרטיסי GPU (בתצורה טבעית של X16), ו/או הרצה של vSphere עם הרבה מכונות וירטואליות. מדובר בסופו של דבר במפלצת שנותנת ביצועים ובמקביל לא בדיוק חסה על חשבון החשמל שלך (תצטרך ספק כח של 750 וואט ומעלה, ואם אתה חושב על Overclocking – תתכונן לרכוש ספק של עד 1.5 קילוואט!). תחום נוסף ש-Threadripper יכול "לקרוץ" אליו הוא תחום הקונסולידציה: אם יש לך 3-4 מכונות PC שמריצות דברים שונים, אפשר לאחד אותם למכונה אחת. יש לך מספיק מקום לזכרון, מספיק מקום להכניס מקלות NVME SSD, יש 6 כניסות SATA, ויש במערכת 64 נתיבי PCIe (כאשר 4 מתוכם תפוסים ל-X399 Chipset) כך שאפשר להכניס הכל. מעבד לכך, רוב היצרנים שמוכרים לוחות אם מבוססי X399 ל-Threadripper נותנים לך גם כרטיס 10 ג'יגה (לא SFP אלא חיבור RJ45 רגיל).
המחיר? זול בהשוואה למעבדי ה-12/14/16/18 ליבות של אינטל אך עדיין – זה לא מחשב שרוכשים ברגע. רק המעבד עולה $1000 (בגירסת 16 ליבות, $800 בגירסת 12 ליבות), ומחיר לוח האם נע בין 350-550$. תוסיף ספק כח מינימום 750 וואט, כמות זכרון (הזכרון הוא QDR כך שלביצועים מיטביים יש לקנות קיטים של 4 מקלות, כלומר אם אתה רוצה 32 ג'יגהבייט, יש צורך לרכוש קיט של 4 מקלות עם 8 ג'יגהבייט זכרון פר מקל), SSD מהיר, כרטיס GPU טוב – ואנחנו מגיעים בקלות כמעט ל-10,000 שקל (כולל מע"מ). אם תרצה להזמין חלקים ולהרכיב פה בארץ, הם יהיו זמינים לקראת סוף אוגוסט.
לסיכום: AMD לראשונה נכנסה לתחום שאינטל היתה בו אקסלוסיבית והוא תחום תחנות עבודה רציניות עם תג מחיר זול בהשוואה למה שאינטל מציעה ויחד עם זאת עם ביצועים טובים מאוד כשמשווים PPD (כלומר Performance Per Dollar), ואינטל נאלצה לראשונה בחייה כתוצאה מהתחרות להמציא מעבדים חדשים עם יותר ליבות והצרכנים בהתאם מרוויחים. למי שצריך תחנת עבודה חזקה, ה-Threadripper נותן תשובה מעולה. אם אתם קונים תחנות עבודה ממותגות (HP, לנובו, DELL) – תוכלו לרכוש מחברת Alienware (חברה בת של DELL) ושאר היצרנים יציעו תחנות ממותגות החל מינואר 2018. אם לעומת זאת אינך מפחד מהרכבה עצמית, אני מאמין שבשבוע הקרוב או אחריו תוכל להזמין לוח,ספק,מעבד וכו'.
הסיפור עם המעבדים החדשים של AMD הוא סיפור די ארוך שכולל התנהגות מטומטמת, חברה שלא מקשיבה ללקוחותיה, הפתעה גדולה ומענה תמוה.. מישהו עוד יוציא ספר על כך.
ל-AMD בד"כ לא היו הרבה סיפורי הצלחה בכל הקשור למעבדים. בד"כ המעבדים שלה היו יותר איטיים (במעט או בהרבה, תלוי בדגם) מהמעבדים של אינטל ולפיכך AMD לא ניסתה להתחרות בביצועים אלא להתחרות במחירים. באינטל כמובן היו מודעים למעבדים של AMD והיה די קל לשכנע לקוחות לקנות אינטל ולא AMD כך שבסופו של דבר פלח השוק של AMD לא היה גדול ולא ממש איים על אינטל.
… עד שהגיעו מעבדי ה-Opteron ובמיוחד סדרות 6100, 6200, 6300 שהגיעו עם תושבת חדשה (G34, להבדיל מתחנות עבודה ודסקטופים) – שהיו מיועדים לשרתים. המעבדים הגיעו עם כמות ליבות מרשימה: מ-4 ליבות ועד 16 ליבות בכל מעבד. כזה – עוד לא היה בשוק.
כל האתרים שקיבלו את המעבדים הללו והשוו אותם למעבדים של אינטל הגיעו פחות או יותר לאותם מסקנות: זה מעולה שיש הרבה ליבות, אבל אין מספיק זכרון מטמון ובכלל הביצועים של המעבדים הללו נמוכים בצורה משמעותית ממה שאינטל מוכרת באותו זמן. גם AMD ידעה זאת ולכן היא מכרה את המעבדים הללו במחיר זול בהשוואה למעבדי AMD.
וכאן "התפוצץ הסעיף" להנהלת אינטל. אינטל לא היתה מוכנה ש-AMD תיכנס לשוק השרתים, גם כשהמעבדים הציעו ביצועים נמוכים יותר. באינטל החליטו לשלוף את כל כלי הנשק האפשריים ולשבור את השוק בכל צורה אפשרית – חוקית ולא חוקית! אינטל יצרו קשר עם כל יצרן לוחות אם, יצרני שרתים, בוני מכונות (אינטגרטורים) וכו' והיא פתחה ב"דיאלוג" מהסוג שמזכיר שיחות עם גנגסטרים. כך לדוגמא ליצרני שרתים היא "המליצה בחום" להוריד דרסטית את כמות דגמי השרתים שיוצעו עם מעבדי AMD מכמות כמעט דו ספרתית ל-1 או 2 (ואם אפשר 0 – מה טוב). לאלו שהבינו את הרמז, אינטל "פיצתה" אותם דרך Kick Back, אלו שלא ממש הבינו את הרמז, הבינו שפתאום משלוחי מעבדים שצריכים להגיע .. מתעכבים. הסיפורים הללו לא היו ממש סוד שמור, והרגולטרים של האיחוד האירופאי החליטו לחקור לעומק לאחר שהתקבלו תלונות מ-AMD. התוצאה? הרגולטורים הטילו קנס ענק של 1.4 מיליארד דולר על אינטל (קנס שאינטל ערערה עליו, היא נצחה בערעור אבל עדיין סיפור הקנס לא נגמר).
מאז כמובן עברו מים רבים, המעבדים של AMD נהפכו לנישה ואינטל שוב הפכה למלכה הבלתי מעורערת למעבדים על הדסקטופ (ובדרך מתקרבת צרה חדשה דווקא משותפתה הגדולה, מיקרוסופט, עם Windows 10 שרץ על ARM… באינטל ממש לא אוהבים זאת) והשרתים.
בזמן שאינטל שולטת בשוק, אינטל די "נרדמה בעמידה" בכל הקשור להתפתחות המעבדים. כאחד שעוקב צמוד אחר גרסאות מעבדים חדשים שמשוחררים וקורא את כל המפרטים שאפשר, אני יכול לאמר שלא ממש נפלטו ממני קריאות התרגשות לאחרונה בכל הקשור למעבדים הן לדסקטופ והן לשרתים. כן, אינטל החלה להוציא את מעבדי ה-Xeon Phi שלה, מעבדי SkyLake X עם ה-AVX ועוד כמה דברים חדשים, אבל ברמת המאקרו – אין הרבה מה להתרשם. ההבדלים בין דור לדור התבטאו באחוזים בודדים (בתנאי שטח) וגם לא מעט לקוחות הבינו שכשזה מגיע למעבדים לשרתים – ההבדלים בין דור 3 ל-4 (כלומר BroadWell) הוא לא כזה הבדל גדול. יש עוד כמה מעבדים חדשים במשפחה עם יותר ליבות – אך מחיריהם היו מטורפים. בכלל, מעבדי E7 של אינטל (4-8 מעבדים בשרת) היו מטורפים לכל הדעות ואני לא מכיר כמעט אף חברה שרכשה אותם.
ואז AMD הגיעו בחודשים אחרונים עם בשורות חדשות: משפחת ה-Ryzen (ה-7 וה-5, ה-3 יצא בהמשך השנה) ומעבדי X (כלומר Extra). כך לדוגמא AMD הציגה לראשונה מעבד עם 8 ליבות ו-16 שרשרנים (ה-1800X) עולה לצרכן כ-440$. המתחרה הנוכחי הכי קרוב שלו מהצד של אינטל הוא ה-Core i7 6900K עם 8 ליבות במחיר של $845 לצרכן כיום (אחרי הורדות המחירים של אינטל שבוצעו בשבועות האחרונים!). אם אתם תוהים לגבי הביצועים – ה-1800X בועט חזק ב-6900K. היכן ה-1800X והמעבדים של AMD נותנים ביצועים יותר נמוכים? כשמנסים להשוות אותם למעבדי ה-Kaby Lake בדברים כמו משחקים (אבל לא ברינדור וידאו, מבחנים סינטטיים שמצריכים ליבות רבות וכו'), כך שלראשונה AMD נותנת פייט רציני לאינטל גם בביצועים וגם במחירים. AMD פחות מוטרדת ממעבדי "הדור הבא" והיא פונה בעצם לאנשים ושואלת אותם: אתם רוצים יותר ליבות במחירים נמוכים יותר מהמעבדים הנוכחיים? אז הנה..
וכאן אנחנו מגיעים לשוק תחנות העבודה והשרתים. בשוק הזה אינטל שולטת ללא עוררין ומאמללת את כל מי שרוצה יותר. כמות זכרון מקסימלית בדסקטופ? 32 ג'יגה. רוצה יותר? לך קנה לוח אם מבוסס X99 Chipset, ושם תוכל "להשתולל" עד 128 ג'יגהבייט, כולה עוד 160-220$ בערך (על לוח האם בלבד. מעבד זה סיפור שונה במחיר). מה עם אלו שרצו משהו קצת יותר ממעבדי דסקטופ כמו ה-6700? בהתחלה אינטל המליצה ללכת על ה-Xeon E3, אבל שם, אבוי, כמות הזכרון (שוב) מוגבלת ברמת המעבד ל-32 ג'יגהבייט, כך שמי שרצה יותר כח ולא רצה לזרוק אלפי דולרים פר מעבד – היה יכול לרכוש את המעבדים היותר יוקרתיים של אינטל כמו ה-6900K וה-6950K שנתנו 8 ו-10 ליבות בהתאמה. המחירים, גם כאן – ממש לא היו זולים, אבל לא היתה ברירה אחרת.
מתי אינטל התעוררה? שהשמועות החלו לצאת על כך ש-AMD הולכת לצאת עם מעבדים עשירים בליבות. פתאום אינטל יכלה להוציא מעבדים עם 8,10,12,16 ואפילו 18 ליבות!
ו-AMD די הפתיעו את השוק (כמה שאפשר לאמר "הפתיעו", היו הדלפות..). אינטל מתגאה ב-18 ליבות? מגניב. AMD מציגים: מעבדי EPYC עם עד 32 ליבות, 64 שרשרנים, 4 טרהבייט זכרון, 128 מסלולי PCIE וה-32 ליבות זה על מעבד יחיד, כלומר אם תשים 2 יהיו לך 64 ליבות ו-128 שרשרנים.
ב-AMD החליטו שאם כבר אז כבר, לשנות את השוק. הם יוציאו 2 משפחות של מעבדים. משפחה אחת תהיה משפחת P, אלו יהיו מעבדים עם החל מ-8 ליבות ועד 32 ליבות שישבו על לוח אם שיכול להחזיק מעבד יחיד, עם 128 מסלולי PCIE ועם תמיכת זכרון עד 2 טרהבייט! (זוכרים את המגבלה למעלה עד 128 ג'יגהבייט של אינטל?). מכיוון שלכל מעבד יש 128 מסלולי PCIE, אז יצרני הלוחות יכולים להתחיל להשתולל. רוב יצרני לוחות האם לא פרסמו עדיין את הלוחות שתוכננו למעבדים אלו, אבל SuperMicro שלחו לי לינק ל-PDF הזה שמראה את רוב הלוחות שיצאו עבור EPYC ויש עוד כמה בצינור מ-SuperMicro (ולמי שחושב לבנות סטורג', מומלץ להסתכל על דגם: AS -2123US-TN24R25).
והמחירים? אחרי הכל, מה שחשוב זה כמה המעבדים יעלו, וכאן AMD הציגו מחירים מעניינים. להלן הדגמים והמחירים (דגמי ה-P בשורות אפורות):
שימו לב: המחירים הללו אינם מחירים לצרכן ויש עדיין ויכוחים לגבי המחיר (AMD טוענים לדוגמא שדגם 7351P יעלה 750 ולא 700) כך שסביר להניח שהמחיר ישנה במעט. שוב, בהשוואה לאינטל, המחירים הללו זולים: מעבד Xeon עם 18 ליבות (ה-E5-2696V3) עולה $2125 וכאן מעבד 7551P עם 32 ליבות עולה 2000$, כך שאם תרכוש מעבד כזה תחסוך לך 125$ ותקבל 14 ליבות נוספות.
נקודה מעניינת נוספת לגבי משפחת P היא הנקודה ש-AMD מראה שמעבד P יחיד נותן ביצועים של 2 מעבדי Xeon אחרים כך שבעצם אתה חוסך ברכישה. הנה הגרף של AMD:
בגרף הזה AMD משווה בשורה האפורה 2 מעבדי Xeon מול מעבד יחיד ממשפחת EPYC בסידרת P.
כמובן, אי אפשר בלי סייגים: AMD כרגע מציגה רק תוצאות מבחן סינטטי אחד, ללא בחינה של Workload אמיתי. ברגע שהמעבדים הללו יגיעו לסוקרים המקצועיים באתרים השונים, אז נראה את כל התמונה, כך שכרגע התמונה נראית מאוד מבטיחה, במיוחד לאלו שמעניינים לקנות ו/או לבנות שרתים ותחנות עבודה רציניות (לא למשחקים. לזה קחו את Ryzen) – ולכן מומלץ לעקוב אחר הנושא. נקודה נוספת שחשובה לגופים בטחוניים ולכל אלו שהמידע שלהם חשוב מאין כמוהו והם ממש רוצים לחסום מצב שמישהו מנסה לפרוץ או לגנוב ציוד מהשרת (NVDIMM לדוגמא) זה לקרוא על 3 שכבות האבטחה שבנויות במעבד ונותנות מענה גם לאנשים הכי היסטריים (כמעט) מבחינת אבטחת מידע.
לסיכום: אין ספק ש-AMD הוציאה כאן משהו חדש שיצטרך להוכיח את עצמו מצד אחד, אבל מצד שני כל OEM וכל Vendor כבר הכריז על תמיכה ויצור פתרונות משולבי EPYC, מיקרוסופט הודיעה חגיגית ש-EPYC יקבל מקום של כבוד ב-Azure. לאלו שרוצים להקים לעצמם LAB טוב (ולא מחלקים יד שניה) ואלו שרוצים להקים לעצמם תחנות עבודה רציניות – ה-EPYC נותן פתרון שלא קורע את הכיס. האם חברות ירכשו שרתים מבוססי EPYC? שאלה טובה, תהיו בטוחים שמחלקות השיווק של אינטל יגיבו בעוצמה בנושא.
נשאר עוד חלק אחד, ה-ThreadRipper (שיהיה בעצם 2 מעבדי Ryzen 1800X בשבב גדול מאוד) של AMD, מעבד עם 16 ליבות, 32 שרשרנים ששאר פרטיו עדיין אינם ידועים. AMD תוציא לגביו פרטים כנראה באוגוסט. יהיה מעניין 🙂
