ה-LAB הביתי – לרכוש שרתים?

בחודשים האחרונים לא פרסמתי פה בבלוג האישי פוסטים לגבי ה-LAB שלי, מהסיבה הפשוטה שדברים השתנו במהירות. היו לי זמנים שהיו לי 2 שרתים והיו לי זמנים שהיו לי 25 שרתים, חלק הושאלו לי והייתי צריך להחזיר, וחלק מהשרתים הושבת עקב תקלות שונות (בכל זאת, שרתים די ישנים, ובגלל זה, אגב, אני לא ממליץ לרכוש את ה-HP G7. בעיות האיוורור שלו הן רציניות, במיוחד ברגע שנשרף לך זוג מאווררים ואז אתה מתחיל להכיר את "תקלת השרשרת").

במהלך החודשים הקרובים אני מתכנן למצוא דירה אחרת להשכרה (אם מישהו מכיר איזו דירת 3-4 חדרים באזור מזרח ראשל"צ, צור איתי קשר בבקשה) וחלק גדול מהציוד לא הולך לעבור איתי דירה, וכשיגיע הזמן אשמח לתרום אותו למעוניינים. בדירה החדשה אני אבנה את רוב התשתית מחדש עם לקחים שהפקתי במהלך השנה וחצי האחרונות – ולשם כך אני כותב את הפוסט הזה.

אתחיל בפתגם עתיק בעברית שאומר "לא כל הנוצץ, זהב הוא", וה"זהב" הוא שרתים ישנים שנמכרים במחיר מפתה. אחרי הכל, יש לא מעט כאלו שישמחו למכור לך שרת HP G7 או שרת Supermicro או IBM X3650 M3 עם 2 מעבדים (בד"כ 4 ליבות כל מעבד), 64 ג'יגה זכרון ואולי 2 דיסקים (מכניים) של 300 ג'יגהבייט (ישנים, ממליץ לקחת ולזרוק אותם ישירות לפח) – ב-1000-1500 ש"ח! שלם, תביא הביתה או לחדר LAB שלך, חבר לחשמל, לרשת, למסך, תגדיר IPMI/ILO – וצא לדרך!

וכאן בעצם נמצאות מספר בעיות:

  • איטיות – יכול להיות שמוכרים לכם מעבדים מסידרה L (הסידרה ה"חסכנית" בחשמל) או סידרה X (הסידרה ה"בזבזנית" בחשמל אך אמורה לתת ביצועים) – אך הביצועים של מעבדים אלו – מאוד נמוכים. כמה נמוכים? אם תשוו מעבד ממשפחה כזו למעבד מודרני מהשנתיים האחרונות של לאפטופ ל-Enterprise (כמו Thinkpad) – הלאפטופ יהיה מהיר פי 2-8 (תלוי במבחן)!
  • צריכת חשמל מבהילה: אם נסתכל בבית ממוצע אלו מכשירים חשמליים ישנם, רובם אינם צורכים חשמל בכמות גבוהה ואלו שכן צורכים, אנחנו משתמשים בהם לזמן קצר: מכונת הכביסה תצרוך כמות רצינית אבל היא תעבוד שעות ספורות, מייבש שיער – חצי שעה? מקררים כיום הם די חכמים ומפעילים את עצמם אחת לזמן מה כדי לקרר והטרמוסטט מנטר את המצב ומפסיק את הקירור לאחר הגעה לטרמפרטורה מסויימת.
    בשרתים לעומת זאת – צריכת החשמל המינימלית מתחילה בסביבות ה-180-200 וואט כשהשרת לא עושה כלום, הוא רק פעיל עם OS, לא מריץ מכונות וירטואליות שמבצעות דברים. הנה לדוגמא גרף של שרת Supermicro שמריץ כאן FreeNAS שלא מבצע כלום:
    כמו שאתם יכולים – גם כשהשרת לא עושה כלום, הוא צורך לא מעט חשמל (ואגב, לא, הוא לא במצב Performance, אחרת הצריכה מטפסת בחינניות גם במצב idle לכיוון ה-350 וואט)

וכל זה מדובר על שרת יחיד. יש לך 3-4? אתה מסתכל על בערך 1 קילוואט חשמל שנשרף על כלום. אם אין לך בעיה לתרום כסף לחברת חשמל – אז הנושא אינו רלוונטי עבורך.

מהצד השני – המחשב שאני משתמש בו כדי לכתוב פוסט זה הוא עם מעבד AMD Ryzen 2700, וצריכת החשמל שלו כרגע (אני עם עוד מספר טאבים פתוחים בכרום, וכמה אפליקציות פעילות) היא בסביבות ה-50 וואט. במצב idle הצריכה נוחתת ל-30 וואט, ומבחינת ביצועים – ה-Ryzen הזה נותן ביצועים פי 4-10 בהשוואה לכל מעבד Xeon V1 וגם כאן יש 8 ליבות ותמיכה של זכרון עד 128 ג'יגה (זכרון רגיל או RDIMM עם ECC). החסרון היחידי: אין לי שליטה מרחוק ברמת חומרה (אם כי גם את זה אפשר לפתוח ברכישת לוח אם כזה).

ולכן, ההמלצה שלי כיום ל-LAB ביתי היא לא לרכוש שרתים, אלא לרכוש דווקא דסקטופים עם מעבדים כמו Ryzen מכמה סיבות:

  • מחיר זול למעבדים (בארץ) וזכרון: מעבד כמו Ryzen 7 3700X עולה בארץ 1510 שקל (Ivory/KSP) – מעבד כזה יכול להתחרות בכבוד גם במעבדי Xeon או מעבדי דסקטופ של אינטל מהדור האחרון. מבחינת זכרון – DDR4 הוא הרבה יותר זול מ-DDR3 ECC ונמצא לרכישה בכל מקום.
  • השקעה לטווח ארוך – הטכנולוגיות הללו לא  הולכות להיעלם בשנתיים שלוש הקרובות, במיוחד לוחות אם עם X570 Chipset שתומך PCIe 4.0.
  • חסכון משמעותי בחשמל – במיוחד אם ה-LAB שלך הולך להיות פעיל 24/7/365
  • אין צורך במזגן, גם אם יש לך 4-5 מכונות כאלו בחדר אחד.
  • פעולה שקטה.
  • לא צריך ארון – אפשר לאלתר פתרון של 2 מדפים: מדף אחד (עם חור בחלק האחורי) למתג, מודם, נתב וכו', ומדף שני למקלדת ועכבר (את המסך אפשר לתלות על הקיר). המחשבים יכולים לשבת על הרצפה (מחשבי דסקטופ עם מארז דסקטופ) או על משטח מוגבה (למהדרין)

לסיכום: הרבה יותר קל לנהל ולעבוד עם LAB שמורכב ממחשבים בתצורת דסקטופ (גם אם יש במארז דסקטופ לוח אם של שרת, כמו לוחות של Supermicro) – הרבה יותר קל לקרר (במקום להסתמך על קירור קנייניי שלא ממש יודע להתחשב בזה שאתה מריץ את זה באיזה מחסן או חדר או ממ"ד בבית בלי מזגן), צריכת החשמל הרבה יותר נמוכה ויש תמיכה מלאה של ציוד סטנדרטי מהשנים האחרונות, והכי חשובים: קבלת ביצועים גבוהים.
אני לא מנסה לטעון כי תצורת פיצה (1U או 2U) היא לחלוטין מיותרת ב-LAB ביתי (מישהו מכיר מארז דסקטופ שיכול לקבל 24 דיסקים 2.5 אינטש בחיבור U.2? יש רק גרסאות של 2U לדברים כאלו למיטב ידיעתי), אבל יש יותר יתרונות בתצורת דסקטופ מאשר תצורת פיצה ל-LAB ביתי.

נקודות לגבי שרתים לבניה עצמית

אמרה ישנה שמגיעה מ-וודי אלן אומרת: "אם אתה רוצה להצחיק את אלוהים, ספר לו על התוכניות שלך".

כפי שכתבתי בפוסט קודם בסידרת ה-My Labs: אני מעדיף לבנות את ה-LAB שלי בעזרת מחשבים עם מעבדי דסקטופ של AMD מסידרת Ryzen 7 2700. יש לך 8 ליבות ו-16 נימים, עד 64 ג'יגהבייט זכרון, ו-2-3 מכונות כאלו אמורות להספיק לכל LAB קטן..

אמורות.. חשבתי לעצמי..

ואז הגיעו כמה הצעות מעניינות. מצד אחד הרעיון שלי לגבי VDI זול (שמצריך מעבדים כמו Xeon E5 V4), או בקשות לגבי בניית סטורג' מבוסס 100 דיסקים 3.5", בקשות לגבי סטורג' משולב במתודת Scale Out, וירטואליזציה HCI במחיר זול, הקשחת חומרה, וגם בקשות כמו ניטור אפליקציות שונות ב-Scale out ב-Scaling של כמה עשרות Nodes אך לא במובן של אם "זה רץ", אלא מה ההשפעה מבחינת Latency, זמנים וכו'.

המכנה המשותף לרוב הדברים שכתבתי לעיל? אף אחד לא מממן אותך כמעט בכלום, אולי עוזרים לך להשיג ציוד מסוים אבל לא יותר מכך. הכל צריך לבוא במימון משלך ואם אתה מצליח להשיג תוצאות מרשימות – נכנסים למו"מ על מחירים, שעות, ציוד שהלקוח ירכוש וכו', כך שבשלב הראשון, אני צריך להיות יצירתי ברכישת ציוד ובנייתו. לא יותר פשוט לעשות זאת בענן? לא, כי חלק מהדברים מצריכים חומרה יעודית, וענן עולה כסף, גם כשהמכונות כבויות, ורוב הדברים שהזכרתי יקח להקים אותם חודשים, מה גם שחלק מאותן חברות ממש לא רוצה לשמוע על PoC בענן.

אז להלן כמה נקודות שהתחלתי לעבוד עליהן ואני משתף אותן פה לראשונה, אתחיל בבעיות שמצאתי עם שרתי מותג ישנים:

  • שרתי מותג בתצורת 1U או 2U ישנים הם אסון מבחינה אקוסטית כשמתחילים להרחיב אותם. קחו כל שרת 1U ותוסיפו כרטיס או 2. לא חשוב מה הכרטיסים שתוסיפו. ברגע שתפעילו את הכרטיסים ותפעילו מחדש את השרת, תראו איך המאווררים עולים בכמה דציבלים טובים מבחינת רעש, גם אם יש קירור ממזגן או שהמעבדים לא עושים כמעט כלום. הכרטיסים חוסמים חלק מהקירור, שבב ה-BMC שאחראי על ניהול כל הקירור וה-PWM של המאווררים – מחליט על דעת עצמו להעלות ברמה את מאמצי הקירור (למרות שאין ממש צורך. שרת יכול לעבוד יופי גם אם הטמפרטורה בשרת היא 25 מעלות לדוגמא). בשרתים 2U הבעיה פחות קיימת – עד שאתה מכניס כרטיסים של 40 ו-56 ג'יגהביט (לדוגמא: מסידרת ConnectX של Mellanox) – ואז שוב הדצבילים עולים. זו, אגב, אחת הסיבות מדוע שום ספק ענן ציבורי רציני לא רוצה להשתמש בשרתים כאלו – הם בנויים ברמת Engineering של "כיסוי תחת" מושלם, למרות שהציוד יכול לתת יותר ולעבוד בטמפרטורות יותר גבוהות (מה שחוסך לספק הענן כסף בקירור).
  • אחת הבעיות הנוספות בשרתי מותג היא שהטכנולוגיה ישנה למרות שטכנולוגיה חדשה יותר היתה קיימת בעת יצור השרת. קחו שרתים כמו R610 ו-R620 (או G7 ו-G8 של HPE) ותגלו שרוב תושבות ה-PCIe (אם לא כולם) הם PCIe 2.0 ולא PCIe 3.0. רוצה לחבר JBOD ב-SAS 12G? זה פשוט או שלא יעבוד או שיעבוד לאט כי השבבים של LSI ו-Adaptec לדוגמא דורשים PCIe 3.0.
  • בעיה נוספת שאינה נמצאת רק בשרתי מותג היא עניין הזכרון: אם אין לך מקלות זכרון DDR3 ECC כשכל מקל הוא 32 ג'יגהבייט, תוכל להכניס מקסימום 16 מקלות של 16 ג'יגהבייט ולקבל מהירות של 1333 מגהרץ. כל מקל נוסף שתכניס בתושבות הזכרון הפנויות – ומהירות הזכרון של כל השרת יורדת ל-1033 ואם אתה ממלא את כל התושבות (18 או 24, תלוי בלוח אם) – זה ירד גם ל-800 מגהרץ עלובים, כך שמקסימום הזכרון שניתן להשתמש בלוח אם עם מעבדי Xeon E5 V1 או V2 במהירות זכרון מקסימלית – היא 256 ג'יגהבייט זכרון עם מקלות של 16 (מחירי המקלות של 32 ג'יגהבייט זכרון עדיין גבוהים).

מהבעיות – נעבור לפתרונות:

  • מבחינת לוחות אם, אני מעדיף לעבוד עם Supermicro. הם מייצרים לוחות מעולים שידידותיים לשינויים. כך לדוגמא ניתן להוסיף תמיכת NVME לתוך ה-BIOS, גם כש-NVME לא היה קיים בזמן יצור הלוח. אפשרי גם להתקין Coreboot (בחלק מהמקרים, לצרכי אבטחה) במקום ה-BIOS הרגיל, וכל הציוד הקיים על הלוח נתמך גם בהפצות לינוקס ישנות ללא צורך בחיפוש אחר מודולים ודרייברים, כולל שינוי מהירויות מאווררים, שליטה על ה-IPMI ללא צורך להיכנס ל-BIOS וכו'.
  • אחת הנקודות שחשוב לשים לב בבחירת לוח אם – זה הגודל שלו. אפשר למצוא לוחות מעולים של Supermicro אך שהם בגודל EE-ATX. בניגוד לרושם הראשוני, הגודל במקום רבים מופיע כ-Extended EATX ואנשים לא שמים לב לכך (כולל הח"מ) ולוח כזה לא נכנס לשום מארז שרת (וגם לא ברוב מארזי ה-Tower, אלא אם בא לכם להצטייד במקדחה לחורר דברים, לחתוך פלסטיקים וכו' וכו'), ולכן אם רוצים לרכוש לוח אם כזה, כדאי לבחור ATX או E-ATX בלבד.
  • בחירת מעבדים – הנה נקודה שנשמעת די טריוויאלית אך היא אינה כה פשוטה שמסתכלים מקרוב. בלוחות SuperMicro מסוג X8D או X9D אפשר להשתמש ב-Xeon E5 V1 (שלא כתוב עליו V או V1) ובמקרה של X9D אם תכנון הלוח (כתוב כ-Revision על הלוח) הוא מגירסה 1.20 ויש BIOS אחרון – אפשר להשתמש ב-Xeon E5 V2. בלוחות X10D אפשר להשתמש במעבדי Xeon E5 V3 או Xeon E5 V4 עם זכרון DDR4 ECC. אתם לא מחפשים כח עיבוד רציני? אפשר או לרכוש לוחות עם האות S במקום D (ה-S מציין לוח מעבד יחיד ו-D מציין זוג מעבדים) ואז מכניסים מעבד אחד או שאפשר לרכוש 2 מעבדים כשבמעבד מצויינת האות L (הכוונה Low Power).
  • מעבדים וטכנולוגיה – סביר מאוד להניח שכל מי שרוצה לרכוש שרתים, ירצה להריץ עליהם פתרון וירטואליזציה כלשהו, ואין שום בעיה להריץ vSphere על כל המעבדים, החל מהדור ראשון ועד הנוכחי, אבל אם רוצים להשתמש בטכנולוגיית וירטואליזציה כמו SR-IOV (פוסט על הנושא בבלוג העסקי בקרוב) – חייבים מעבד Xeon E5 V4 ומעלה. אפשר לנסות על Xeon E5 V3 אבל המימוש קיים בערך ב-60-80% מהמקרים, תלוי בלוח, ב-BIOS וכו'.
  • מבחינת מארז ללוח אם לשם בניית השרת – ישנם לא מעט מארזי 3U זולים שניתן לרכוש מ-eBay והם יחסית קלים במשקל כך שלא יהיה צורך לשלם סכומי עתק על המשלוח. עם מארזים כאלו ניתן להשתמש בקירור יותר קונבנציונאלי למעבדים, ניתן להשתמש במאווררים 120 מ"מ שקטים וניתן להשתמש בספק ATX רגיל (מי שמעוניין יכול כמובן להכניס 2 ספקי Flex ATX לשרידות), ואם הולכים על מארז 4U, אפשר להשתמש בפתרון קירור עם רדיאטור בגודל 120 מ"מ לכל מעבד ולהשאיר את המאוורר האמצעי לקרר את את הלוח, זכרון וכו' – זה בהחלט מספיק.
  • מעבדים – ניתן למצוא מעבדים זולים מהסידרת Xeon הראשונה, V2 וגם חלק ממעבדי V3 (אלו עם ה-4 ליבות). מעבר לכך – המחיר קופץ. פתרון די פופולרי שקיים הוא לרכוש מעבדים מאותה משפחה מסידרת ES שהם בעצם Engineering Samples. חשוב לציין: אלו מעבדים שאין להם כיתוב שם רשמי על המעבד (כתוב מספר כלשהו ו-Confidential) ובחלק מהשרתים (במיוחד בשרתי מותג) הם לא יעבדו. המהירות שלהם תהיה פחותה מהמהירות הרשמית בהשוואה לדגם הרשמי ויכול להיות (סיכוי מאוד קטן) למצוא בעיית תאימות כלשהי באפליקציות מסויימות (לא נתקלתי בבעיה כזו). אין שום אחריות למעבדים כאלו מצד אינטל. גם כאן, Supermicro הם היחידים שאני מכיר שכל ה-ES עובדים בלי בעיה על לוחות האם של החברה. אפשר לקחת פחות סיכון ולרכוש את ה-QS שהם בעצם שוחררו זמן ממש מועט לפני היציאה הרשמית של המעבד, ושם מהירות השעון היא כמו המעבד הרשמי ואם היו באגים, המיקרוקוד שקיים ב-BIOS כבר מטפל בבעיה. בכל מקרה אני לא ממליץ לאף חברה לרכוש מעבדים דוגמאות ES או QS.

עוד דברים שיכולים לעזור:

  • חושב לעבוד במהירות 10 ג'יגה? (לפחות מהסטורג' שלך למכונות). במקום לחבר Point to point, יש Switch של חברת MicroTik ב-2 גרסאות. יש גירסה של 8 פורטים ו-16 פורטים, חיבורי +SFP. ה-8 פורטים עולה כמה מאות שקלים וה-16 פורטים עולה בסביבות ה-1300 שקל, כך שתצטרך לרכוש כרטיסי רשת וכבלי DAC/TwinAX. חשוב לשים לב – אם אתה עובד עם vSphere אז לא לרכוש כרטיסי רשת ישנים של Chelsio (הם לא נתמכים ואין VIB שנותן להם תמיכה).
  • מחירי UPS צנחו וכיום ניתן לרכוש UPS של 1000VA ולחבר אותו ל-3 מכונות למקרים של הפסקות חשמל קצרצרות (חצי דקה עד דקה גג, תלוי בעומס של המכונות שלך) או כמיישר מתח. מחיר של UPS כזה הוא בסביבות 400-500 שקל (תלוי היכן קונים).
  • אם אתה מתעקש לקחת שרתי מותג ורוצה מקסימום שקט, קח שרת 2U ואל תכניס בו דיסקים (למעט 1 או 2 ל-OS ואם זה ESXI – אז תשתמש ב-Disk On Key בחיבור שקיים לך על לוח האם). אחד הדברים ששמתי לב בכל הקשור לאיוורור – הוא שאם יש דיסקים, המאווררים חייבים ליצור לחץ סטטי גדול מאוד כדי להכניס מספיק אויר לקירור. אם אין דיסקים, לא צריך לחץ סטטי חזק והשרת יותר שקט.

בקרוב אציג וידאו חדש: איך לבנות JBOD טוב ובזול, ללא צורך בזכרונות, מעבד, לוח אם, והכי חשוב – שקט.

התובנות שקיבלתי מה-LAB שלי

בפוסט זה אנסה לעדכן לגבי מספר תובנות שקיבלתי וכמו כן לענות לגבי שאלה עבור אלו שפנו בקשר לשרת עבור תרגולים.

אתחיל עם התרגולים: כפי שפרסמתי לא פעם בבלוג זה ובבלוג העסקי שלי, אני ממליץ לכל אחד, בין אם הוא רק השתחרר מהצבא ובין אם הוא בן 40+ – לשדרג את הידע המקצועי. השוק תחרותי, מתקדם מהר ואם אין לך את הידע העדכני בתחומך או בתחומים "שכנים" – תתקשה להשיג עבודות משתלמות (פיננסית) בעתיד, ובגלל זה אני גם ממליץ בד"כ להקים מכונה יעודית שתשמש כשרת ביתי לצורך הקמת מכונות וירטואליות שיריצו מערכות הפעלה שונות.

אני לא ממליץ לרכוש שרת ישן יד שניה (אלא אם יש לך מחסן שהוא מאוורר) בגלל הרעש והחום שהוא מפיק, במיוחד בקיץ הישראלי החם (אפשר כמובן להתקין מזגן, אך עלות התפעול השוטף מבחינת חשמל אינה שווה זאת, אם מדובר באירוח 1-2 שרתים מקצועיים בבית/מחסן).

מה שאני כן ממליץ זה לבחור את אחת מהאופציות הבאות:

  • לקחת מחשב דסקטופ שקיים אצלכם, למלא אותו בזכרון (במידה וצריך), להתקין עליו כרטיס רשת (אני ממליץ על כרטיס המבוסס על שבבים של אינטל), לרכוש SSD זול ולהתקין לדוגמא ESXi (יש צורך בכרטיס הרשת הנוסף מכיוון ש-ESXi אינו תומך בכניסות רשת שנמצאים על לוח האם).
  • לרכוש מחשב מבוסס AMD Ryzen 7 (כמו ה-2700) ולמלא אותו בזכרון בהתאם לתקציבכם, SSD זול, כרטיס רשת – ולהתקין ESXI. במקרה הזה תקבלו פי 2 יותר ליבות בהשוואה למעבדים של אינטל ותמיכה ב-עד 64 ג'יגהבייט זכרון.

כל אחד יכול כמובן לבחור לעצמו סוגי מאווררים שונים, קירור מים וכו', כל הדברים הללו הינם אופציונליים והכל כמובן תלוי בשיקולכם.

מכאן – נעבור לתובנות.

בקיץ האחרון היו לי מספר שרתים 1U ו-2U של חברות כמו Dell, HPE, IBM. כולם שרתים ישנים (מעבדי E5-2620 דור ראשון ושני) – והיו לי בין 3 ל-8 מכונות, תלוי בחודש ובדילים שהשגתי, מה שמכרתי ועוד. הסביבה שבא נמצאו השרתים היתה ללא מזגן ולפעמים נכנסו גם קרני שמש.

הבעיות בעבודה בשיטה כזו הן פשוטות: או שאתה מתקין מזגן ומפעיל אותו 24/7 (בעייתי אצלי, האזור שהם נמצאים הוא אזור פתוח) או שאתה סובל מהרעש של המאווררים שמנסים לקרר את השרת (גם אם ניצול המעבדים נע על אחוזים בודדים). היו לי מספיק לילות שהייתי צריך לישון עם דלת חדר השינה סגורה. אם אין לך UPS (אני בכוונה לא עובד עם UPS, פרטים על כך בפוסט קרוב) – המצב יותר גרוע אם השרתים לא נמצאים בחדר סגור וחלה הפסקת חשמל – ההפעלה מחדש של השרתים תפעיל את המאווררים למקסימום מהירות למשך מספר דקות, מה שירעיש את כל הבית.

מחשבים – בין אם דסקטופ ואם מדובר בשרתים, יכולים לפעול בלי שום בעיה גם אם בסביבתם הטמפרטורה נעה בין 30-36 מעלות צלזיוס. דווקא במערכות דסקטופ ניתן לבנות את עקומת ה-RPM של המאווררים כך שיפעלו יותר לאט או יותר מהר בטמפרטורות מסויימות (פונקציה זו קיימת בתצורה סופר-בסיסית בשרתים תחת שמות כמו ECO, Silence וכו' אך מבלי להגדיר/לשנות מספרים).

ולהלן תובנותיי:

  • כל עוד מדובר במכונה שלא יבוצע לה Overclock ואין בה כרטיסי GPU, אפשר יהיה להרכיב לה 3-4 מאווררים (2-3 מקדימה בתצורת PULL, מאוורר מאחורה בתצורת PUSH), יחד עם המאוורר שמגיע עם המעבד – מכונה כזו לא צריכה מיזוג או תנאים מיוחדים (יש לי 2 מכונות דסקטופ כאלו שעובדות כך כבר 6 שנים).
  • מתוך הנחה (ולאחר בדיקות) שניצול ה-CPU אינו עובר את ה-60-70% – אפשר להתקין פתרון קירור של Noctua מסידרת ה-Low Profile (כל עוד יש את האיוורור שציינתי לעיל), כך שהמכונה תהיה שקטה גם בקיץ.
  • במידה ובונים מכונה ורוצים עליה שליטה מרחוק עוד ברמת הכיבוי/הפעלה – מומלץ לרכוש לוחות אם עם IPMI. במקרה של אינטל – קשה מאוד למצוא לוחות כאלו שמקבלים מעבדי דסקטופ, ומעבדי Xeon הם יקרים ולכן ניתן לוחות אם שתומכים במעבדי Xeon ישנים יותר (אני ממליץ E5 V2 ומעלה) או שניתן לרכוש לוח כזה עבור מעבד Ryzen מודרני.
  • שרתים מוכנים – ישן, אך לא ישן מדי: מאוד מפתה לרכוש שרת ישן בן 6-7 שנים בכמה מאות או ב-1000-1500 שקל כשכמעט הכל כלול (מעבדים, זכרון, רשת – אין דיסקים), אולם לא ניתן בשרתים כאלו להוסיף ציוד כמו SSD NVME, כרטיסי רשת מרובי כניסות וכו', וכמו כן מבחינת ביצועים – מעבד דסקטופ מודרני זול "בועט" בכל Xeon דור ראשון או שני (כשמדובר על אותה כמות ליבות ולפעמים כשב-Xeon יש כמות ליבות כפולה). ראו, אגב, הערותיי למעלה אם אתם חושבים להקים "LAB" שבעצם מבוסס על מכונה אחת.
  • אם אין לך בעיה שהמערכת לא תעבוד זולת שרותים בסיסיים בהפסקת חשמל ושכל המידע שלך בשרת האחסון לא יזוק כתוצאה מהפסקת החשמל – לא חייבים UPS. פוסט ופרטים על כך – בקרוב.
  • אפשר לבנות שרתים שקטים גם בתצורת 2U. וידאו ופרטים על כך – בקרוב.

הקיץ הזה אני אצטרך כפי הנראה (בהתאם לפרויקטים שיכנסו) מספר שרתים, שרת ה-ZFS העיקרי שלי יוחלף למשהו הרבה יותר מאסיבי (320 ג'יגה זכרון, 20 דיסקים קשיחים, Optane SSD ו-2 מעבדי Xeon וכנראה תקשורת במהירות 40 ג'יגה) ותהיה גם מערכת ניהול חכמה למקרים של הפסקת חשמל והפעלת שרתים עם שרותים בסיסיים שיפעלו ללא תלות בחשמל רציף. הכל יוקלט בוידאו ויפורסם ביוטיוב, פוסטים חדשים יופיעו בנידון וגם הקוד לניהול ישוחרר באופן חופשי ב-GitHub. אתם מוזמנים להירשם לבלוג (או לעקוב אחר הפייסבוק שלי או ערוץ הטוויטר שלי), ואני אשמח לקרוא את תגובתכם.

ה-LAB הבא פרק 9: הרפתקאות עם שרתי HP דור 7

השבוע רכשתי (במחיר טוב! כמה? מוזמנים לקרוא את הפוסט שלי בנושא בבלוג העסקי) 3 שרתי HP DL360 G7. אלו שרתים די בסיסיים (בכל זאת, Xeon מלפני 8 שנים!) אבל קיבלתי אותם עם המון זכרון (208 ג'יגה!) ורציתי להקים עליהם VMWare vSphere 6.5 האחרון.

וכאן החלו ההרפתקות שאני רוצה לשתף עמכם, אם תירצו לרכוש שרתים כאלו בעתיד.

הדבר הראשון שהיתה בעיה – מערכת ה-iLO (זו מערכת הגישה מרחוק, ה-KVM המובנה פנימית) היתה לא מעודכנת (גירסה 1.15) וכתוצאה מכך לא היה ניתן כלל להיכנס לשרת מרחוק דרך דפדפן. לאחר בדיקות בגוגל התברר כי קודם כל יש לשדרג את הקושחה לגירסה 1.28 ורק לאחר מכן לשדרג לגירסת הקושחה האחרונה (נכון להרגע: 1.89). מכיוון שזו מערכת ישנה, אם אתם רוצים לראות את המסך מרחוק, תצטרכו .. להתקין JAVA ו"להילחם" בכרום שיתן לכם להוריד את קובץ ה-jnlp כדי שתוכלו להפעיל אותו. אם לעומת זאת אתם עם Firefox, מזלכם האיר לכם, יש תוסף יעודי "טבעי" של iLO ל-Firefox. בכל מקרה אין גירסת HTML5 לממשק ה-KVM לצפיה במסך. זה קיים רק ב-iLO 5 ומעלה ואי אפשר לשדרג iLO בשרת.

אחרי שסידרנו את עניין הגישה מרחוק, הדבר המומלץ הבא הוא לעדכן קושחות של השרתים. עדיין אין לנו מערכת הפעלה מותקנת ולכן מומלץ לעשות זאת עם קובץ ISO של יצרן השרת. כאן מגיעה הפתעה די מאכזבת: ל-HP אין שום בעיה שתורידו דרייברים ללא תשלום או רישום, אבל כשזה מגיע ל-ISO הזה הם רוצים שתשלמו על הארכת אחריות בכדי לקבל גישה לקובץ (שנקרא SPP – שזה Service Platform for Priliant וזו גירסה עצמונית של SUM – מערכת העדכון של HP). מכיוון שאין סיכוי שאני אשלם על שרת ישן "חידוש אחריות", פניתי ל"חבר האינטרנטי" (גוגל). נחסוך לכם את החיפוש, כאן אתם יכולים להוריד את ה-ISO מחודש יולי (מצאתי מקום אחר שנותן להוריד עדכון מהחודש, אבל אין שום הבדלים בין קבצי ה-ISO בכל מה שקשור לשרתים G7).

אז איך נפעיל את ה-ISO? שנתחיל לחפש USB Disk on key? לא צריך, אפשר דרך iLO.. כלומר אפשרי, אבל רק אחרי שתרכוש רשיון של iLO Advanced (אם אין לכם בשרת, לי לא היה באחד מהשרתים). כמה עולה? הו, טוב ששאלתם:

לשנה זה עולה $221 ול-3 שנים $339 וזה כמובן לא מזכה אתכם בשום תמיכה (התמיכה היחידה שתקבלו זה איפה להכניס את המספר ועדכונים.. שהם רק ל-iLO). טוב, גם הפעם אני לא ממש מעוניין לשלם על הרשיון אז שוב – גוגל שנותן לך לינק ל-Reddit כאן עם 2 רשיונות. תכניס, תפעיל (לא, זה לא מתחבר לאינטרנט לבדוק אם הרשיון "כשר").

אחרי שהפעלנו את הרשיון, ניתן להפעיל את ה-Remote Console, וניתן למפות קובץ ISO מהמכונה המקומית שלכם ולהפעיל את ה-SPP. כמות העדכונים שהיו היא .. אחת. עדכון לקושחת כרטיסי Qlogic. אם ציפיתם שהוא יעדכן את ה-iLO באותה הזדמנות – טעיתם. זה לא כולל עדכון של iLO. מדוע? ל-HP הפתרונים…

אז אחרי שהתקננו את העדכונים ל-iLO ויש לנו גישה מהדפדפן, אחרי שהרצנו את ה-SPP והוא עדכן את קושחת כרטיס הרשת הפנימי – נרצה להתקין וירטואליזציה אולי? אולי VMWare? רעיון מעולה, רק ששוב – זה לא כזה פשוט…

ל-HP יש IMAGE מוכן שתוכלו להריץ אותו דרך ה-iLO (אני ממליץ להכניס USB Disk on Key או כרטיס SD לשרת ועליו להתקין את ה-ESXi במקום דיסקים קשיחים). אתם מוזמנים להוריד אותו ולהתקין, הכל ילך חלק עד ש… תנסו להעמיס על השרת ותוך 6 דקות על השעון תיראו במסך ה-KVM מוצף בצבע סגול עם הודעות שגיאה ורגיסטרים. זה נראה כך:

לא, החומרה שלכם לא דפוקה, זה הדרייבר SMX של HP שהותאם לעבוד עם שרתים דור 9 ו-10, אבל בדרך הם שברו תאימות לשרתים דור 7 ו-8. מה עושים? משנסים מותניים, מתקינים VMWare PowerCLI ועוקבים אחר ההוראות כאן איך ליצור ISO חדש הכולל דרייברים מגירסה vSphere 6.0. אחרי שהכננו את ה-ISO, מפעילים דרך ה-iLO ומתקינים על ה-USB Disk on Key או על כרטיס ה-SD. מנסיון – זה עובד מעולה. עכשיו אפשר להתחיל לעבוד …

… בערך.

אם כל ה-Datastore שלכם מאוחסן באיזה סטורג' או NAS – אין בעיה שתתחילו לעבוד עם המערכת. לעומת זאת, אם אתם חושבים להכניס דיסקים SATA – תתבעסו לגלות שמהירות ה-SATA היא 3 ג'יגהביט (במקום 6 ג'יגהביט של SATA 3), כך שאו שתיקחו דיסקים SAS או שתחליפו לבקר אחר (ותשיגו כבל מיני SAS 8087 לחבר בין ה-Backplane לבין הכרטיס). חושבים להכניס SSD? קנו בקר אחר. איזה? כזה. מבחינת הרחבת זכרון, אתם יכולים להכניס עד 192 ג'יגהבייט אם זה זכרון 8500R (במהירות 1066 מגהרץ) או 288 ג'יגהבייט אם זה זכרון 10600R (במהירות 1333 מגהרץ).

ולבסוף רשמים: איך הרעש? כרגע מופעלים 2 מכונות כשבכל אחד מהם מעבדי X5650. אני כרגע מריץ סה"כ 10 מכונות VM (יהיו עוד הרבה) והם בחדר ממול, הרעש שהם עושים הוא פחות ממכונת ה-i5 שמתפקדת אצלי בתור NAS, כך שהם בהחלט שקטים.

לגבי חשמל .. היו רגעים שהגעתי לתצרוכת של 240-260 וואט, כרגע זה נראה כך:

כך שבסופו של דבר זה יחסית לא לוקח הרבה חשמל (כמובן, ברגע שאני אקים עוד כמה VM וייבא עוד כמה, התמונה תשתנה, אבל 200-260 וואט זה עדיין טוב.

לסיכום: האם הייתי ממליץ על רכישת שרתי DL360/DL380 G7? אני חושב שכן (כל עוד אין לך בעיה לעבור את המסכת שתיארתי לעיל אך מצד שני, בכל שרת תצטרך לעשות זאת פחות או יותר. בכל הקשור ל-iLO, פה זה עניין של מפתח מספרים, בשרתים אחרים מדובר במפתח חומרה כך שכן תצטרך לרכוש כזה, אם כי ב-eBay תוכל למצוא זאת בכמה דולרים).

ה-LAB הבא פרק 2 – שרתים יד שניה

בפוסט הקודם שלי דיברתי על אלו שרתים אני רוצה. יצא לי בימים האחרונים להסתכל על כמה מכירות של שרתים יעודיים יד שניה ב-eBay ובארץ ואני הולך לרכוש 2 שרתים, והחלטתי לשתף כמה טיפים בבחירה, החלפת ציוד פנימי ועוד.

בחברות בד"כ, השרתים שנרכשים נמצאים בחדר יעודי או בחוות שרתים. כל הרעש שהם מפיקים – לא מזיז לאיש. יש דלת, יש מזגן בחדר והכל עובד פיקס (טוב, תיאורתית לפחות. תנסו פעם להכניס לחדר כזה 4 שרתים כשבכל אחד מהם 8 מעבדי Xeon, נראה איך המזגן בחדר יקרר…).

אבל כשזה מגיע לבית ואין איזה חדר פנוי/ממ"ד לאחסן, לשים מזגן ולסגור את הדלת – מתחילה הבעיה במיוחד בשרתים בגדלים של 1U. לשרתים האלו יצא שם של מנועי סילון מבחינת רעש שהמאווררים עושים.

מדוע המאווררים האלו יוצרים רעש כזה חזק? מכמה סיבות. לשם הדוגמא, ניקח שרת של DELL, ה-R710. נתחיל עם צלעות הקירור (לחצו להגדלה).

אם תסתכלו מקרוב על צלעות הקירור, תראו שהם מאוד צפופים. לשם השוואה, אם תסתכלו על כל פתרון קירור עם צלעות וקירור אויר, תראו שהרווח בין הצלעות הרבה יותר גדול. הסיבה לצפיפות היא שישנם הרבה יותר צלעות, מה שעוזר לחום לעלות בהדרגה ולא במכה אחת. נוסיף לכך שבמקרה של שרתים רציניים יש צורך לקרר את הכל, החל מהדיסקים הקשיחים (גם SSD), נמשיך בזכרון, במעבד כמובן, ברכיבים השונים וכלה בכרטיסים שנמצאים בסוף השרת (במיוחד אם יש לכם GPU רעב לוואטים רבים). במאווררי מחשבים רגילים, עצם יצירת הרוח היא פונקציה מספקת כדי לקרר את הציוד. בשרתים לעומת זאת, המאווררים צריכים לרוץ במהירות של עד פי 4-5 (כלומר עד בערך 20,000-25,000 סיבובים לשניה – RPM). מדוע? כי המהירות הזו יוצרת לחץ סטטי של אוויר שנמדד ב-CFM (כלומר Cubit Foot/Minute). במילים אחרות, המאווררים יוצרים מעין "מנהרת רוח" שנכנסת מהחורים היכן שנמצאים הדיסקים (ולכן אפשר להרגיש לפעמים דיסקים "קפואים") והאוורור יוצא בתפזורת מהצד השני. כל הספקים גם מוסיפים פלסטיק בשרתים יעודיים שמחלק את האוורור בין 2 המעבדים בשרת כך שהאוורור יספק את הציוד ב-2 החלקים בשרת.

בקליפים רבים ביוטיוב ניתן לראות אנשים שמחליפים מאווררים אלו במאווררים של Noctua לדוגמא. אלו מאווררים מאוד שקטים, אך זהו אינו פתרון. מאוורר של Noctua מסוגל במקרה הטוב להוציא 5000 RPM, רבע ממה שמאוורר טיפוסי של שרת 1U יכול להוציא כך שהוא אינו יכול ליצור את אותו לחץ סטטי הדרוש לקירור המעבדים ושאר הציוד בשרת. פתרון כזה כן יכול להתאים אם יש לכם מתג או נתב שמרעישים, במקרה הזה – ההחלפה היא מומלצת ויהיה לכם שקט.

נקודה חשובה נוספת היא בבחירת המעבדים בשרת. אם חשקה נפשכם בהכנסת המעבדים הכי חזקים לשרת (כמו ה-E5 2699 V4), תצטרכו לקחת בחשבון חיים מחוץ למטוס בואינג 747 גם כשהשרת לא עושה מאומה. מעבד כזה לוקח 145 וואט, נכפיל ב-2 (2 מעבדים) והרי לנו מפלצת שצריך לקרר אותה כל רגע וכל שניה, כאן המאווררים לא ממש יוכלו "לנוח" ולרדת לרמה סבילה של רעש לבן. לכן – כדאי לבדוק מה ה-TDP (מעטפת צריכת חשמל) של כל מעבד. כמה שיותר נמוך, המאווררים יצטרכו פחות לעבוד ואתם תוכלו לחיות בבית בשקט. בד"כ מעבדים של 60 וואט הם אידיאליים אולם ניתן גם לקחת מעבדים עם TDP של 90 וואט.

עניין נוסף הוא הדיסקים בשרת. ברגע שאין לכם דיסקים בשרת, יכנס הרבה יותר אוויר (אין דיסקים שחוסמים חלק מכניסת האוויר) לשרת והוא יתקרר הרבה יותר מהר, מה שיוריד את מהירות המאווררים ויתן שקט, ולכן אם אתם לדוגמא חובבי VMWare, השתמשו ב-Disk On Key (או בכרטיס SD שישב בשרת) כציוד ל-Boot ללא כמות גדולה של דיסקים (אפשר להכניס SSD או 2 ב-RAID-0 שישמשו כ-Read Cache עבור ה-vSphere) והקימו לכם שרת גדול (4U) עם דיסקים מכניים ו-SSD שישמשו כ-Storage שאותו תשתפו כ-NFS, CIFS, iSCSI לשאר השרתים (ואם יש לכם תקציב, הקימו עוד אחד כזה עם דיסקים יותר איטיים שישמשו לגיבוי). זיכרו: לא חייבים דיסקים בכל שרת ואפשר לעשות BOOT מ-PXE (תכירו את iPXE שנותן הרבה יותר מ-PXE רגיל).

אם אתם רוצים לחסוך בצריכת חשמל וגם לקבל שקט, תצטרכו לבנות לכם שרתים וכאן מומלץ לעבוד עם מארזים בגודל 4U (או 3U, תלוי בצרכים). במארזים כאלו ניתן להכניס 2 מאווררים שקטים של 120 מ"מ, 2 מאווררים מאחורה (בתצורת PULL כדי שישאבו את האויר מהמכונה ויוציאו אותו החוצה) ופתרון קירור רגיל מבוסס אויר למעבד שתבחרו. כל המאווררים לא לוקחים צריכת חשמל רצינית (בערך 0.6 וואט פר מאוורר) כך שהמכונה אולי תהיה גדולה, אבל צריכת החשמל שלה תהיה נמוכה משמעותית מצריכת חשמל של שרת יעודי רגיל.

בפרק הבא: על הקמת NAS טוב.

קצת על IPXE

יש לא מעט ארגונים שעובדים או עבדו עם PXE. השיטה הזו טובה להתקנת מערכת מאפס בלי להיסחב עם דיסק און קי, קבצי ISO או העתקי מחיצות (Partitions) שהיצרן החליט לשים העתק של מערכת ההפעלה שם (כדי שתתקין יחד עם מערכת ההפעלה את ערימת הזבל שהוא מכניס).

מבחינה טכנית – PXE הוא די פשוט: יש שרת TFTP שמגיש קבצים ב-UDP דרך פורט 69. אתה מקים שרת כזה, מוודא שיש שרת DHCP שיתן כתובות IP זמניות (או קבועות אם אתה נותן כתובות לפי MAC) למכונה שעושה BOOT PXE וכל מה שנשאר לך זה לוודא שתוכנת ה-PXE Client (יש כל מיני ללינוקס ו-Windows) יודע איך להעלות את המערכת שאתה רוצה להעלות.

הפתרון הזה הוא פתרון נחמד למעבדת מחשבים או למקום שצריך PXE פה ושם. אחרי הכל – תן לשרת TFTP להגיש קבצים ל-100 מכונות בו זמנית ותראה את השרות זוחל.

אני רוצה להכיר לכם את IPXE.

אם אנחנו מסתכלים היום על Data Center – בין אם ה-DC מורכב מחצי ארון עם 3 שרתים ועד לאולם שלם שמפוצץ שרתים – הדברים השתנו לחלוטין בעשור האחרון. שיטת העברת הקבצים הכי פופולרית היום היא HTTP, אנחנו יותר משתמשים ב-iSCSI וב-NFS, בחלק מהמקומות יש Infiniband, ועוד ועוד טכנולוגיות מודרניות, ובכלל – כיום כל VM יושב על iSCSI או על NFS והתקנה אוטומטית דרך פרוטוקולים אלו יכולה לסייע מאוד.

היחוד של IPXE הוא בכך שהוא לוקח את PXE המוכר ומקדם אותו לעידן של היום תוך מתן תמיכה טבעית ל-NFS ו-iSCSI והעברת קבצים עצמה יכולה להתבצע דרך HTTP (ולכולם יש כיום מערכות לנטר ולכוון תעבורת HTTP). מה עם שרת ה-TFTP? אותו עדיין נצטרך אך ורק להעביר קובץ יחיד (UNDIONLY.KPXE) ואולי עוד קובץ למערכות UEFI. את השאר אפשר להעביר בפרוטוקולים אחרים.

IPXE נותן לנו במכונה שעושה BOOT PXE גם אפשרויות של סקריפטים בשפה די פשוטה שיקח לכם זמן מאוד קצר ללמוד אותה. אפשר להכניס תנאים, לשרשר קבצי IPXE, וכמובן – יש תמיכה ל-NFS, iSCSI, Infiniband ופרוטוקולים אחרים. כך לדוגמא אם מרימים מערכת ESXi או לינוקס, אפשר להכניס פרמטרים להטענת kickstart להתקנה אוטומטית, להשתמש ב-WIM של Windows ועוד. צריכים מכונות דסקטופ ל-Windows? אתם יכולים לעקוב אחר ההוראות כאן לגבי פתרון שיכול להתאים לכם.

הנה לדוגמא מערכת שאני מקים אצלי ב-LAB בבית (מאז הוספתי עוד כמה שורות). לא משהו מורכב, אבל עם הסקריפט הסופר-פשוט שכתבתי – אני יכול להתקין מגוון מערכות הפעלה לכל VM חדש שאני יוצר מבלי לחפש כל פעם היכן ה-ISO. כל קבצי ההתקנה וסקריפט ה-IPXE יושבים אצלי על שרת NGINX (שרת Web) וסקריפט ה-IPXE פשוט מוריד את כל מה שהוא צריך בהתאם למערכת שבחרתי ולבסוף מריץ פקודת boot. משהו לא עבד? לחיצה על CTRL-B תתן לי "shell" נחמד שאיתו אני יכול לנסות את הפקודות ידנית או לראות את השגיאות לפרק זמן ארוך כדי לתקן אותם ולהפעיל את המערכת מחדש.

ipxe

מערכת נוספת שהכנסתי לתפריט היום (לא מופיע בתמונה) היא מערכת GParted שהיא מערכת לניהול Partitions. נניח שאני צריך לגבות Partitions מסויימים לפני שינוי והשרת עצמו הוא פיזי (ב-VM יש snapshots, במכונות פיזיות – זה קצת יותר מסובך). אני יכול להתקין תוכנת גיבוי ולעשות זאת ולקוות שהגיבוי הצליח, או שאני פשוט יכול למפות iSCSI Volume זמני דרך ה-iPXE, להפעיל את IPXE, לבחור את GParted ולגבות את ה-Partitions. אותו דבר אני יכול לעשות עם NFS ושאר טריקים לאחסון – כל זה מבלי להתקין שום תוכנה נוספת, לרכוש רשיונות וכו'.

הפתרון של IPXE הוא פתרון שמנצל את הכלים שלנו לשימוש מודרני ב-DC, הפתרונות שיש כיום להפצת קבצים יכולים יפה מאוד לעמוד בעומס של עשרות או מאות מכונות שרוצות PXE ועכשיו. בהמשך הדרך, כש-VDI יכנס יותר ויותר לתמונה, ה-Thin Client יוכל לקבל את המערכת שצריכה לרוץ עליו דרך PXE במקום לעדכן קושחות, לבצע טסטים על כל שינוי קטן וכו'.

לסיכום: גם אם יש לכם פתרון PXE, מומלץ להכיר יותר את IPXE. ה-IPXE נותן לנו פתרון שמשתמש בטכנולוגיות של היום ובדרך גם חוסך בכל מה שקשור לתחזוקה והתקנות של מחשבי דסקטופ, שרתים, מכונות VM ואחרים. לא חייבים לשנות כל 3 דקות את הגדרות ה-DHCP (יש ProxyDHCP ותמיכה לזה ל-IPXE) ובטווח הארוך זה חוסך הרבה עבודה. מנסיון.

אבטחת מידע: התייחסות ל"פורץ", בדיקות וריגול תעשייתי

מכיוון שפוסט זה נכתב עבור פורום אבטחת מידע, אני רוצה להתחיל בנקודה ששותפים לה רבים (ורבות) כאן: כיצד הגעתם לתחום אבטחת מידע? חלק קטן הגיעו דרך קורסים בגלל ששמעו שבתחום מרוויחים לא רע, אולם חלק גדול מהמשתתפים החל את דרכו בתחום כ"פורץ" (Hacker) וליתר דיוק "מאתגר מערכות": ישנה מערכת X ואותו בחור מעוניין לדעת איך היא עובדת, מה החלקים השונים עושים, אם משנים כל מיני הגדרות ופרמטרים – מה קורה? כך לומדים, מתנסים ומתקדמים ובמיוחד – יודעים בדרך זו להגן על דברים. (יש כמובן חלק מהאנשים שלוקחים את זה לכיוון ה-Black Hat).

אתרים רבים בארץ, גדולים כקטנים, מוגנים בצורות שונות ע"י האנשים, המחלקות והטכנולוגיות השונות שקיימות. אתרים קטנים בד"כ יסמכו על חומת אש תוכנתית פשוטה ואולי שרות CDN ש"ימסך" חלק מההתקפות, בשעה שבאתרים גדולים בד"כ משקיעים יותר בתשתיות, פתרונות יקרים ומתוחכמים יותר ועוד, אולם לצערי אתרים רבים בארץ (כולל אתרים מסחריים) לוקים בחסר בכל מה שקשור לפרסום Section של אבטחת מידע. אינני מתכוון לפרסום כיצד האתר מוגן, אלא למי לפנות אם מוצאים פריצה. אתרים שונים, לדוגמא, מחביאים זאת אי שם במסמך הענק של תנאי השימוש ולך תעבור על ערימת סעיפים כדי לדעת איך בכלל ליצור קשר. באתרים אחרים יש איזה טופס למלא שדרכו אי אפשר לשלוח כמעט שום מידע טכני (כי הגדירו כמות קטנה של אותיות ב-FORM או שדף ה-FORM אפילו לא מצליח להיות מרונדר בצורה נורמלית בדפדפן עדכני).

ומה קורה שמצליחים לשלוח מידע על פריצה שקיימת? זה משתנה. בחלק מהמקרים אולי יתייחסו להתרעה ואולי אפילו יחזירו "תודה" במייל, בחלק מהמקרים זה יתגלגל אי שם לאיזה תומך שאין לו מושג ירוק מה עושים עם זה ולבסוף הוא יתעלם ולא יעביר הלאה, ובחלק מהמקרים (שאפשר למצוא אותם בפורומים בתפוז) חברות מעדיפות "לשסות" עו"ד בפונה ולאיים עליו בצורה מרומזת.

מכאן נעבור לנושא אחר שרבים מעדיפים לא לדבר עליו למרות שהוא חי ותוסס גם במדינתנו: ריגול עסקי.

חברה X שיש לה אחיזה רצינית בשוק מימים ימימה מתכוננת לקראת כניסת מתחרה חדש. חברת X תשמח "להציץ" בתוכניות השיווקיות של המתחרה, והם ימצאו את הדרך לרמוז למישהו בחברה שירמוז לחבר שלו שישיג את המידע. הכל ברמיזות וקריצות, ללא שום תיעוד ואם אותו "חבר" ישיג מידע – הכסף יועבר בצורה סיבובית. אם הדברים יסתבכו, תמיד יהיה אפשר להעיף מישהו בדרג הזוטר החוצה תוך הכחשה גורפת שחברה X ניסתה לרגל. חס ושלום! (וכמובן, אם זה יעבור דרך המחלקה המשפטית, מישהו כבר יוסיף איום מרומז לעיתונאי החטטן שאם משהו יפורסם, החברה "תעשה חושבים" בקשר לתקציבי הפרסום בעיתון שבו עובד אותו עיתונאי).

הבה נסתכל על אותו "חבר" שרוצה לפרוץ. איך הוא בעצם יעשה זאת? לא, סביר להניח שהוא לא יחפש פורטים פתוחים (זה בין כה סגור ע"י חומת האש), הוא לא יחפש להתקיף את השרת ב-DDOS (אנחנו בישראל, קל מאוד לנתק תקשורת של DDOS שמגיעה מחו"ל ועוד יותר קל לנתק נקודות שמשתתפות ב-DDOS ישראלי). הוא יחפש איך להשתמש בשרתים שלכם שפתוחים לציבור (אלו השרתים שנמצאים ב-DMZ) ובשרותים שרצים עליו – בין אם זה IIS או NGINX או Apache או כל שרת Web אחר. הוא יחפש לבדוק מה ה-Application Server שאתם משתמשים וינסה את חורי האבטחה הידועים לגבי אותם שרותים – על השרתים שלכם. הוא ינסה לבצע SQL Injection, ינסה לשחק עם פרמטרים ב-URL וינסה עוד שיטות רבות. אם הוא חכם, הוא כמובן לא יבצע זאת מהמחשב האישי שלו, אלא ישכור אצל אחד הספקים בארץ או בחו"ל VPS וינסה זאת משם, אולי הוא גם ישתמש בשרותי PROXY שונים כדי להחביא את כתובת ה-IP שלו. הוא מבחינתו רוצה להשיג מידע וכמה שיותר – כי בשבילו זה כסף. הוא ה-Black Hat הקלאסי.

נעזוב לרגע את אותו "חבר" ונסתכל על התשתית שלכם מבפנים. כמה חברות שוכרות שרותי Auditing לבצע בדיקת קוד מבחינת אבטחה? לא הרבה. הרוב סומכים על המתכנתים שלהם שיכתבו קוד מוגן. בוא ננסה לבצע תרגיל פשוט בחברתכם: יש לכם מספר חומות אש? בצעו login לחומת אש שלא נכנסתם אליה מספר חודשים. יש סיכוי לא רע שתמצאו חוק או 2 שיגרמו לכם להרים גבה. עתה, פנו לאיש היוניקס/לינוקס שלכם או לאנשי הסיסטם מיקרוסופט שלכם ובקשו שיכתבו סקריפט קטן שיחפש בלינוקס קבצים עם הרשאות 777 (או ב-Windows הרשאות Full Control ל-Everyone). יש מצב שהסקריפטים שלהם יפלטו רשימת תיקיות וקבצים כאלו. מדוע? כי בדיוק כמו החוקים המפתיעים שאולי גיליתם, לעיתים מפתחים או מטמיעים (גם אנשי סיסטם) מנסים לקצר תהליכים, לפתור במהירות. הבוס לוחץ, מחלקת השיווק לוחצת, כולם על הראש שלו אז הוא לא הגדיר הרשאות ספציפיות והוא שם Full Control/777 – העיקר שיעבוד. מה לגבי השלכות של אבטחת מידע? שאלה מצוינת. אותו דבר קורה עם חומות אש כשמישהו שם "ל-2 דקות" חוק שמאפשר כניסה מה-DMZ ל-LAN "להעתיק לרגע קובץ מאוד חשוב", והרגע הזה נמתח (כי ההעתקה בוצעה אבל מה שציפו לא קרה/לא עבד) ולבסוף שכחו להעיף את החוק הזה.

זה מה שבדיוק אותו "חבר" מחפש, וכשהוא ימצא – הוא בהחלט ישתמש גם ישתמש בכך לשאוב מידע, מה שבא – ברוך הבא.

נחזור לאותו בחור White Hat שמצא פירצה באתר שלכם. זוכרים את הריגול התעשייתי? אם אתם חברה מסחרית, סביר להניח שיש גם יש מי שיתעניין במידע שלא פרסמתם (כולל אלו שמעוניינים "לדפוק קופה" על מידע פנימי, מניות בבורסה וכו'). אם יהיה לכם באתר חלק שהוא קל לקריאה, מעוצב בצורה נוחה וקלה לשימוש – והכי חשוב: שהמידע יגיע ישירות לאדם הנכון/המחלקה הנכונה (ולא ל"תמיכה") – המידע הזה יהיה שווה עבורכם הרבה, ואפשר כאות תודה לתת לאותו White Hat איזו תשורה קטנה, אולי איזה שובר רכישה של כמה מאות שקלים כמתנה (החברה לא תיפול מזה). כך תקבלו גם מידע שיעזור לכם להגן בצורה יותר טובה על המידע שלכם מצד אחד, ומצד שני תכירו בחור שאולי יוכל לעזור לכם בעתיד (נניח לבדוק גירסה חדשה של אתר/מוצר). שתי הצדדים מרוצים, דבר מעולה, לא?

גוגל, פייסבוק, אמזון, אפל, HP, IBM וחברות רבות מוכנים לשלם אלפי דולרים תמורת גילויי פריצות אבטחה (יאהו קמצנים – כשמישהו לאחרונה העביר להם מידע על בעיית אבטחה – הם נתנו לו שובר .. של 18$!). אני מתקשה להאמין שחברות בארץ יאמצו את הרעיון אבל לדעתי משהו כמו שוברים דווקא יכול להצליח. אם מישהו נותן לכם מידע על בעיית אבטחה, אפשר לקחת את זה בצורה טובה ובונה. ההשקעה מצד החברה בבניית Section כזה היא השקעה קטנה, אבל בטווח הארוך היא שווה לחברה כספים רבים.

פוסט My-Lab – לוחות אם לשרת קבצים

[box color="green" icon="info"]ברוכים הבאים לפוסטים בסידרת My-Lab. פוסטים אלו יופיעו מפעם לפעם בבלוג זה והם מיועדים לאיש המחשבים שרוצה להקים לעצמו בבית מעין "מעבדה" עם שרת אחד או יותר או שרת קבצים וכו'. בפוסטים אלו אני אכתוב הן מהצד של חומרה והן מהצד של איך להגדיר שרותים שונים בלינוקס או מערכות הפעלה אחרות – לשימוש המעבדה שלך. מי שמעוניין לראות את כל הפוסטים בנושא, יכול בשלב זה ללחוץ על הקטגוריה My-Lab מצד ימין בקוביית הקטגוריות והוא יקבל את כל הפוסטים בנושא. תודה.[/box]

הבה נדבר על שרתים לבית. ברוב הבתים אין שרתים בבית והמשתמשים שומרים את הכל על המחשבים האישיים שלהם, אולם אנשי מחשבים רבים מקימים לעצמם שרת אחד או יותר בבית. בד"כ זה שרת קבצים (כדי לאחסן חומרים, מדיה וכו'), ובמקרים רבים אותו שרת גם משתמשים בו להקמת מערכות הפעלה אחרות על מנת ללמוד אותן, ולנסות כלים חדשים.

בפוסט זה אני כותב לגבי שרת קבצים.

כמעט בכל פורום על שרתי קבצים, ההמלצה הגורפת היא לקחת את המחשב הישן שלך, להחליף לו דיסק, להגדיל זכרון ולהשתמש בו כשרת קבצים. אחרי הכל – שרת קבצים אינו צורך משאבים רבים. הוא מאחסן ונותן קבצים, והפעילות הזו לא ממש צריכה משאבי מעבד רציניים.

הבעיה עם ההצהרה לעיל, שהיא לא כל כך מתאימה למצבים מודרניים כיום. אם לדוגמא תשתמש במערכת קבצים ZFS, תרצה בוודאי להשתמש ביכולות שלה כמו Deduplication (על מנת שתוכן לא ישמר בצורה כפולה ויותר בדיסקים), דחיסה, snapshots, הצפנה, שרות CIFS (ל-Windows) או NFS (ללינוקס/ESXI) ופונקציות רבות אחרות, ואלו דווקא כן צריכים משאבי מעבד. נקודה נוספת היא עניין הבלאי והצריכת חשמל: מעבד של מחשב רגיל מלפני שנתיים ויותר צורך לא מעט חשמל כשהוא עושה עבודה, נוסיף לזה מאווררים שמסתובבים כל הזמן ושהשרת עצמו יעבוד 24 שעות ביממה, 7 ימים בשבוע, ואם אנחנו גם נפעיל שרותי Streaming (כמו Plex) על אותו שרת – נצטרך להבין שאותו שרת שנקים יעלה לנו את המחיר החודשי לתשלום לחברת חשמל.

לכן אני ממליץ לחשוב על רעיון קצת אחר.

בשנתיים האחרונות אינטל החלה להוציא מעבדי Atom לשרתים. בניגוד למעבדי Atom שמיועדים למחשבי קצה נמוכים או מחשבים ניידים, ה-Atom לשרתים הוא מעבד הרבה יותר חזק. יש יותר זכרון מטמון, יש יותר ליבות, יש תמיכה ב-VT לסוגיו השונים, ויש גם תמיכת חומרה בהצפנה. בנוסף – אין צורך במאווררים (יכול להיות שתצטרך מאוורר אחד או 2 לדיסקים הקשיחים במארז, אך זהו עניין אחר). אני אתרכז ב-2 מעבדים, ה-Avoton C2750 וה-Rangeley C-2758. יש מספר הבדלים קטנים בין 2 המעבדים. צריכת החשמל שלהם – מזערית, וגם כשהמעבד נמצא בצריכת 100% עם כל הליבות, הוא לא מושך יותר מ-20 וואט. תשוו את זה לכל מעבד דסקטופ אחר.

להלן 3 לוחות אם שמגיעים עם המעבד מולחם ללוח, כולל צלעות קירור:

הלוח לבעלי דיסקים קשיחים מרובים

ישנם לא מעט אנשי מחשבים שיעדיפו להקים שרת קבצים עם דיסקים רבים על פני כמות קטנה של דיסקים קשיחים גדולים (יתרונות כמו מחיר זול בהרבה פר דיסק, זמן rebuild יותר קצר, וסיכון קטן יותר). לקנות בקר דיסקים בשביל כמות של 5 דיסקים ומעלה הופך את עניין הקמת השרת למשהו קצת יותר יקר משחשבנו (תוספת של בערך 1300 שקל לבקר). אם אנחנו משתמשים ב-File System כמו ZFS, הרי שעניין צורך בבקר מיוחד הופך למיותר ואפשר להשתמש בחיבורי ה-SATA שעל לוח האם.

C2750D4I-1(L)בחטיבת לוחות השרתים של חברת ASRock חשבו על אנשים כאלו והם הוציאו את ה-C2750D4I – לוח שמתאים בול לאנשים שתיארתי לעיל. יש לך לא פחות מ-12 כניסות SATA, עד 64 ג'יגהבייט זכרון, יש 2 יציאות רשת 1 ג'יגהביט + יציאת רשת שמשמשת ל-IPMI/KVM לשליטה מרחוק, ואפילו כניסת Serial (בכל זאת, מדובר על לוח שמיועד לשרתים). חלק מכניסות ה-SATA הם SATA-2, אך בין כה דיסקים קשיחים של SATA לא ממש מוציאים (פר דיסק) 6 ג'יגהביט. חיבור החשמל ללוח הוא ATX רגיל, והלוח הוא Mini-ITX, כך שלא יהיה מסובך להכניס אותו למארז מודרני. לקינוח יש גם כניסת כרטיס PCI-E X8, אם אתה רוצה להכניס כרטיס רשת כפול/מרובע כניסות לדוגמא.

IMG_20131015_215341הלוח הבא (תמונה מימין) הוא של חברת SuperMicro והוא דגם A1SAi-2750F. בדגם זה הזכרון הוא בצורה של כרטיסי SODIMM (עד 64 ג'יגהבייט), והיחודיות של לוח זה היא ביותר כניסות רשת – יש לך 4 כניסות של 1 ג'יגהביט פר כניסה + כניסת IPMI/KVM. טריק נוסף (שהוא יותר "סימן מסחרי" של SuperMicro) הוא כניסת USB שנמצאת על הלוח ומופנית כלפי מעלה, כך שאתה יכול להתקין את המערכת הפעלה על Disk On Key ולהכניס אותו לכניסה על הלוח ולנעול את המארז. כמות היציאות הנפרדות מתאימה למצבים שבהם אתה רוצה להוציא iSCSI בפורט אחד, NFS באחר ואולי לעשות Teaming/Aggregation או Fail Over.

supermicroהלוח הבא מתאים במיוחד לאלו שיש להם מספר שרתים בבית או בעסק והם מעוניינים להקים Firewall עצבני או נתב מתוחכם. גם כאן מדובר בלוח של SuperMicro והוא נושא את השם המסובך A1SRM-LN7F-2758. בלוח זה קיימים לא פחות מ-8 כניסות רשת, כאשר 7 מהם שמישים ל-LAN וכולם ניתנים לתכנות (Bypass, Passive וכו') ולא מדובר בבקר רשת יחיד כי אם ב-3 בקרים (4 אם נוסיף את ה-IPMI). בנוסף אפשר להתקין על הלוח כרטיס אחסון mSATA (יעיל אם אתם לוקחים את הלוח לבניית פתרון סגור עבור לקוח).

מחיר: מחירי הלוחות הנ"ל נעים בין 300-500$ (האחרון הוא הכי יקר) לערך, מכיוון שמדובר בלוחות בקטגוריית שרתים עם מעבד כלול. זהו פתרון שיכול לעבוד בלי שום בעיה 3-5 שנים, כאשר הטיפולים היחידים שצריך הוא להחליף דיסק (אם נדפק) או להגדיל זכרון.

עוד משהו שקשור ללוחות, הוא ספק כח. נכון, לוחות אלו אינם צורכים חשמל רב, וגם הדיסקים הקשיחים לא צורכים הרבה חשמל, אך כשמפעילים מחשב כזה, צריכת החשמל בשניות הראשונות היא בשיא לשם הפעלת הדיסקים (Spin-Up), ולכן חשוב לשים לב לכמה וואט הספק תומך (עדיף ספק כח אקטיבי). אם יש לך לדוגמא 4 דיסקים, ספק כח של 300-350 וואט אמור לעבוד בלי שום בעיה (אני ממליץ על האתר הזה על מנת לבצע חישובים לגבי ספק כח). מצד שני, אם החלטת לאחסן כמויות ענק של סרטים על 20 דיסקים קשיחים גדולים, כדאי שתחשוב על ספק כח עם 4 ספרות בוואט..

אלו פתרונות שהם יחסית שווים את מחירם, אך זהו אינו המחיר הסופי. מארז פשוט וספק טוב יעלו יחד בסביבות ה-300-400 שקלים, ולכך צריך להוסיף כמות זכרון, וכאן כלל האצבע (אם משתמשים בפתרון מבוסס ZFS כמו FreeNAS או ZFS On Linux – יהיה על כך פוסט נפרד) הוא שעל כל 1 טרה דיסק (לפני בתצורת RAID/RAIDZ) יש להוסיף 1 ג'יגהבייט זכרון, כך שאם יש לך 5 דיסקים של 2 טרהבייט – אז יש לך צורך ב-16 ג'יגהבייט זכרון (חשוב להתחיל עם 4 ג'יגהבייט זכרון מינימום + 1 ג'יגה פר 1 טרה דיסק). שימו לב – אם אתם מזמינים לוח מחו"ל ומזמינים זכרון, תסתכלו איזה זכרון הלוח תומך. חלק מהלוחות כאן תומכים רק ב-ECC ואחרים מוכנים לקבל גם ECC וגם זכרון רגיל.

בפוסט הבא נדבר על דיסקים קשיחים.