לקחים שלמדתי כפרילאנסר

כשאתה מחליט יום אחד מכל מיני סיבות להיות פרילאנסר, אתה יכול להצליח ואתה יכול להיכשל, אתה יכול להתרומם מקצועית ולקבל הערכה ואתה גם יכול ליפול ולשרוף את עצמך בקלות.

אם יש משהו אחד שחסר בישראל – זה קורס אונליין "להיות פרילאנסר". קורס כזה היה מסייע לרבים שמתחילים ואולי גם לאלו שכבר נמצאים בשוק כעצמאים, אבל אין כזה, אז החלטתי לכתוב משהו מקוצר עם כמה נקודות לעצמאים ולאלו שרוצים להיות עצמאים (ומעכשיו – כל מי שרוצה להיות עצמאי בתחום ההיי-טק ורוצה יעוץ – עלות הייעוץ היא ארוחת מק-כפול + צ'יפס ושתיה גדולה עליו 🙂 ).

אז אם אתה רוצה להיות עצמאי אתה צריך לשאול את עצמך שאלה ראשונה: מה אתה מחפש להשיג בכך שתהיה עצמאי? אם התשובה שלך היא "כסף" אז זה נחמד, אבל כמה כסף? אם התשובה שלך לדוגמא היא משהו כמו 18-25 אלף שקל בחודש, אז התשובה שלי אליך פשוטה: לך תישאר שכיר. ברצינות: ההבדל בין הכנסות של 25K של שכיר ל-25K של עצמאי הם לא כאלו גדולים. מצד שני, אם אתה רוצה להרוויח סכומים כאלו בנוסף להיותך שכיר (עבודה בערב/סופ"ש/חופש) – אז מצוין, ולכן חשוב לזכור: כעצמאי, יש לך יותר הוצאות משכיר (מה לעשות, מדינת ישראל אוהבת לדפוק עצמאים). אחרי הכל, אתה רוצה עוד כסף, לא?

אז יש כמה שלבים שכדאי לחשוב עליהם ולעבוד עליהם כמה שצריך:

  • פרסום: אתה איש סיסטם מעולה, שפיץ במיקרוסופט (או לינוקס), איש Devops גאון, מתכנת בחסד-עליון או שאולי אתה יועץ או אינטגרטור טוב. כל זה אחלה, אבל חוץ מבת זוגך, המעסיק הנוכחי ומספר חברים, מי בעצם יודע עליך? זה שאתה שולח קורות חיים זה נחמד, אבל כמוך שולחים עוד אלפי אנשים ביום. לכן המטרה מס' 1 שלך צריכה להיות פרסום עצמי. בלוג, רשתות חברתיות, you name it – תן לגוגל לפרסם אותך (עדיף אורגנית כי אחרת אתה עלול לעוף אם תבצע כל מיני טריקים של SEO.. מנסיון) כך שאחרים יוכלו לקרוא דברים מקצועיים שלך ולהבין שיש פה מישהו רציני עם ידע רב ונסיון בדברים.
  • שיווק ומכירה עצמיים: פרסמת את עצמך וחברה פונה אליך, או חבר מפנה אליך איזו חברה שמעוניינת, סתם לשם הדוגמא התיאורתית – שתקים לה 10 תחנות PC שעליהם ירוצו תוכנות קופה אלקטרונית. לך יש את הידע והנסיון (כן, הסיפורים עליך שהרכבת דיסק קשיח עם חיבור IDE עוד כשהיית בטיטולים – ידועים) והלקוח מבין מהשיחה איתך שאתה מכיר את הנושא לעומק. השאלה שהלקוח ישאל אותך בסופו של דבר הוא: כמה אתה דורש? כאן העניין נהיה יותר מורכב והשאלה היא קודם כל האם מדובר בעבודה שהיא תשולם כ-Fixed (כלומר מחיר כללי לכל העבודה) או מחיר שעתי.
    אם נלך לפי פרויקט, אז אתה צריך לבצע חישוב מוערך של כמה שעות יקח לך + "הימור". מהו אותו הימור? דברים שלא קשורים אליך או דברים שאינם צפוים. דוגמאות: הגעת למקום ואין תקשורת למחשבים, או שהחברה החליטה שהם רוצים לקיים ישיבה או 2 עם שאר הצוותים כדי להחליט את הצרכים וזמן לתת לצוותים להקים מה שצריך כדי שתבצע את העבוד, כלומר ההימור הוא בעצם ניחוש כמה זמן הדברים שלא קשורים אליך או לא צפוים – יבוצעו. מהו מחיר הפרויקט? כמות השעות שאתה מהמר שזה יקח כפול מחיר שעה שאתה דורש.
    אם נלך לפי שעה, הדברים יותר קלים. לא חשוב כמה בירוקרטיה יש במהלך הפרויקט או כמה דברים מתעכבים שלא באשמתך או שיש צורך בכתיבת דברים נוספים (קוד, סקריפטים וכו') מעבר לתכנון ההתחלתי – אתה תקבל כסף על כך ולא יהיה מצב כמו פרויקט שהימרת על 100 שעות ובסוף יצא 150 שעות ועל 50 שעות לא תקבל אגורה שחוקה.
    ב-2 המקרים תצטרך לחשב לפי שעה ולהוציא הצעת מחיר (בין אם מחיר כללי כפרויקט או מחיר שעתי לפי כמות שעות בטווחים מסויימים) וכאן השאלה שרבים שואלים: כמה בעצם לבקש? וכאן מתחיל הכאב ראש.
    אז קודם כל תחשוב לעצמך – כמה אתה באמת שווה? האם יש לך את הידע והנסיון שהם דורשים? אם כן, תמכור את עצמך במחיר טוב. כמה? קודם כל נפסול את המחירים סביב אזור חיוג של 100-130 שקלים. מדוע? כי זה משכורת של שכיר ואנחנו רוצים יותר משכיר. אפשר לחשוב על 200,300,400 שקל (תלוי בתחום. ככל שהוא יותר נדיר, המחיר מטפס) תוך הדגשה שאתה מוכן להקשיב ואם צריך להתגמש, אתה בהחלט מוכן לחשוב על כך. יהיו לקוחות שאם תבקש מהם 500 שקל לשעה, בשבילם זה יהיה non-issue ואילו לקוחות אחרים יתווכחו איתך ברמת השקל. חשוב לזכור: זה משא ומתן והכל תלוי איך אתה מוכר את עצמך. אם אתה יודע להקרין בטחון שאתה יכול ויודע לבצע את הפרויקט גם עם עין עצומה תוך כדי שאתה סורג גרביים!
    חשוב להדגיש במהלך הראיון את הידע שלך ואין שום בעיה לזרוק מונחים מקצועיים שאתה מכיר (זהירות, לפעמים אינך יודע אם הצד השני מכיר את המונחים יותר טוב ממך ואז מתחיל לשאול עליהם ואז אתה עלול להיות מובך)
    נקודה חשובה: רבים מורידים את המחירים בגלל חשש מהמתחרים. נכון, מתחרים מציעים בלא מעט מקרים מחירים נמוכים, אבל חשוב להדגיש כי על איכות וידע משלמים, והדוגמא שאני משתמש בה לא מעט: חברת XYZ שיש לה 50 אנשים מקצועיים מציעה את אותו שרות ב-150 ואתה מבקש 270. מדוע שיקחו אותך? כי אותו אדם שיגיע מהחברה לא בטוח שיש לו את כל הידע שדרוש ויכול להיות שהנסיון של אותו אדם שיגיע מחברת XYZ מתמצא בקריאת כמה פוסטים שמצא דרך גוגל, ואילו אצלך – הקמת את הפתרון ללקוחות ואתה מכיר את הנושא. לכן אני לא ממליץ להיגרר מטה במחירים. לכן אם אתה הצעת 270 וחברה אחרת ב-150 והלקוח לא מוכן לשלם מעבר ל-150 אז עדיף לוותר. אתה רוצה להרוויח, לא להישאר ברמה של שכיר.
  • מקדמה: מה לעשות שבמדינת ישראל יש לא מעט חברות ועסקים שמוסר התשלומים שלהם – בפח. תנאי התשלום שסוכמו מופרים, או שהלקוח מוצא סיבות מתחת לאדמה מדוע לא לשלם לך או לשלם הרבה יותר מאוחר ממה שסוכם, ולכן מומלץ לבקש מקדמה. כמה? זה נע בין רבע, שליש, חצי או כל התשלום מראש, תלוי בכמה שעות מדובר. זכור: לפעמים זה יהיה הכסף היחיד עד שתראה את התשלום המלא. נקודה נוספת: כשמדובר בפרויקטים, חשוב לסגור את עניין התשלום באבני דרך ולא לקבל תנאי של תשלום רק בסוף הפרויקט. סכמו שלבים ואחוז מהסכום שישולם לכם.
  • פוטנציאל עבודות נוספות אצל הלקוח: בחברות רבות ישנם "חורים שחורים" בתשתית המחשוב. חברה התקינה אפליקציה X ומאז שהיא הותקנה, אף אחד לא נוגע בה כי אף אחד לא מכיר אותה. יש תקלה? עושים Reboot כי … אין חוזה תמיכה ל-X. אם אתה מכיר את אפליקציה X אתה יכול לדבר עם החברה לגבי מתן שרות לאותה אפליקציה ולהיכנס למו"מ על מחיר, בנק שעות וכו'. לכן, ככל שאתה מסתדר עם החברה, אתה יכול למצוא הזדמנויות נוספות. להם זה ראש שקט, לך זה הכנסה נוספת.
  • חוזים ובנק שעות: חוזה זה לא EULA שאתה מתקין אפליקציה ולוחץ I Agree. כתוב/קרא את החוזה והכנס סעיפים המגבילים את הדברים שתעשה. ראיתי לא מעט מקרים שהלקוח חשב שקנה בנק שעות אז הוא הבין מכך שאני אעשה הכל (גם דברים שאיני מכיר או לא מכיר טוב והלקוח כמובן לא מוכן לשלם על הזמן לימוד), לכן אם לדוגמא אתה חותם על הסכם בנק שעות לתת שרותי סיסטם מיקרוסופט, שלא "ידחפו לך" שרותים ל-PBX לדוגמא – אם אין לך מושג לגבי זה. אם לעומת זאת אתה כן מכיר את הנושא, אז כדאי לעדכן את החוזה וכמות שעות ומחיר. גם בבנק שעות, אגב, מומלץ לקחת מקדמה.
  • ידע = כסף. טכנולוגיות משתנות ומתפתחות ולכן ככל שיהיה לך יותר ידע (גם בתחומים שאינם התחום העיקרי שלך) – אתה שווה יותר כסף. לשם כך, אני ממליץ להקים לך בביתך LAB. לא צריך לזרוק עשרות אלפי שקלים, אפשר לרכוש 2 שרתים וסוויצ' יד שניה, כמה דיסקים קשיחים והרי לך LAB. אני מפרסם בבלוג זה תחת הקטגוריה My Lab סידרת פוסטים בנושא, לעיונך.
  • חברות כ"א ועבודה מולם כעצמאי: בעבר כתבתי פוסטים שבהם הבעתי התנגדות עקרונית לרעיון מכיוון שהם "חותכים" סכום פר שעה – והכל בגלל שיש להם לקוחות/מכירים לקוחות. כיום שיניתי את דעתי לחלוטין (תודה לרפי ידידי) ואני דווקא בעד, כל עוד אתה מקבל את מה שאתה מבקש, כך שאם ביקשת 300 ואתה מקבל, אז כמה שהם ירוויחו מעל אותם 300 שהם משלמים לך – שיבושם להם.
  • כמות שעות עבודה פר לקוח: בחודש יש בערך 200 שעות עבודה ברוטו (198 – 22 ימים כפול 9 שעות). אם תבקש מחברה שמעוניינת להשכיר אותך לחודשים שלמים ובכל סוף חודש תוציא לך חשבונית – 250 שקל לשעה לדוגמא, כמעט אף חברה לא תסכים לשלם לך 50K בחודש (אלא אם אתה נמצא בתחום נדיר, נניח ניהול מערכות Mainframe), הם יסכימו אולי ל-25-30K. מה עושים? סוגרים חצי משרה פר לקוח במחיר נניח של 200+ ש"ח לשעה. לקח שלמדתי רק בשבועות האחרונים :).

לסיכום: אפשר להרוויח בכבוד כעצמאי. בשביל זה תצטרך לשווק את עצמך, תצטרך לדעת איך להתנהג נכון עם לקוחות, איך לייצג ולמכור את עצמך. חשוב להיות עם בטחון עצמי טוב, וחשוב לשמור על קשרים טובים עם לקוחות. מומלץ לבצע מדי פעם "מינגלינג" בכל מיני כנסים (הכנת כרטיסי ביקור, נכון?), וכדאי לגלות חוש יוזמה שנמצאים אצל לקוחות, יש לא מעט מקרים שיש שם עוד עבודות והזדמנויות להרוויח.

בהצלחה 🙂

ה-LAB הבא פרק 7 – קניית שרתים יד שניה

בד"כ אם נרצה להקים LAB ביתי, נרצה להכניס שרתים. אם אתה בונה את השרתים שלך מחלקים של מחשבי Desktop, אז פוסט זה לא יעזור לך הרבה. אם לעומת זאת אתה קונה את השרתים יד שניה מסוחר או חברה שמתמחה במכירת שרתים יד שניה – מומלץ לקרוא את הפוסט.

סוחרים וחברות המתמחים בקניה ומכירה של שרתים יד שניה, קונים בד"כ את השרתים (במחירים מצחיקים, בגלל זה יש להם קשרים עם כל מיני סוחרים שיודעים מי הולך לפשוט רגל ולמכור ציוד במחירי רצפה). בחלק מהמקרים (במיוחד סוחרים שאינם מנוסים) ינסו למכור את השרת כמו שהוא ואילו המנוסים יפרקו את השרתים לגורמים כדי למכור את החלקים במחירים שונים. הסיבה? בחלק מהמקרים חברות קונות שרת יד שניה ורק לאחר הקניה מתברר להם שהם צריכים פלאג או רשיון או כרטיסון קטן לדוגמא – על מנת לקבל שליטה מלאה. אחד המקרים הבולטים בדברים אלו הם שרתי IBM/LENOVO דגמי X3650 M3/M4: אם אתה מעונייין לדוגמא להתקין יותר מ-8 דיסקים באותו שרת אז תצטרך לרכוש:

  • SAS Expander כולל כבלים כדי לחבר את ה-SAS לבקר ה-RAID
  • Backplane עם 2 כניסות SAS + כבלים
  • כבל מפצל כח לחיבור ה-SATA.

את 2 הדברים הראשוניים תוכל למצוא בנקל ברשת ב-eBay ובמקומות אחרים, אך את הכבל השלישי תתקשה למצוא (כי IBM/LENOVO בקושי יצרו אותו) והעלות שלו כיום (רק של כבל מפצל כח!) היא 150-300 דולר.

אז נניח ואתה מחפש באתרים, שואל חברים וחושב לרכוש שרת כלשהו ל-LAB שלך. הנה כמה נקודות שכדאי לשים אליהן לב:

  • לא לרכוש דיסקים שמגיעים עם השרת. בניגוד למה שרבים חושבים, דיסקים – בין אם SATA או SAS נשחקים פנימית ומהירות ה-Seek יורדת. רבים בוודאי מודעים לעובדה שדיסקים מהעשור האחרון כוללים דבר שנקרא S.M.A.R.T שיכול לאמר לך בפירוש כמה זמן הדיסק פעל (בשעות), כמה סקטורים דפוקים יש בדיסק, מה השגיאות שיש ועוד ועוד, רק שחלק מהסוחרים (נתקלתי בזה לפחות פעמיים מסוחרים בחו"ל ב-eBay) מאפסים את ה-S.M.A.R.T (אי אפשר לאפס דרך תוכנה, צריך לעשות זאת דרך מערכת ה-Diagnostics בדיסק עצמו) ולעיתים גם מזייפים מדבקה חיצונית (שבה כתוב תאריך יצור הדיסק הקשיח). לכן – עדיף לרכוש דיסקים קשיחים בנפרד ואם יש לכם כסף ל-SAS – קנו SATA SSD, המהירות תהיה הרבה יותר גבוהה.
  • רוצים שליטה מרחוק? הוסיפו את הפלאג/רשיון. בשרתי לנובו/IBM יש IMM וללא פלאג לא תוכלו לראות מרחוק את המסך הוירטואלי ומה הוא מציג. ב-DELL תצטרכו כרטיסון שנותן לכם חיבור רשת פיזי נוסף, כניסה לכרטיס SD, ומאפשר צפיה מרחוק, חיבור עם AD ועוד. ב-HP תצטרכו רשיון מלא ל-iLO על מנת לאפשר צפיה מרחוק. נסו לדבר עם הסוחר על מנת להוסיף לכם את הפלאג/רשיון באותו מחיר.
  • בקר RAID – לא חשוב איזה שרת אתם קונים, כדאי לבדוק דרך גוגל את המפרטים (specs) של השרת, בדקו שם איזה כרטיס RAID יש בשרת והאם הוא תומך ב-SATA-3. זיכרו: הדיסקים הקשיחים של היום הם SATA-3 ואתם צריכים את מהירות ה-6 ג'יגהביט כדי להעביר נתונים, במיוחד אם תכניסו SATA SSD, אז אם הבקר אינו תומך ב-SATA-3, כדאי לבדוק אם הסוחר מוכן להחליף על חשבונו את הכרטיס או שתצטרכו להוסיף זאת מכספכם.
  • שרתי קבצים כמו ZFS או Ceph – אם אתם הולכים להריץ שרותים כאלו על השרת, תצטרכו שבקר ה-RAID יצטרך לתמוך במצב JBOD (או מצב "IT"). רוב הבקרים שנמכרים עם השרתים אינם תומכים במצב זה, ולכן תצטרכו או לבצע Flash לכרטיס (קצת מורכב, בהתחשב בכך שכרטיסים רבים וזולים בשוק אינם יודעים לתמוך ב-UEFI) או לקנות כרטיס RAID שכבר בוצע לו Flash ל-IT Mode.
  • מעבדים: ברוב השרתים החלפת המעבדים היא פעולה די פשוטה, כך שאם מצאתם שרת במחיר מציאה אך יש לו מעבדים חלשים, כדאי לקנות אותו ולקנות בנפרד זוג מעבדים אחרים – בהתאם לצרכים שלכם. כדאי לבדוק היטב אלו מעבדים יש ל-chipset במחשב (אתר ה-ARK של אינטל מאוד יעזור לכם) ובמפרט הטכני של השרת ואם המעבדים נתמכים – לרכוש. שוב: לעיתים אנשים מתבלבלים ומזמינים לדוגמא מעבדי E5-26XX V3 בשעה שהשרתים שלהם תומכים רק V2 או V1. רק בשרתים שתומכים V3 ניתן להכניס מעבדים V4 (וגם אז, רק לאחר עדכון BIOS).
  • כמה רעש משנה לכם? בשביל שקט, תצטרכו מעבדים חסכניים בצריכת חשמל (משפחת ה-Xeon L). רוצים ביצועים? תוודאו שיש לכם מקום שאתם יכולים לסגור בו ארון שרתים עם מיזוג וקחו את מעבדי X או E ובמקרים האלו כמה שיש יותר ליבות והוא יותר מהיר ואתם תנצלו את המעבדים – יהיה יותר רעש.
  • עוד משהו על דיסקים: 2.5" או 3.5?" רק חלק מהשרתים תומכים בהחלפת החלק הקדמי והכרטיס מאחוריהם (מה שנקרא Backplane) מ-2.5" ל-3.5", כך שאם בא לכם להכניס לשרת דיסקים של 6,8,10 טרהבייט, בדקו אם יש בכלל פאנל לשרת כזה לרכישה. אם אין ועדיין תרצו לצרף דיסקים כאלו, יכול להיות שתצטרכו לרכוש JBOD עם כרטיס SAS Expander בתוכו.
  • עדכונים: רוצים להתקין לכם ESXi? אולי Windows Server 2012/2012R2/2016? אולי הפצת לינוקס כלשהי? לפני הכל, הורידו לכם ISO שיעדכן לכם את השרת לגירסאות קושחה אחרונות ורק לאחר העדכונים התקינו את מערכת הפעלה (ואל תסמכו על ההתקנות האוטומטיות שיש כמו כל ה-smart start וכו' – עדיף להתקין ידנית, במיוחד שבמערכות לינוקס לדוגמא לא תצטרכו להתקין שום דבר נוסף מעבר להפצה, וב-ESXi יכול להיות שתצטרכו להתקין איזה VIB או 2 נוספים והשאר דרך VUM).
  • לא לזרוק שרתים: השרת לא עובד ואין אחריות? ברוב המקרים ניתן לקנות במאות שקלים לוח אם אחר וכמעט כל ציוד אחר לשרת, גם אם הוא בן 6-7 שנים.
  • אם אתם מתקינים ESXi, מאוד מפתה להתקין אותו על כרטיס SD. המנעו מכך, עדיף להתקין זאת על התקן USB קטן וחברו את זה בכניסת USB הפנימית במחשב, זה הרבה הרבה יותר אמין.

לסיכום: רוב היצרנים מייצרים שרתים כמו טנקים. גם אם תקנה שרת בן 6-7 שנים היום, הוא יכול לעבוד אצלך ב-LAB ולתת תוצאות טובות גם עוד 4 שנים. תן לו איוורור טוב/קירור טוב, חבר אותו למערכת לוגים (syslog וחבריו) ותנטר אותו (Zabbix וכו', יש templates שתומכים טבעית בכל סוגי השרתים), ואתה תהנה ממנו.

על "חטיפת" עובדים על ידי המתחרים

לאחרונה פורסמה ב"כלכליסט" כתבה שעסקה בכך שחברת אמזון "חוטפת" עובדים ו"מפתה" אותם בהצעות מאוד אטרקטיביות כשבמקרים רבים המעסיק הנוכחי אינו יכול להשתוות אליה. הדבר שהכי עיצבן את האנשים זה העניין שזו בדיוק אותה חברה שהם משלמים לה מאות אלפי/מיליוני דולרים בחודש על שימוש בענן שלה, כך שמצד אחד הם לקוחות של אמזון ומצד שני – אמזון דופקת אותם.

אז קודם כל גילוי נאות: אני לקוח של אמזון (רוב הבלוגים שלי יושבים באמזון) . מעבר לכך אינני נותן להם שרותים או כל דבר אחר.

רואים את הלוגו משמאל? מישהו זוכר אותו? מפתחים ותיקים בוודאי זוכרים אותו. זו החברה שפיתחה קומפיילרים וכלים אחרים לשפות שונות (פסקל, ++C וכו') וזו היתה חברה מאוד פופולרית. גם חברה זו התעצבנה מחברה אחרת שמצד אחד הם לקוחות שלהם ומצד שני הם חוטפים להם עובדים. מי החברה החוטפת? אולי שמעתם עליה.. מיקרוסופט. מיקרוסופט גם "פיתתה" עובדים מסויימים עם הצעות שכר מדהימות ובונוס מעניין: חתום על חוזה, קבל צ'ק מיליון דולר. הסיפור הזה היה מאוד מפורסם אי שם בשנות ה-90.

גוגל, מיקרוסופט, אמזון, פייסבוק, ועוד חברות רבות אחרות עושות בדיוק את אותו דבר. הם "מטרגטים" עובדים מסויימים שהם בודקים מכל מיני מקורות שיש להם ידע מסויים ואז הם יוצרים קשר ומציעים הצעות מפתות. אתה מקבל משכורת של 30K בחודש? הנה 40K או 50K בחודש (לדוגמא), ואגב – עובדים רגילים שפונים לאמזון וכו' דווקא במקרים רבים לא מקבלים הצעות כה מפוצצות. רק ה"נוצצים" שבהם מקבלים הצעות מפתות. לא מאמינים? פנו לאמזון ולאחר הראיון בקשו הצעת שכר והשוו למה שקיבלתם – בשביל הספורט 🙂

אומרים שלכל מטבע יש 2 צדדים, וגם כאן יש את צד העובדים וצד המעסיקים וצריך להבין את 2 הצדדים ומדוע הסיפור כה חורה למעסיקים מצד אחד ומדוע הוא מעצבן עובדים (ותתפלאו, לא מעט מהם בהחלט מצדיק את אמזון וכו').

אתחיל מהצד של העובדים: כפרילאנסר שעושה עבודות אצל לקוחות, במקרים רבים יש זמנים "מתים" במהלך העבודה שהשרתים עושים דברים מסוימים ונוצר "זמן מת" של 10-20 דקות ויוצא שבזמנים אלו נוצר סמול-טוק ביני לבין עובדי החברה, ונוצרת מעין שיחה שבמקרים רבים מובילה לכך שהעובד סקרן לגבי דברים כמו פרילאנס וגם עבדכם הנאמן מתעניין במה שהעובד עושה, ואולי זה יפליא מעסיקים רבים – אבל עובדים רבים לא בדיוק מרוצים ממקום עבודתם, חלקם לא מרוצה מהיחס אליהם, לחלקם לא מקשיבים מבחינת רעיונות והצעות, חלקם ממורמרים במקום עבודתם ולולא המינוס והמיסים והחובות והצורך לפרנס משפחה – הם מזמן היו אורזים דברים ומחפשים מקומות אחרים, ולאחרונה גם שמעתי חששות ממפתחים שונים מכך שחברות רוצות לייבא עובדים מחו"ל במשכורת זולה יותר והחשש מובן – אם אותו עובד מקבל 25-30K משכורת ברוטו והעובד ההודי ידרוש 10-15K, מדוע שימשיכו להעסיק אותו?

עובדים רוצים תשומת לב להערותיהם, רעיונותיהם, השגותיהם ושאר דברים, ולא תמיד דברים שהם אומרים מגיעים להנהלה וחלק לא קטן מהדברים נעצרים אצל המנהל הישיר, מה שמגביר את התסכול של העובדים. בכל הקשור ל"פינוק" העובדים – עוגות ושתיה בסופ"ש וימי "גיבוש" – לא ממש מרשימים את העובדים ולא ממש גורמים לעובדים "להיקשר" למקום. משהו שכן יכול לעזור זה שאנשים טכניים בהנהלה ישבו עם העובדים ואשכרה יקשיבו להערותיהם, השגותיהם ורעיונות שלהם (אחד שהיה עושה זה את וידוע בכך – הוא אריק שמידט, לשעבר מנכ"ל גוגל. אחד אחר שהיה שומע רעיונות ומעליב את מעלה את הרעיונות הוא מישהו אחר ידוע – ביל גייטס). זה אשכרה יכול לגרום לעובד להרגיש יותר קשר עם החברה.

מהצד של המעסיקים הסיפור ידוע: ההוצאה הכי גדולה לכל חברה, מסטארט-אפ ועד חברת ענק – הן המשכורות החודשיות של העובדים, והמשכורות הן (יחסית) לא קטנות. עובד חדש שנכנס לחברה, יקח לו כמה שבועות עד חודש (ולפעמים יותר) עד שהוא קולט מי נגד מה ועד שהוא לומד את הקוד / תשתית (תלוי בתפקיד) ובלא מעט מקרים לוקח זמן עד שהוא מוכיח את עצמו – ואז מגיעה איזו חברת ענק שפשוט שולפת פנקס צ'קים ודופקת מספרים שהם מבחינתו יעשו חור רציני בתקציב אם הוא ישלם אותם, ולכן הכעס שלהם ברור.

האם ניתן לעשות משהו בנידון? לדעתי יש כמה דברים שכן ניתן לעשות. הם לא ימנעו לחלוטין את המעבר של עובדים מוכשרים, אבל זה יגרום אולי לחלק מאותם בכירים לא לרצות לעזוב. להלן כמה רעיונות:

  • להקשיב: כפי שציינתי לעיל – בהרבה מקרים יש ניתוק בין ההנהלה לעובדים. החוכמה אינה מצויה תמיד אצל ההנהלה ולפעמים עובד או עובדים יכולים לגרום לחברה לחשוב פעמיים מלעשות צעד מסוים שרק בעתיד יתברר כצעד שגוי. פגישות אישיות ודלת פתוחה לעובדים (ללא צורך לתאם עם המנהל/האחראי שממונה על העובד) תוך דגש של "ישיבה בלתי רשמית" שבה ניתן לאמר הכל – יכולה לסייע לקבל פידבק אמיתי.
  • נתינת מענקים נקודתיים: עובד מסוים שכנע את ההנהלה לא לעשות צעד והרעיון התברר כמוצלח? כתבו לו צ'ק מענק. צוות מסוים הצליח לבצע דברים עוד לפני הזמן שנקבע? תנו לצוות מענק, תראו להם שאכפת לכם מהם והמאמץ שהם משקיעים.
  • "דיאטת ריצה לפיטורין": הנה משהו שחוזר בחברות רבות. הרבעון האחרון לא הכניס מספיק או שהחברה לא עמדה ביעדים שנמסרו למשקיעים? מיד רצים "להתייעל" ומקצצים נמרצות במצבת העובדים. אם ניקח לדוגמא צוות של 10 מפתחים שעובדים עד 7-8 בערב ונפטר 4-5 מהם, תקבלו 0% התייעלות ודברים שלא יסתיימו בזמן ולא ניתן להתחמק מכך. רוצים לקצץ? התאמצו לחפש דרכים אחרות לקצץ. עובד שחושש למקום עבודתו הוא עובד שיקפוץ בהזדמנות הראשונה לכל הצעה אחרת, גם אם ההצעה נותנת בדיוק את אותה משכורת ותנאים, ואם חושבים לקצץ בשכר – שההנהלה תתן דוגמא בסקטור הניהולי בקיצוץ שכר.
  • השקיעו בעובדים: הזמינו הרצאות והדרכות על נושאים טכנולוגיים וטכנולוגיות, בצעו רישום כחברה ללימודי Online ותנו לעובדים ללמוד דברים חדשים, גם אם אתם לא מכניסים אותם מחר בבוקר לתשתיות שלכם. תנו לעובד הרגשה שאשכרה משקיעים בו (ולא, ה"השקעה" של HR היא בדיחה עצובה), שלא הולכים לפטר מהיום למחר ושיש לו דלת פתוחה לשטוח את טענותיו. אם אתם מבינים שעובד בצרה פיננסית ואתם יכולים – הציעו לעובד הלוואה או מפרעה (מומלץ גם לפרסם הצעות כאלו בתוך החברה). הוא לא ישכח לכם את זה.
  • העלאות שכר: אין לי מספיק שערות בראש (ואני לא מקריח) מהסיפורים ששמעתי מכל מיני שכירים על ההעלות השכר העלובות שקיבלו. אולי כדאי לחשוב על העלאות טיפה יותר גדולות?

בסופו של יום, עובדים הם לא רובוטים. עבודה בשכר גבוה זה דבר טוב אך זהו אינו התנאי היחידי. גם אם עובד יקבל 50-60K משכורת בחודש והוא מרגיש ממורמר בעבודה, יכול להיות שהוא יסכים לעבור לחברה יותר "משפחתית" תמורת משכורת נמוכה יותר ועובד שמקבל את ה-25-30K בחודש וכיף לו בעבודה – אולי יסרב לעבור למתחרה שמציע 40K.

והערה אחרונה: רוצים לייבא עובדים או לשכור עובדים שיעבדו מחו"ל ב-Remote? עשו זאת כתוספת, נניח למוצר חדש או לתחום חדש אליו אתם חושבים להיכנס עם הצעה לעובדים של החברה להיכנס לאותה מחלקה חדשה. מהרגע שתכניסו עובדים זרים מחו"ל במקום עובדים מקומיים, אתם תאבדו עובדים מוכשרים וחבל.

לסיכום: ה"חטיפות" של אמזון וחברות אחרות צריכות להעיר את החברות ולעשות בדק בית מדוע עובדים מוכשרים עוזבים. אפשר לעצור את הסחף (אם קיים כזה) וניתן לשפר דברים רבים מבלי "לשרוף" מיליוני שקלים.

ה-LAB הבא פרק 6: כדאי לארח בחוות שרתים?

הפוסטים בסידרת ה-LAB הבא מקבלים כמות צופים נכבדה ובחלק מהמקרים יש תגובות מחוץ לבלוג. 2 תגובות מסוג שונה היו טלפונים שקיבלתי מ-2 חברות אינטרנט גדולות בארץ לארח שרתים. "בשביל מה לך הרעש והפסקות חשמל? בוא תארח אצלנו" הציעו הנציגים..

אז האם כדאי לארח שרתים בחווה? אחרי הכל זה נשמע מפתה: אתה צריך IP אמיתי אחד כדי להתחבר פנימה והחוצה לאינטרנט, והשאר אתה מבצע את הכל עם כתובות פנימיות ואם יש לך 2 שרתים ואתה רוצה להתחבר ביניהם, אתה צריך כבל רשת מוצלב, לא סיפור גדול.

בשביל לענות על השאלה הזו, צריך לדעת מה אתה בעצם עושה עם השרתים והעלות של החשמל. נצא מתוך הנחה שאירוח 1U בחוות שרתים ידועה עולה 400 ש"ח + מעמ בערך.

נניח ויש לך שרת אחד, נניח שאתה מריץ עליו ESXI + VCSA/VCENTER, השאר מכונות VM שלך. הדבר הכי חשוב לדעת: אלו מעבדים וכמה אתה מאמץ את המעבדים – את זה תוכל לדעת מתוך הגרפים של ה-vCenter שלך. אם אתה משתמש במעבדים דגם L של Xeon – אז צריכת החשמל שלך תהיה בערך כמו של PC במאמץ דרגה בינונית (כלומר 40-50% CPU עמוס), כלומר סביר להניח שחשבון החשמל שלך יהיה בערך 100-150 שקל תוספת. מעבדים דגם E ודגם X צורכים פי 2 חשמל (כמעט) ולכן חשבון החשמל שלך, סביר להניח שבמאמץ דרג בינונית – ההפרש עם השרת יגיע בסביבות ה-300-400 שקל, ואז אם יש לך רק שרת אחד, עדיף אולי לאכסן אותן בחוות שרתים.

לעומת זאת, כאשר יש לך יותר שרתים, אפשר לפזר את העומס על השרתים השונים ואז צריכת החשמל שלך תהיה פחותה. להלן דוגמא של אחד מהשרתים שרכשתי כשרצים עליו (כרגע) 10 מכונות VM והוא עם מעבדים L5640 עם 64 ג'יגה זכרון. הגרף הוא של השבוע האחרון (לחצו להגדלה):

כרגע 2 השרתים שרכשתי מראים את אותה צריכת חשמל, כך ש-2 השרתים שלי ביחד צורכים סה"כ כ-200 וואט (הגרף מייצג שרת אחד וזה הקו הכחול, הקו הכתום הוא הגבול העליון שהספק יכול לתת). לא בדיוק מרקיע שחקים מבחינת חשבון חשמל :). סביר להניח שהצריכה תהיה הרבה יותר גבוהה אם אכניס מעבדים מסידרת E או X, אבל אני מעדיף לקחת מעבדים יותר איטיים עם יותר שרתים מאשר מספר שרתים יותר קטן עם מעבדים יותר חזקים – כשה-Idle שלהם עוקף בקלילות את ה-100 וואט. (רוב המכונות שלי "רעבות" לזכרון, פחות למשאבי CPU), כך שטכנית אם אמשיך בצריכה הנוכחית, בחשבון דו חודשי יתווסף לי לתשלום 160 שקלים ומכיוון שצריכת החשמל של המכונות נמוכה, ולא יוצא הרבה חום, אני לא צריך להפעיל מזגן.

אז אם אתה קונה 4 שרתים עם מעבדי X או מעבדי E5-2670 ומעלה (סה"כ 8 מעבדים) – אז יכול להיות שצריכת החשמל שלך תהיה גבוהה. מחיר קילוואט שעה בארץ הוא 55.29 אגורות, חלק לפי הצריכה הממוצעת (כלומר אם אתה צורך נניח 200 וואט לשעה, אז התשלום יהיה 11.058 אגורות לשעה), תכפיל ב-720 שעות לחודש, תכפיל ב-2 – וזו תהיה תוספת המחיר שתצטרך לשלם (אם צריך מזגן או סטורג', סוויצ' (שבין כה לא לוקח הרבה חשמל), תחשב ותוסיף) – ואז תוכל לדעת אם שווה לאחסן בחווה או לא. כלל הזהב הוא: נסה חודשיים בבית, תראה את החשבון שמגיע, תראה את החישוב שלך ואז תחליט.

היכן זה ממש לא משתלם? אם כל מכונה שלך היא בגודל 2U, אז תצטרך לשלם 700-800 שקל לחודש, ובשום מקרה שום שרת למגיע לצריכת חשמל של 1400-1600 שקל (בהשוואה לחשבון חשמל שהוא דו חודשי).

לסיכום: הרעיון לאחסן בחווה שרתים של LAB ביתי נשמע רעיון מפתה: אין צורך בארון שרתים, אין רעש, אין צורך במזגן בשביל זה. אבל כשחושבים מראש על דברים כמו מעבדים עם צריכת חשמל נמוכה וארון זול (מומלץ עם דלת זכוכית ולא דלת מחוררת שמוציאה את כל הרעש ועם 2 מאווררים מלמעלה) – אז רעיון האירוח מתאדה לו כשחושבים על המחיר שתצטרכו לשלם. במקרים רבים תרצו לבנות לעצמכם אולי שרת שקט (נניח שרת סטורג') ואז תצטרכו מארז 3U או 4U – ואירוח מכונה זו בלבד תעלה לכם 1050-1200 שקל לחודש, ואצלכם בבית – כמעט כלום. לכן מומלץ להרים את הדברים בבית, להריץ למשך חודשיים ולראות כמה חשמל צרכתם (ברוב מערכות ה-IPMI כמו iDRAC, IMM, ILO ניתן לראות זאת) ואז להחליט.

ה-LAB הבא: על צריכת חשמל

במסגרת המאמרים על ה-LAB הבא, שמעתי לא מעט טיפים על הוספת תמיכת תלת-פאזי בביתי בשביל השרתים ואני מעוניין להפריך את המיתוס הזה בהזדמנות זו.

בואו ניקח מחשב דסקטופ רגיל. אנחנו נמצא בו מעבד של AMD או אינטל עם צריכת חשמל של עד 65 או 90 וואט (ללא Overclocking) זה ה-TDP שהוא ממוצע. מעבד כמו אינטל i7-6700K בעומס יצרוך 116 וואט. בחלק מהמקרים שיש שם גם כרטיס גרפי יעודי למשחקים וכו', צריכת החשמל שלו תהיה בין 100-300 וואט (ה-300 במקרים של VEGA מ-AMD, במקרים של nVidia זה בד"כ מגיע גג בצריכה מקסימלית ל-250 וואט). שאר הציודים במחשב לא ממש צורכים הרבה. מאוורר (גם בפעילות מלאה) צורך 0.6 וואט ודיסק קשיח צורך בין 5-9 וואט.

כלומר ספק כח של 300-500 וואט יכול בהחלט להספיק ל-PC רגיל. (שוב, בלי Overclocking)

מכאן נעבור לשרתים: שרת בעקרון בנוי פחות או יותר כמו PC רק בתצורה הרבה יותר "הדוקה" מבחינת אינטגרציה, זרימת אוויר, רכיבים וכו'.

אם נסתכל על החלק שצורך את הכי הרבה חשמל, מדובר כמובן במעבדים. הבה ניקח מעבד פופולרי בשרתים כמו ה-Xeon E5-2620 V4 בזוג. אם תסתכלו על הדף הזה, תראו שהמקסימום צריכה של כל השרת מגיע ל-368 וואט. שוב, ספק 500 וואט יספיק פה לחלוטין.

כל העניין של חיבור תלת פאזי הוא מהסיבה שאנחנו רואים את זה בחוות שרתים. ארון 42U עם 20 שרתי 2U, או 40 שרתי 1U (או הרבה פחות אם השרת הוא עם U יותר גבוה) אז כן – צריכת החשמל עולה ועולה ואז באמת צריך חיבור תלת פאזי.

אבל בבית, מה בדיוק נקים? 2-4 שרתים? ברוב המקרים זה יהיה 2-3), זה יהיה כמו להפעיל 5 מחשבי PC בתצורת Desktop. נוסיף לכך את העניין שמדובר ב-LAB וברוב המקרים מה שנריץ לא יתפוס באופן קבוע את המעבדים בצריכת 100% אלא יותר לכיוון ה-20-40% כך שצריכת החשמל עצמה לא תהיה גבוהה.

בלוח החשמל שלנו יש לנו מתג ראשי שמקבל כמות מסויימת של אמפר (בחלק מהמקומות זה 24, בחלק 32 וכו' – צריך לשאול את חברת חשמל לגבי הבית שלך), והמתגים המשניים יכולים להעביר X אמפר לאותם נקודות להם מחוברת נקודת המשנה (בד"כ זה 10 או 16 אמפר, תלוי במתג המשני). כשמתכננים LAB, כדאי לחשב צריכה פר שרת (Amp = Watt/Volt) וכמובן יש לקחת בחשבון ציודים אחרים שמחוברים לאותו מתג משני, כך שאפשר בהחלט להגיע למצב שלא צריך להגיע לקניית הרחבה לחיבור תלת פאזי.

נקודה נוספת חשובה: סוג המעבד. מעבדים כמו Xxxxx (כמו X5670) ומעבדי E5 צורכים לא מעט וואט, אבל אפשר גם ללכת על מעבדי L עם מעטפת צריכת חשמל נמוכה (65 וואט). החסרון: המהירות נמוכה ב-1 ג'יגהרץ לערך ממעבד E5, כך שאם אתה מוכן לאיטיות קלה, תוכל לחסוך בחשמל.

לסיכום: כל עוד מדובר במספר קטן של שרתים (שוב – משהו כמו 2-5) ואין בנקודת המשנה שום ציוד שצורך וואט גבוה באופן רציף – אפשר להקים LAB מבלי להרחיב חיבור לתלת-פאזי.

כאב ראש: התקנת אפליקציות כבדות וממשקי משתמש בהווה

תסתכלו כיום על התשתית IT אצלכם בחברה ואתם תמצאו בד"כ מערכות כבדות שמצריכות ידע ומומחיות כדי להגדיר אותם, לטפל בהם וכו'. קחו מערכות לינוקס לדוגמא: כל ה-GUI שבעולם לא יעזור לך לפתור תקלות מורכבות כי בסופו של דבר אתה צריך לפתוח את הטרמינל ולטפל בבעיות דרך פקודות Shell, עורכי טקסט וכו' ובגלל זה בד"כ אנשי לינוקס מקצועיים לא ממש צריכים את הדסקטופ הגרפי כשהם מגיעים ללקוח כדי לטפל בתקלות. תנו לו דפדפן (במקרה והפלט של האפליקציה הוא דרך ה-WEB), טרמינל – והוא מסודר.

אחת הבעיות היותר מתסכלות בכל מיני אפליקציות כבדות – היא התקנה במערכות לינוקס (ואני לא מדבר על התקנת אפליקציות ב-DEB או RPM שבהם פקודת yum או apt עושה לך את העבודה). תרשו לי לתת 2 דוגמאות להקמת מערכת POC של אפליקציות כבדות כאלו.

נתחיל עם OpenStack. חברת קוקי יבואני נעליים (כן, שם מהסרטים) החליטה ש-Openstack זה יכול להיות אחלה פתרון בשבילם, אבל הם קודם רוצים ללמוד בכלל מה זה, ואם אפשר – שיקימו על VM את המערכת שהחבר'ה יוכלו להתרשם וקצת לשחק עם זה. בשום מקרה ה-VM לא הולך להיות שרת פרודקשן. במקרה כזה אם מישהו מחברת קוקי יצור איתי כפרילאנסר קשר לגבי זה, אשמח לדוגמא להפנות אותם לדף פרויקט ה-RDO כדי להקים את ה-OpenStack. כל איש סיסטם, גם אחד כזה שאין לו הרבה נסיון עם לינוקס יוכל לעקוב אחר ההוראות הכי פשוטות ולהקים מערכת. אחרי הכל, כל מה שאיש הסיסטם יצטרך לעשות זה להקים VM עם מערכת הפעלה CentOS 7, עם 32 ג'יגהבייט זכרון ועם 4 ליבות, לבצע SSH למערכת, לוודא ששם ה-hostname הוא אכן תקין ומופיע ב-DNS של החברה, ולהריץ את הפקודות. משם הכל יבוצע באופן אוטומטי ולבסוף גם יופיעו לו הוראות איך להתחבר למערכת.

האם זה שנתתי לו את הלינק, גרם לי בעצם כפרילאנסר להפסיד עבודה? לא ממש. כלל מס' 1 כאינטגרטור הוא שעצם ההתקנה לא ממש תתן לך רווח רציני (כמה רווח תעשה מ-1-4 שעות?). מה שכן יוצר רווח הוא חוזה תמיכה/בנק שעות לתמוך ב-OpenStack. זיכרו: התקנת OpenStack כוללת יותר מ-1700 חבילות ומאות הגדרות שונות במערכת שרצה על מספר שרתים. תקלה קטנה בקוד – וחלק מהשרותים פשוט לא פעילים ושום מערכת אוטומציה לא ממש תעזור. מישהו צריך להסביר לחברה על החלקים הגדולים השונים מה הם עושים ואיך עושים, מה צריך לעשות וכשצריך – גם לטפל בתקלות וכמובן לחברות לא מומלץ להשתמש בגירסה החופשית אלא בגירסה המסחרית כדי לקבל עדכוני תוכנה.

ויש גם דוגמאות הפוכות: אותה חברת קוקי, נניח שהיא קראה בבלוג העסקי שלי על OpenShift והיא רוצה להקים אותו אצלה כדי "לשחק" עם הפלטפורמה. בחברה יש כבר נסיון עם קונטיינרים והם שוב פונים אליי, ואני אשמח להפנות אותם לדף הזה אם הם משתמשים במערכות Red Hat או לדף הזה אם הם משתמשים ב-CentOS וספציפית לחלק של הקונטיינרים עם Docker. הפקודה שם לא תעבוד כי מישהו שכח להוסיף פרמטר
(v /sys/fs/cgroup:/sys/fs/cgroup:rw-) ורק אחרי הוספת הפרמטר הקונטיינרים יעלו והמערכת תעבוד, אבל אחרי שהם יכנסו למערכת הם יראו שיש מספר "הפתעות" לא נעימות כמו:

  • אין Templates. למה? שאלה טובה. אפשר להשלים את זה כשעוקבים אחר ההוראות בדף הזה (ההוראות שם לא תמיד עובדות, יש צורך בידע ב-BASH) כדי להתגבר.
  • על מנת להקים קונטיינרים ולאכסן אותם – יש צורך ב-Container Registry. הפתעה! יש קונטיינר עם Registry אבל הקונטיינר של ה-OpenShift והוא "לא מדברים", בהצלחה עם השילוב ביניהם.

אז אולי יש דרך אחרת להקים OpenShift? כן, יש Installer כלשהו וזה זמין כאן אך מכיוון שרובנו עובדים עם CentOS ולא עם RedHat אז עדיף לך ללכת לקישור לדף העליון שמוזכר לגבי CentOS, רק שאל תבנה על כך יותר מדי, רד-האט הוציאו את ה-Installer הזה לפנסיה מוקדמת. פתרון חלופי ל-Installer? רעיון טוב, בינתיים אין משהו. יש כמובן את הדרך של ההתקנה עם Ansible, רק שהיא מצריכה ידע כלשהו ב-Ansible והיא דרך די מעולה… לגרום לך להוציא שערות מהאף (אם אתה לא מכיר Ansible). יש כמובן דוגמאות באינטרנט איך אתה יוצר קובץ הגדרות די מינימלי ומריץ אותו מול תיקיה מסויימת ב-openshift-ansible (שאותו אתה צריך לשכפל מה-GIT) עם קובץ מה-GIT בשם openshift-ansible/playbook/byo/config.yml רק ש.. הפתעה, הקובץ config.yml לא קיים, ואף אחד לא טרח לעדכן את זה וגם כשאתה מצליח למצוא פתרון חלופי (כאן) תקבל כמה שגיאות בהרצת ה-playbook (הנה הטיקט שלי על כך) כאן.

(אגב, מי שמחפש להקים על הלאפטופ שלו את OpenShift, יש את minishift שהוא באמת קל להתקנה ולחובבי Kubernetes יש את minikube – הכל רץ על Windows, Mac ולינוקס כל עוד מותקן לכם פתרון וירטואליזציה בלאפטופ, אם כי יש בעיה להקים את זה על ESXI, המערכת מקימה בתוכה VM פנימי עם NAT ואז אינך יכול לגשת לשם ממשק web או לאפליקציות שלך. שינוי מ-NAT ל-Bridge לא עוזר).

זה לא רק OpenShift וזה קורה לא רק אצל רד-האט, זה גם אצל פלטפורמות אחרות וגם אצל יצרני הפצות לינוקס שונים ששוכחים שאנחנו נמצאים ב-2017. ישנם מאות פתרונות Web שבהם ניתן לבצע מספר דברים פשוטים:

  1. לבנות ממשק Web או ממשק טרמינל עם ncurses (זוהי ספריה שמאפשרת לך ליצור "GUI" טקסטואלי, משהו שמזכיר בעבר הרחוק את Magic ב-DOS למי שזוכר) שאיתם ניתן לבנות ממשק ששואל את המשתמש קבוצת שאלות כל פעם.
  2. ממשק ה-Web/GUI אמור לבדוק את הפרמטרים מיידית. הכנסת שם FQDN לא נכון? כתובת לא נכונה? פורט לא נכון? תיקיה לא נכונה? המערכת אמורה מיידית לסמן שהפרמטר בשדה זה שגוי (בד"כ עם מסגרת מלבנית אדומה סביב אותו שדה) ולא לתת למשתמש להמשיך הלאה עד שזה יתוקן.
  3. אפשרות חביבה שקיימת ב-oVirt היא שמירת קובץ תשובות, כך שאפשר במסגרת ממשק ההתקנה לאפשר למשתמש להעלות קובץ תשובות קודם, כך שאם צריך להקים את המערכת בשרת אחר, הדברים יהיו קלים ומהירים בהרבה.
  4. התקנה אוטומטית דרך SALT או Ansible הכלולים בחבילה אמורה להוציא גם פלט קריא אנושית כך שגם מישהו שאינו מומחה אוטומציה יוכל להבין מה בדיוק התקלה ואולי יוכל לתקן אותה. אחרי הכל – אם מישהו נמצא במסגרת Trial, הוא לא תמיד זכאי לתמיכה.

לסיכום: בעבר היה צריך ממשק גרפי בשביל לתת Installer נורמלי, אבל כיום יש Web ואפשר להפנות את המשתמש לדפדפן על מנת להתקין אפליקציה מורכבת או פלפטפורמה וכיום ממשקי ה-Web הם דינמיים וניתן לאחר כל מילוי שדה לבדוק דברים. שווה להשקיע בכך כי פלטפורמות שאולי ימכרו לחברות לא ינטשו את המוצר עקב בעייתיות בהתקנה.

ה-LAB הבא: פרק 5, בחירת File system ורשת (חלק ראשון)

בפרק הקודם הזכרתי את עניין קנית JBOD או הקמת שרת קבצים, חיבור ב- +SFP. הפעם נרחיב קצת יותר לגבי אותו חיבור, אבל נתחיל במשהו פשוט. להלן צילום מסך מתוך מכונת VM עם Windows 10 בשרתים שלי:

מה שאתם רואים זה הרצת תוכנת בדיקת מהירות דיסק בשם CrystalDiskMark 6 והתוצאות … לא נראות מי יודע מה, בלשון המעטה. דיסק SSD פשוט ב-400 שקל יתן ביצועים פי 5 מזה ואם תבדקו בתשתית שלכם בעבודה, הביצועים יהיו הרבה יותר גבוהים. (מדוע? כבר אסביר).

נכון להרגע, מכונת ה-ZFS שיש לי היא מכונה די צנועה:

  • מעבד I5 דור שלישי
  • 16 ג'יגהבייט זכרון
  • 4 דיסקים, 2 דיסקים של 2 טרה ו-2 דיסקים של 4 טרה, והם ב-Mirror. הדיסקים כולם של Western Digital מסידרת RED (לא RED PRO) – טעות שעשיתי…
  • 2 דיסקים SSD ממש ישנים בגודל 256 ג'יגה של SANDISK, הם משמשים ל-Cache ול-Log

בקיצור – מכונה מהסוג המאוד נמוך.

ובכל זאת, מה שאנחנו רואים פה, הוא שלמרות שהציוד בקצה המאוד נמוך, המכונה נותנת תוצאות מרשימות. 1 ג'יגהביט בקריאה וכתיבה Sequence, כלומר צוואר הבקבוק איננו מכונת ה-ZFS, אלא התקשורת בינה לשרתים, כלומר לא חשוב איזה מכונה תקנה או תקים, כל עוד היא מחוברת בתקשורת 1 ג'יגהביט, זה מה שתקבל. אפשר כמובן לעשות Teaming ל-2 או 4 חיבורי רשת (לא מומלץ, מקבלים לא מעט נפילות, תלוי בציוד, כבלים) ולקבל תוצאות יותר טובות, אבל עדיין בהשוואה להטמעת ESXI בחברה גדולה – התוצאות יהיו נמוכות יותר.

אז איך נגיע לביצועים טובים מבלי לקחת משכנתא?

נתחיל בתקשורת. בין אם בחרנו להקים שרת קבצים או שרת קטן ולהצמיד לו JBOD, אנחנו צריכים תקשורת מהירה פנימה והחוצה משרת הקבצים לשאר השרתים. לא ניכנס לענייני Teaming כי זה פתרון שאינו אמין כל כך ואנחנו יכולים בין כה לקבל מהירות יותר גבוהה מבלי להשקיע עשרות אלפי שקלים.

האפשרויות שלפנינו הן (אם נצא מתוך הנחה שיש לנו 2 שרתים שמריצים VM/קונטיינרים ושרת קבצים יחיד או שרת עם JBOD):

  • קניית 3 כרטיסי רשת: כרטיס אחד עם זוג פורטים 10GB בחיבור RJ45 ו-2 כרטיסים עם פורט RJ45 במהירות 10 ג'יגה. הכרטיס עם זוג הכניסות ישב בשרת הקבצים ומשם נחבר כבל רשת CAT6 (או 6E) לכל שרת בכרטיס רשת 10GB החדש שרכשנו והתקננו.
  • אופציה נוספת היא רכישת 3 כרטיסי רשת כמו מקודם, רק שהפעם במקום RJ45 אנחנו נקנה כרטיסים שהם +SFP שתומכים ב-Copper (או TwinAx) ונבצע את אותם חיבורים. היתרון? כבלי +SFP הרבה יותר חזקים והחיבור הרבה יותר טוב מ-RJ45.
  • אפשרות נוספת היא כמו האופציה הקודמת, רק עם סיבים אופטיים. אפשר לקנות כרטיסים עם חיבור אופטי (או כרטיסי CNA שמתאימים לעבודה גם עם אופטי וגם עם כבלי Copper). בנוסף לכרטיס ולכבלים יש צורך לרכוש Transceivers על מנת לחבר את הסיבים אליהם ואז לחבר לכרטיס. יש צורך בידע כיצד להגדיר את החיבורי סיבים.
  • אפשרות נוספת וקצת יותר מורכבת היא Infiniband. יש לרכוש כבלים מיוחדים וכרטיסים יעודיים לכך, ויש צורך בידע כיצד להגדיר זאת למערכות הפעלה אחרות.

מבחינת מחירים, כל האופציות שנתתי כאן הם פחות או יותר אותו מחיר (בהבדלים של 100-250 שקל) ואני ממליץ לערוך קצת סקירות שוק ב-eBay לפני קניה.

אם יש לנו יותר מ-2 שרתים שיריצו VM/קונטיינרים, אז אפשר להוסיף לשרת הקבצים עוד כרטיס עם זוג פורטים או לרכוש מלכתחילה כרטיס מרובע פורטים. אם לעומת זאת ה-LAB שלך הוא רחב וכולל 8-10 שרתים פיזיים, כדאי בהחלט לחשוב על Switch לאותו סוג חיבור שאתה רוצה לעבוד איתו.

את כל החיבורים מגדירים כנקודה לנקודה ועדיף להגדיר זאת כ-Subnet אחר מה-Subnet הרגיל שאתם משתמשים על מנת שכל הפעולות הקשורות לדיסק יבוצעו דרך התקשורת המהירה בלבד.

וכאן שוב נחזור לעניין ה-Storage ובמיוחד ל-File system: שום NAS מוכן שתקנו (למעט אלו של iXsystems) לא יתנו ביצועים כמו ש-ZFS נותן. ZFS משתמש ב-RAM וב-SSD בצורה מאוד חכמה ובשעה שפתרונות סטורג' "ביתיים" משתמשים ב-SSD לשם האצת כתיבה/קריאה, ZFS משתמש קודם כל ב-RAM, בשיטת הטרנזאקציות ולוגים ועוד (אפשר לקרוא על כך כאן) ולכן אם אתם רוצים להקים כמה שרתים ועליהם עשרות VM או קונטיינרים, ZFS מתאים לכך הרבה יותר, חוץ מהעובדה שהרבה יותר קל ליצור איתו Snapshots שכוללים לדוגמא את כל מכונות ה-VM או קונטיינרים או תיקיות מסויימות והמערכת יוצרת אוטומטית snapshots יעילים וקטנים לפי מה שמגדירים אותה (אצלי לדוגמא יש snapshots כל רבע שעה, כל שעה, כל יום, כל שבוע, כל חודש וכל רבעון, וכל מה שיש לי ב-ZFS זה דיסקים של 6 טרה, ותתפלאו, כל ה-snapshots לא תפסו הרבה מקום ויחסית קל מאוד לשחזר קובץ/קבצים או תיקיה/תיקיות בעזרת פקודות shell פשוטות מאוד).

בנוסף, מכיוון ש-ZFS עושה המון שימוש ב-RAM כ-Cache רמה ראשונה (רמה שניה, L2 מבוצעת על SSD) – כמה שיותר זכרון שתתנו לו, הביצועים יהיו יותר גבוהים ועם שרתים יד שניה המחירים לא כאלו גבוהים. אם לדוגמא שרתי R610 שרכשתי, אם אכניס להם זכרון שירוץ במהירות 1 ג'יגהרץ אך עם 192 ג'יגהבייט זכרון, עלות הזכרון כולו (12 מקלות של 16 ג'יגהבייט) תעלה לי … 2000 שקלים, שזה פחות או יותר המחיר של .. 32 ג'יגהבייט DDR4. אגב, על R710 (ה"אח" היותר גדול של R610 – אותו דור) אפשר להלביש 288 ג'יגהבייט זכרון מאפס (כלומר ללא המקלות הקודמים ב-3130 ש"ח (פלוס משלוח ומסים לארץ). שוב, לשם השוואה – 64 ג'יגה זכרון DDR4 עולה יותר מ-5000 שקל.

בפרק הבא נדבר על רשתות, VLAN, ציוד מומלץ וכו'.

ה-LAB הבא פרק 4 – בניית Storage חלק שני

בפוסט הקודם דיברתי על בניית Storage ל-LAB שלכם, ודיברתי יותר על תוכנה (OS וכו') מאשר חומרה. הפעם אשלים את הפערים לגבי חומרה.

טכנית, הפתרון הכי פשוט ל-LAB קטן זה לקחת שרת 1U, למלא אותו בדיסקים, להקים בשרת VM, ולייעד חלק מה-Datastore שיהיה שרת iSCSI/NFS/CIFS וכו'. זה לא יתן את הביצועים הכי טובים (בכל זאת, אתם לא יכולים למפות את הכרטיס RAID ל-VM כי המערכת משתמשת בו, אלא אם תפרידו פורטים של SAS מהכרטיס RAID הפנימי לטובת כרטיס RAID אחר) – אבל כשהתקציב מצומצם וצריך משהו פה ועכשיו – זה יכול להיות פתרון.

אבל יש עוד פתרונות.

אחד הפתרונות הפופולריים הוא קניה של JBOD (כלומר Just a Bunch Of Disks, יש גם הסברים אחרים ל-JBOD). בעקרון JBOD הוא דבר די "טיפש" שאינו מכיל מחשב X86 בתוכו אלא בקר יעודי שכל תפקידו הוא להתחבר לחיבורי המיני SAS ב-Backplane (חיבור עם כבל SFF 8087) ולהוציא אותם החוצה, כך שאם יש לך לדוגמא ב-JBOD כ-3 שורות של 4 דיסקים לדוגמא, תצטרך לחבר 3 כבלי SFF-8088 (בתמונה מימין) בין ה-JBOD לבין המכונה שתריץ ה-OS שיתן שרותי קבצים.

ישנם קופסאות עם JBOD עם כרטיסים יותר חכמים שמוציאים את כל תעבורת הדיסקים שלכם על SFF-8088 יחיד ויש עוד כניסה שמאפשרת שרשור מתמשך של קופסאות JBOD (כך ניתן לשרשר עד 1024 דיסקים SATA או SAS), כך שבסופו של דבר, שרת 1U שמריץ פתרון וירטואליזציה, כרטיס RAID עם כניסות חיצוניות שממופה ל-VM – ותוכלו להרים יופי של פתרון שרת קבצים.

ויש כמובן את הפתרון שהרבה יעדיפו – לרכוש מארז 2U גנרי לשרת כמו Chenbro, iStarUSA, NorcoTek ואחרים, להכניס שם לוח אם דסקטופ עם מעבד פשוט וכמות זכרון צנועה וכרטיס רשת, לדחוף דיסקים ולבנות שרת קבצים כמכונה יעודית או לרכוש פשוט שרת 2U יעודי יד שניה. החסרון ברכישת שרת יעודי יד שניה זה שאתה עלול למצוא את עצמך עם ביצועים מופחתים ב-50%, הואיל ושרתים רבים הם ישנים ועדיין עובדים עם SATA 2, כלומר מחצית מהמהירות של SATA-3. במקרים כאלו אם מחליטים לרכוש שרת כזה, קנו כרטיס RAID יעודי וחברו אותו ל-Backplane במקום כרטיס ה-RAID שנמצא בשרת, רק תוודאו שהוא תומך ב-SATA-3.

לסיכום: ה-LAB שלך יכול לתת ביצועים טובים או גרועים – תלוי בפתרון Storage שתבחר להקים/לרכוש. אם בחרת לדוגמא להכניס דיסקים מכניים 2.5 אינטש של לאפטופים (כי מצאת בזול) – יהיה מצב שה-VM יעלו לאט וכל פעולה שדורשת שימוש בדיסקים תהיה איטית בגלל שמהירות הדיסקים הזו היא איטית יחסית (5400 סיבובים לדקה מול 7200 בדיסק טוב). לעומת זאת, אם תבחר דיסקים קשיחים במהירות 7200 RPM ותוסיף דיסק או 2 SSD שישמשו כ-Cache, הביצועים שלך יהיו (יחסית) טובים. נכון, זה רק LAB ביתי, אבל חוק מרפי אומר שלפעמים כשאתה בדיוק צריך לבדוק משהו ועכשיו – ביצועים טובים מאוד יעזרו לך.

ה-LAB הבא פרק 3 – בניית Storage

בפרק השלישי אנחנו נדבר על Storage. אם יש משהו שאנחנו צריכים ל-LAB – זה Storage. זה יכול להיות משהו קטן וצנוע, וזה יכול להיות 4 שרתים ב-Cluster שמריצים CEPH עם כרטיסים של 10 ג'יגהביט או GlusterFS עם 3-4 שרתים שיתנו לנו מה שאנחנו צריכים. בקיצור – הטווח רחב.

אז לפני שנשלוף את כרטיס האשראי, נרוץ ל-eBay ולאמזון לרכוש ציוד – צריך לבדוק מה הצרכים שלכם. אם לדוגמא אתם רק רוצים לבנות איזה NAS קטן לארח קבצים (ISO, סרטים, סדרות, כמה VMDK קטנים וכו') אז כל מה שאתם צריכים זה לוח אם עם מעבד בינוני (מעבד i5 או i7 מלפני דור או 2), 8-32 ג'יגה זכרון, וכמובן – דיסקים קשיחים. לצרכים כמו שתיארתי לעיל, ערימת דיסקים קשיחים מכניים + כונן SSD יספיקו. אם לעומת זאת אתם רוצים להריץ את כל ה-VM/קונטיינרים שלכם דרך NFS או iSCSI, אז נצטרך משאבים יותר רציניים כמו SSD מכובד (סידרת ה-PRO של סמסונג היא בחירה מעולה, גם Crucial MX300 זו בחירה טובה). אם לעומת זאת אתם רוצים לחבר את כל המכונות (ויש לכם יותר מ-20 מכונות VM רצות) לאותו Storage בחיבור 10 ג'יגהביט (RJ45 או +SFP) – אני ממליץ על 2 כרטיסי Intel Optane 900P בגודל 280 ג'יגה בתצורת RAID-0 שישמשו כ-Cache.

שאלת השאלות כמובן היא – מה להתקין מבחינת OS? יש לכך כמה תשובות:

  • אם אתה לא אוהב לינוקס/שונא לינוקס/לא מכיר לינוקס/פוחד מלינוקס – אתה יכול להתקין את XPEnology של Synology. גירסה זו אינה מקבלת תמיכה רשמית (ולא תמיד היא עובדת על מעבדי AMD בלי לבצע כמה שינויים) – אבל אתה מקבל את מה ש-Synology מוכרים: יצירת RAID, ווליומים, הרמת קונטיינרים ומכונות וירטואליות, שיתוף קבצים ותיקיות, שימוש ב-SSD כ-Cache ועוד ועוד. למעוניינים לראות איך להתקין את זה, כאן הוידאו שמדגים ומסביר בקצרה.
  • אם אתה מחפש לבנות NAS יותר רציני (עם חיבור ל-Active Directory, עם iSCSI יותר רציני, עם ביצועים יותר גבוהים וכו') ואתה לא רוצה להתקרב ללינוקס – FreeNAS יכול להיות פתרון מעולה בשבילך. חשוב מאוד – מכיוון ש-FreeNAS מבוססת על FreeBSD ו-FreeBSD לא מתעדכן תדיר כמו פדורה ואובונטו, אז עדיף להשתמש בלוח אם ומעבד דור או 2 אחורה ולאו דווקא משהו חדש שיצא לפני כמה חודשים (אחרת המערכת אפילו לא תפעל).
  • אם לעומת זאת, אתה רוצה ביצועים מאוד גבוהים ואתה מכיר לינוקס טוב והסטורג' שלך הוא מכונה אחת, לך על ZFS שרץ על לינוקס. תקים מכונת אובונטו 16 LTS (הגירסה לשרת, לא לדסקטופ), תתקין עליה ZFS ותתחיל להגדיר דברים. לא מכיר ZFS טוב או בכלל ויש לך סבלנות? קנה את הספר הזה ותתחיל ללמוד אותו.
  • רוצה לא רק ביצועים ויציבות אלא גם שרידות חומרה? הקם 2 שרתים, תתקין עליהם ZFS ומעל זה הקם לך GlusterFS. לאחר הקמת ה-GlusterFS (הוא לא מצריך מעבד עם 16 ליבות ו-128 ג'יגה זכרון. מעבד עם 4 ליבות, ו-8 או 16 ג'יגה זכרון יספיקו) תוכל להקים שרותים כמו NFS, iSCSI ו-CIFS כדי לשתף. על מנת לקבל שרידות, יהיה צורך להתקין חבילות Corosync ו-PaceMaker שאיתן תוכלו להגדיר VIP. מומלץ להשתמש בגירסת GlusterFS 3.8 (ב-3.10 ו-3.12 יש בעיות שמטופלות בימים אלו). אה … המערכת תהיה Active/Active 🙂

אם אתם משתמשים ב-Storage שלכם למערכות VM/קונטיינרים/Open Stack וכו' – גיבוי יהיה חשוב לכם. במקרה כזה, קנו שרת יד שניה, מעאפן ככל שיהיה, הכניסו בו דיסקים ו-SSD, תתקינו איזו מערכת מההמלצות למעלה, ותייצאו ממנו SHARE ב-NFS (או CIFS) ותגבו לשם, ולמי ששואל – Veeam עובד עם זה מעולה, מנסיון.

אחרי שהקמתם את ה-Storage שלכם, דחפו למכונה (אם אין) כרטיס רשת עם 2 או 4 כניסות (חוץ מהכניסה שאתם משתמשים כרגע) ויצאו את ה-Share פר כניסה או פר זוג (Teaming וכו'). לשם כך תצטרכו מתג טוב שיודע לתמוך טוב ב-VLAN, Tagging, 802.11q ושאר ירקות. איזה? אין לי המלצות קונקרטיות, שאלו חברים 🙂

לסיכום: אם אתם מקימים LAB כדי ללמוד דברים חדשים על מנת לשפר את הקריירה והידע המקצועי שלכם, כדאי לכם מאוד להקים Storage מקומי ולא להשתמש באחסון המקומי בתוך השרתים. לכל חברה שתלכו שמכבדת את עצמה – יש פתרון Storage כלשהו ועדיף שתלמדו איך ליישם פתרונות עם Storage דרך כניסות רשת נפרדות, איך משתמשים ב-Multipath וכו' וכו'.

ה-LAB הבא פרק 2 – שרתים יד שניה

בפוסט הקודם שלי דיברתי על אלו שרתים אני רוצה. יצא לי בימים האחרונים להסתכל על כמה מכירות של שרתים יעודיים יד שניה ב-eBay ובארץ ואני הולך לרכוש 2 שרתים, והחלטתי לשתף כמה טיפים בבחירה, החלפת ציוד פנימי ועוד.

בחברות בד"כ, השרתים שנרכשים נמצאים בחדר יעודי או בחוות שרתים. כל הרעש שהם מפיקים – לא מזיז לאיש. יש דלת, יש מזגן בחדר והכל עובד פיקס (טוב, תיאורתית לפחות. תנסו פעם להכניס לחדר כזה 4 שרתים כשבכל אחד מהם 8 מעבדי Xeon, נראה איך המזגן בחדר יקרר…).

אבל כשזה מגיע לבית ואין איזה חדר פנוי/ממ"ד לאחסן, לשים מזגן ולסגור את הדלת – מתחילה הבעיה במיוחד בשרתים בגדלים של 1U. לשרתים האלו יצא שם של מנועי סילון מבחינת רעש שהמאווררים עושים.

מדוע המאווררים האלו יוצרים רעש כזה חזק? מכמה סיבות. לשם הדוגמא, ניקח שרת של DELL, ה-R710. נתחיל עם צלעות הקירור (לחצו להגדלה).

אם תסתכלו מקרוב על צלעות הקירור, תראו שהם מאוד צפופים. לשם השוואה, אם תסתכלו על כל פתרון קירור עם צלעות וקירור אויר, תראו שהרווח בין הצלעות הרבה יותר גדול. הסיבה לצפיפות היא שישנם הרבה יותר צלעות, מה שעוזר לחום לעלות בהדרגה ולא במכה אחת. נוסיף לכך שבמקרה של שרתים רציניים יש צורך לקרר את הכל, החל מהדיסקים הקשיחים (גם SSD), נמשיך בזכרון, במעבד כמובן, ברכיבים השונים וכלה בכרטיסים שנמצאים בסוף השרת (במיוחד אם יש לכם GPU רעב לוואטים רבים). במאווררי מחשבים רגילים, עצם יצירת הרוח היא פונקציה מספקת כדי לקרר את הציוד. בשרתים לעומת זאת, המאווררים צריכים לרוץ במהירות של עד פי 4-5 (כלומר עד בערך 20,000-25,000 סיבובים לשניה – RPM). מדוע? כי המהירות הזו יוצרת לחץ סטטי של אוויר שנמדד ב-CFM (כלומר Cubit Foot/Minute). במילים אחרות, המאווררים יוצרים מעין "מנהרת רוח" שנכנסת מהחורים היכן שנמצאים הדיסקים (ולכן אפשר להרגיש לפעמים דיסקים "קפואים") והאוורור יוצא בתפזורת מהצד השני. כל הספקים גם מוסיפים פלסטיק בשרתים יעודיים שמחלק את האוורור בין 2 המעבדים בשרת כך שהאוורור יספק את הציוד ב-2 החלקים בשרת.

בקליפים רבים ביוטיוב ניתן לראות אנשים שמחליפים מאווררים אלו במאווררים של Noctua לדוגמא. אלו מאווררים מאוד שקטים, אך זהו אינו פתרון. מאוורר של Noctua מסוגל במקרה הטוב להוציא 5000 RPM, רבע ממה שמאוורר טיפוסי של שרת 1U יכול להוציא כך שהוא אינו יכול ליצור את אותו לחץ סטטי הדרוש לקירור המעבדים ושאר הציוד בשרת. פתרון כזה כן יכול להתאים אם יש לכם מתג או נתב שמרעישים, במקרה הזה – ההחלפה היא מומלצת ויהיה לכם שקט.

נקודה חשובה נוספת היא בבחירת המעבדים בשרת. אם חשקה נפשכם בהכנסת המעבדים הכי חזקים לשרת (כמו ה-E5 2699 V4), תצטרכו לקחת בחשבון חיים מחוץ למטוס בואינג 747 גם כשהשרת לא עושה מאומה. מעבד כזה לוקח 145 וואט, נכפיל ב-2 (2 מעבדים) והרי לנו מפלצת שצריך לקרר אותה כל רגע וכל שניה, כאן המאווררים לא ממש יוכלו "לנוח" ולרדת לרמה סבילה של רעש לבן. לכן – כדאי לבדוק מה ה-TDP (מעטפת צריכת חשמל) של כל מעבד. כמה שיותר נמוך, המאווררים יצטרכו פחות לעבוד ואתם תוכלו לחיות בבית בשקט. בד"כ מעבדים של 60 וואט הם אידיאליים אולם ניתן גם לקחת מעבדים עם TDP של 90 וואט.

עניין נוסף הוא הדיסקים בשרת. ברגע שאין לכם דיסקים בשרת, יכנס הרבה יותר אוויר (אין דיסקים שחוסמים חלק מכניסת האוויר) לשרת והוא יתקרר הרבה יותר מהר, מה שיוריד את מהירות המאווררים ויתן שקט, ולכן אם אתם לדוגמא חובבי VMWare, השתמשו ב-Disk On Key (או בכרטיס SD שישב בשרת) כציוד ל-Boot ללא כמות גדולה של דיסקים (אפשר להכניס SSD או 2 ב-RAID-0 שישמשו כ-Read Cache עבור ה-vSphere) והקימו לכם שרת גדול (4U) עם דיסקים מכניים ו-SSD שישמשו כ-Storage שאותו תשתפו כ-NFS, CIFS, iSCSI לשאר השרתים (ואם יש לכם תקציב, הקימו עוד אחד כזה עם דיסקים יותר איטיים שישמשו לגיבוי). זיכרו: לא חייבים דיסקים בכל שרת ואפשר לעשות BOOT מ-PXE (תכירו את iPXE שנותן הרבה יותר מ-PXE רגיל).

אם אתם רוצים לחסוך בצריכת חשמל וגם לקבל שקט, תצטרכו לבנות לכם שרתים וכאן מומלץ לעבוד עם מארזים בגודל 4U (או 3U, תלוי בצרכים). במארזים כאלו ניתן להכניס 2 מאווררים שקטים של 120 מ"מ, 2 מאווררים מאחורה (בתצורת PULL כדי שישאבו את האויר מהמכונה ויוציאו אותו החוצה) ופתרון קירור רגיל מבוסס אויר למעבד שתבחרו. כל המאווררים לא לוקחים צריכת חשמל רצינית (בערך 0.6 וואט פר מאוורר) כך שהמכונה אולי תהיה גדולה, אבל צריכת החשמל שלה תהיה נמוכה משמעותית מצריכת חשמל של שרת יעודי רגיל.

בפרק הבא: על הקמת NAS טוב.