הסיפור עם כרטיס M1015 ותכירו את ה-Mobile RACK

כשאתה מחליט לבנות שרת קבצים רציני מבוסס ZFS, אחת ההמלצות הכי חשובות היא להעדיף בקר כמה שיותר פשוט כי ZFS לא ישתמש בשום RAID חומרתי, לא ב-Cache שעל הכרטיס ולא בשום פונקציה אחרת למעט כתיבה וקריאה ישירה אל הכוננים (לברזל). אחת ההמלצות האחרות (מ-SUN) היא להעדיף שלא להשתמש ביציאות SATA שיש על לוחות אם בתצורת דסקטופ מכיוון שיש ברבים מהם באגים במימוש/באגים בדרייברים שמדברים עם ה-CHIP שנותן שרותי SATA וכו'. (נוכחתי בכך בשבוע שעבר עם לוח קצת ישן של ASUS).

אחד הבקרי RAID הכי ידועים בשוק ושהם עדיין נמכרים בערימות, הם בקרי RAID של LSI מבוססים צ'יפ עם המספר 92XX. בסידרה יש את המספרים 9211, 9240, 9260, 9270 וכו'. חברת LSI מוכרת אותם ליצרני מחשבים וגם מוכרת אותם בהסכמי OEM כך שהלוח של הכרטיס נושא תוית שונה, אך עדיין בצד הקדמי יש את הלוגו של LSI, אולם כשמפעילים את הכרטיס, השם שמופיע על המסך בנוסף הוא שם ה-OEM. (לנובו, HP, DELL ו-IBM מכניסים את המערכת הזו בלוח האם עד היום)

אני רכשתי כרטיס כזה של IBM. ב-IBM מוכרים את הכרטיס תחת השם ServerRAID M1015, רק שכאן מתגלה הפתעה קטנה ולא נעימה: תחת M1015 ישנם צ'יפים שהזכרתי לעיל, ללא תתי דגמים ואין שום דרך לדעת מה הצ'יפ שלך אלא אם תסתכל פיזית על הצד האחורי ועל מדבקה שם שמציינת מה הצ'יפ. אצלי הצ'יפ היה 9220-8i. חיפוש קושחה לצ'יפ זה גילתה לי עובדה מעניינת – אין את הצ'יפ הזה ב-LSI. יש 9211 ויש 9240. 9220? אין חיה כזו.

החלטתי להתקין (עוד לפני שהסתכלתי על הלוח ועל המדבקה מאחורה) את הקושחה האחרונה שקיימת ל-9240. התקנת הקושחה הצליחה, ה-ROM עולה ואפשר להיכנס ולהגדיר את הדיסקים למצב JBOD, אך הבעיה מתגלה אחר כך – גם ESXI וגם גירסאות לינוקס שונות פשוט לא מראות שום דיסקים והמערכת נתקעת (לזמן מה בלינוקס, לגמרי ב-ESXI) בזמן ה-Boot (תוכלו לראות שגיאות רבות כאלו בחיפוש בגוגל), ובקיצור – כל עוד הכרטיס בתוך המחשב, והדיסקים מחוברים לבקר זה – לא תראה כולם.

מכיוון שמדובר בכרטיס מאוד פופולרי וזול ($100 בערך ב-eBay), מישהו הוציא MOD חדשים לכרטיס, 2 מודים ליתר דיוק. IT שלא נותן לך אפשרות להיכנס למסך הגדרות כרטיס (כי פשוט החלק הזה של ה-ROM לא נמצא) אך הוא כן סורק את הכרטיס + הדיסקים ומיידע את המערכת בהמשך לגבי מה הדיסקים ומאפשר גישה, ומצב IR שנותן אותו מצב כמו IT רק עם ROM כדי שתוכל להיכנס, לפרמט low level את הכונן, להגדיר RAID-1 (אם אתה לא משתמש ב-ZFS).

על מנת לבצע זאת, תצטרך להפעיל את המערכת ב-DOS, ולעקוב אחר ההוראות (שנמצאות כאן), אבל אם יש לך לוח מודרני עם UEFI, הטריק לא יעבוד כי המערכת לא נותנת תאימות מלאה ל-DOS ותקבל שגיאה של PAL. לשם כך תצטרך להפעיל את ה-EFI SHELL מה-UEFI של לוח האם שלך. אין לך SHELL? קח את refind (את ה-CD-R IMAGE) ושפוך אותו על כרטיס USB או כרטיס SD (ותוודא שה-Partition מוגדר ל-boot, תוכל לעשות זאת עם parted או gparted בלינוקס, או diskpart ב-Windows). לאחר ששפכת, כנס לתיקיית ה- EFI/BOOT והעתק לשם את ה-EFI SHELL (גירסה 2) מתוך  Arch wiki (כאן), רק כדאי שתתן לו שם שונה כדי שתזהה את השם. הפעל את ה-USB ב-boot על המחשב, ובחר את ה-shell שלך, ומשם עקוב אחר ההוראות כאן. (לקח לי כמה שעות להבין ולחפש את הקבצים..)

בסופו של דבר הכרטיס שלך יהפוך ל-9211 עם דרייבר שנקרא MPT2SAS, הדרייבר קיים בגירסאות לינוקס עדכניות וגם ישנות יותר וכמו כן מוכר ב-ESXI מגירסה 4 ומעלה.

המלצה נוספת היא שאם אתה מתקין ערימות של דיסקים באותו שרת קבצים והם מבוססות mirror (כלומר RAID-1), עדיף שכל דיסק ישב על בקר שונה. פה דווקא מצאתי שאם כבר mirror אז עדיף שדיסק אחד ישב על הבקר RAID ואחד על ה-SATA על הלוח, כך שגם אם יש בעיה עם ה-SATA על הלוח, המערכת שלך ממשיכה לעבוד. אם יש לך כסף, אז כדאי שפשוט תוסיף כרטיס בקר נוסף (הכרטיס עולה בערך $100 ב-eBay).

מכאן נעבור למודול אחסון דיסקים..

אם שרת הקבצים שלך מורכב מ-2 דיסקים, אז כל מה שצריך הוא להכניס את הדיסקים למארז, לסגור 4 ברגים, לחבר חשמל ו-SATA ולהתחיל לעבוד. הבעיה מתחילה אם אתה מכניס יותר מ-2 ויש לך תקלה – תצטרך לפתוח את השרת קבצים ולהשבית אותו, ואם יש לך שרתי ESXI או שרתים/מכונות אחרות שעובדות עם NFS לדוגמא, תצטרך להוריד אותן קודם ולאחר מכן את שרת הקבצים, להתחיל לחפש מי הדיסק התקול, להחליף, לקוות שהחלפת את הנכון, להפעיל את המחשב מחדש, לראות שהכל תקין ואז להרים את שאר המערכות.

לא כיף.

תכירו את המודול הזה בעל השם המורכב cse-m35t-1b של SuperMicro. מדובר על מודול שנכנס בדיוק במקומות שבעבר הייתם מכניסים צורבים, וכיום בכל מארז MIDI ומעלה קיימים 3 מפרצים כאלו שלא מלאים בכלום. כדי להרכיב את המודול הזה, כל מה שתצטרכו הוא לפרק את הפלסטיקים מהמארז, עם פלייר (או קאטר) לעקם במארז את הבליטות שתופסות את הכונן שהיה אמור להיכנס שם ואז להכניס את המודול הזה, לחבר אליו 5 חיבורי SATA (הוא מגיע עם כבל שמצד אחד יש לו 4 חיבורי SATA ובצידו השני MINI SAS – בדיוק מתאים ל-LSI 9240 שדיברתי עליו מקודם 🙂 ), ו-2 חיבורי MOLEX  לחשמל עבור המודול.

מודול זה מאפשר לכם להכניס ולהוציא בצורה חמה דיסקים, ואם יש תקלה בדיסק, אתם תראו את זה ישירות על הנורה של אותו דיסק (ירוק דלוק כל הזמן – הדיסק פעיל אך יש בו שגיאות, מומלץ להחליף בהזדמנות קרובה. אדום מהבהב או אדום דלוק קבוע – תחליף דיסק כמה שיותר מהר). המודול הוא עצמאי בבדיקות שלו כך שהוא אינו קשור למערכת ההפעלה ולמערכת ניטור שלכם (אם שכחתם להגדיר/להתקין/להפעיל). – אם אתם עובדים עם לינוקס, כדאי שתבדקו כל דיסק עם smartctl.

יש למודול גם מאוורר מאחור שדואג לקירור הדיסקים רק כדאי שתשימו לב – המאוורר מרעיש. לא בצורת רעש של שרת ממוצע, אבל אם זה יהיה ליד אנשים, הם בהחלט ישמעו את הרעש, ולכן כדאי לדאוג למארז כמה שיותר סגור או אכסון השרת במקום שלא יפריע לדיירי הבית. (משהו שלא מומלץ – לנתק את המאוורר. אין לו חיבור חשמל סטנדרטי והחיבור שלו כולל חיישנים של חום ומהירות. ניתקתם – תראו 2 נורות LED דולקות באדום במודול).

המודול קיים בצבעים שחור ולבן ותוכלו לרכוש אותו ב-eBay (הנה קישור) במחיר של 450-500 שקל + משלוח לארץ. אותי הוא כבר הציל עם דיסק תקול.

פוסט My-Lab – לוחות אם לשרת קבצים

ברוכים הבאים לפוסטים בסידרת My-Lab. פוסטים אלו יופיעו מפעם לפעם בבלוג זה והם מיועדים לאיש המחשבים שרוצה להקים לעצמו בבית מעין "מעבדה" עם שרת אחד או יותר או שרת קבצים וכו'. בפוסטים אלו אני אכתוב הן מהצד של חומרה והן מהצד של איך להגדיר שרותים שונים בלינוקס או מערכות הפעלה אחרות – לשימוש המעבדה שלך. מי שמעוניין לראות את כל הפוסטים בנושא, יכול בשלב זה ללחוץ על הקטגוריה My-Lab מצד ימין בקוביית הקטגוריות והוא יקבל את כל הפוסטים בנושא. תודה.

הבה נדבר על שרתים לבית. ברוב הבתים אין שרתים בבית והמשתמשים שומרים את הכל על המחשבים האישיים שלהם, אולם אנשי מחשבים רבים מקימים לעצמם שרת אחד או יותר בבית. בד"כ זה שרת קבצים (כדי לאחסן חומרים, מדיה וכו'), ובמקרים רבים אותו שרת גם משתמשים בו להקמת מערכות הפעלה אחרות על מנת ללמוד אותן, ולנסות כלים חדשים.

בפוסט זה אני כותב לגבי שרת קבצים.

כמעט בכל פורום על שרתי קבצים, ההמלצה הגורפת היא לקחת את המחשב הישן שלך, להחליף לו דיסק, להגדיל זכרון ולהשתמש בו כשרת קבצים. אחרי הכל – שרת קבצים אינו צורך משאבים רבים. הוא מאחסן ונותן קבצים, והפעילות הזו לא ממש צריכה משאבי מעבד רציניים.

הבעיה עם ההצהרה לעיל, שהיא לא כל כך מתאימה למצבים מודרניים כיום. אם לדוגמא תשתמש במערכת קבצים ZFS, תרצה בוודאי להשתמש ביכולות שלה כמו Deduplication (על מנת שתוכן לא ישמר בצורה כפולה ויותר בדיסקים), דחיסה, snapshots, הצפנה, שרות CIFS (ל-Windows) או NFS (ללינוקס/ESXI) ופונקציות רבות אחרות, ואלו דווקא כן צריכים משאבי מעבד. נקודה נוספת היא עניין הבלאי והצריכת חשמל: מעבד של מחשב רגיל מלפני שנתיים ויותר צורך לא מעט חשמל כשהוא עושה עבודה, נוסיף לזה מאווררים שמסתובבים כל הזמן ושהשרת עצמו יעבוד 24 שעות ביממה, 7 ימים בשבוע, ואם אנחנו גם נפעיל שרותי Streaming (כמו Plex) על אותו שרת – נצטרך להבין שאותו שרת שנקים יעלה לנו את המחיר החודשי לתשלום לחברת חשמל.

לכן אני ממליץ לחשוב על רעיון קצת אחר.

בשנתיים האחרונות אינטל החלה להוציא מעבדי Atom לשרתים. בניגוד למעבדי Atom שמיועדים למחשבי קצה נמוכים או מחשבים ניידים, ה-Atom לשרתים הוא מעבד הרבה יותר חזק. יש יותר זכרון מטמון, יש יותר ליבות, יש תמיכה ב-VT לסוגיו השונים, ויש גם תמיכת חומרה בהצפנה. בנוסף – אין צורך במאווררים (יכול להיות שתצטרך מאוורר אחד או 2 לדיסקים הקשיחים במארז, אך זהו עניין אחר). אני אתרכז ב-2 מעבדים, ה-Avoton C2750 וה-Rangeley C-2758. יש מספר הבדלים קטנים בין 2 המעבדים. צריכת החשמל שלהם – מזערית, וגם כשהמעבד נמצא בצריכת 100% עם כל הליבות, הוא לא מושך יותר מ-20 וואט. תשוו את זה לכל מעבד דסקטופ אחר.

להלן 3 לוחות אם שמגיעים עם המעבד מולחם ללוח, כולל צלעות קירור:

הלוח לבעלי דיסקים קשיחים מרובים

ישנם לא מעט אנשי מחשבים שיעדיפו להקים שרת קבצים עם דיסקים רבים על פני כמות קטנה של דיסקים קשיחים גדולים (יתרונות כמו מחיר זול בהרבה פר דיסק, זמן rebuild יותר קצר, וסיכון קטן יותר). לקנות בקר דיסקים בשביל כמות של 5 דיסקים ומעלה הופך את עניין הקמת השרת למשהו קצת יותר יקר משחשבנו (תוספת של בערך 1300 שקל לבקר). אם אנחנו משתמשים ב-File System כמו ZFS, הרי שעניין צורך בבקר מיוחד הופך למיותר ואפשר להשתמש בחיבורי ה-SATA שעל לוח האם.

C2750D4I-1(L)בחטיבת לוחות השרתים של חברת ASRock חשבו על אנשים כאלו והם הוציאו את ה-C2750D4I – לוח שמתאים בול לאנשים שתיארתי לעיל. יש לך לא פחות מ-12 כניסות SATA, עד 64 ג'יגהבייט זכרון, יש 2 יציאות רשת 1 ג'יגהביט + יציאת רשת שמשמשת ל-IPMI/KVM לשליטה מרחוק, ואפילו כניסת Serial (בכל זאת, מדובר על לוח שמיועד לשרתים). חלק מכניסות ה-SATA הם SATA-2, אך בין כה דיסקים קשיחים של SATA לא ממש מוציאים (פר דיסק) 6 ג'יגהביט. חיבור החשמל ללוח הוא ATX רגיל, והלוח הוא Mini-ITX, כך שלא יהיה מסובך להכניס אותו למארז מודרני. לקינוח יש גם כניסת כרטיס PCI-E X8, אם אתה רוצה להכניס כרטיס רשת כפול/מרובע כניסות לדוגמא.

IMG_20131015_215341הלוח הבא (תמונה מימין) הוא של חברת SuperMicro והוא דגם A1SAi-2750F. בדגם זה הזכרון הוא בצורה של כרטיסי SODIMM (עד 64 ג'יגהבייט), והיחודיות של לוח זה היא ביותר כניסות רשת – יש לך 4 כניסות של 1 ג'יגהביט פר כניסה + כניסת IPMI/KVM. טריק נוסף (שהוא יותר "סימן מסחרי" של SuperMicro) הוא כניסת USB שנמצאת על הלוח ומופנית כלפי מעלה, כך שאתה יכול להתקין את המערכת הפעלה על Disk On Key ולהכניס אותו לכניסה על הלוח ולנעול את המארז. כמות היציאות הנפרדות מתאימה למצבים שבהם אתה רוצה להוציא iSCSI בפורט אחד, NFS באחר ואולי לעשות Teaming/Aggregation או Fail Over.

supermicroהלוח הבא מתאים במיוחד לאלו שיש להם מספר שרתים בבית או בעסק והם מעוניינים להקים Firewall עצבני או נתב מתוחכם. גם כאן מדובר בלוח של SuperMicro והוא נושא את השם המסובך A1SRM-LN7F-2758. בלוח זה קיימים לא פחות מ-8 כניסות רשת, כאשר 7 מהם שמישים ל-LAN וכולם ניתנים לתכנות (Bypass, Passive וכו') ולא מדובר בבקר רשת יחיד כי אם ב-3 בקרים (4 אם נוסיף את ה-IPMI). בנוסף אפשר להתקין על הלוח כרטיס אחסון mSATA (יעיל אם אתם לוקחים את הלוח לבניית פתרון סגור עבור לקוח).

מחיר: מחירי הלוחות הנ"ל נעים בין 300-500$ (האחרון הוא הכי יקר) לערך, מכיוון שמדובר בלוחות בקטגוריית שרתים עם מעבד כלול. זהו פתרון שיכול לעבוד בלי שום בעיה 3-5 שנים, כאשר הטיפולים היחידים שצריך הוא להחליף דיסק (אם נדפק) או להגדיל זכרון.

עוד משהו שקשור ללוחות, הוא ספק כח. נכון, לוחות אלו אינם צורכים חשמל רב, וגם הדיסקים הקשיחים לא צורכים הרבה חשמל, אך כשמפעילים מחשב כזה, צריכת החשמל בשניות הראשונות היא בשיא לשם הפעלת הדיסקים (Spin-Up), ולכן חשוב לשים לב לכמה וואט הספק תומך (עדיף ספק כח אקטיבי). אם יש לך לדוגמא 4 דיסקים, ספק כח של 300-350 וואט אמור לעבוד בלי שום בעיה (אני ממליץ על האתר הזה על מנת לבצע חישובים לגבי ספק כח). מצד שני, אם החלטת לאחסן כמויות ענק של סרטים על 20 דיסקים קשיחים גדולים, כדאי שתחשוב על ספק כח עם 4 ספרות בוואט..

אלו פתרונות שהם יחסית שווים את מחירם, אך זהו אינו המחיר הסופי. מארז פשוט וספק טוב יעלו יחד בסביבות ה-300-400 שקלים, ולכך צריך להוסיף כמות זכרון, וכאן כלל האצבע (אם משתמשים בפתרון מבוסס ZFS כמו FreeNAS או ZFS On Linux – יהיה על כך פוסט נפרד) הוא שעל כל 1 טרה דיסק (לפני בתצורת RAID/RAIDZ) יש להוסיף 1 ג'יגהבייט זכרון, כך שאם יש לך 5 דיסקים של 2 טרהבייט – אז יש לך צורך ב-16 ג'יגהבייט זכרון (חשוב להתחיל עם 4 ג'יגהבייט זכרון מינימום + 1 ג'יגה פר 1 טרה דיסק). שימו לב – אם אתם מזמינים לוח מחו"ל ומזמינים זכרון, תסתכלו איזה זכרון הלוח תומך. חלק מהלוחות כאן תומכים רק ב-ECC ואחרים מוכנים לקבל גם ECC וגם זכרון רגיל.

בפוסט הבא נדבר על דיסקים קשיחים.