הסיפור עם כרטיס M1015 ותכירו את ה-Mobile RACK

כשאתה מחליט לבנות שרת קבצים רציני מבוסס ZFS, אחת ההמלצות הכי חשובות היא להעדיף בקר כמה שיותר פשוט כי ZFS לא ישתמש בשום RAID חומרתי, לא ב-Cache שעל הכרטיס ולא בשום פונקציה אחרת למעט כתיבה וקריאה ישירה אל הכוננים (לברזל). אחת ההמלצות האחרות (מ-SUN) היא להעדיף שלא להשתמש ביציאות SATA שיש על לוחות אם בתצורת דסקטופ מכיוון שיש ברבים מהם באגים במימוש/באגים בדרייברים שמדברים עם ה-CHIP שנותן שרותי SATA וכו'. (נוכחתי בכך בשבוע שעבר עם לוח קצת ישן של ASUS).

אחד הבקרי RAID הכי ידועים בשוק ושהם עדיין נמכרים בערימות, הם בקרי RAID של LSI מבוססים צ'יפ עם המספר 92XX. בסידרה יש את המספרים 9211, 9240, 9260, 9270 וכו'. חברת LSI מוכרת אותם ליצרני מחשבים וגם מוכרת אותם בהסכמי OEM כך שהלוח של הכרטיס נושא תוית שונה, אך עדיין בצד הקדמי יש את הלוגו של LSI, אולם כשמפעילים את הכרטיס, השם שמופיע על המסך בנוסף הוא שם ה-OEM. (לנובו, HP, DELL ו-IBM מכניסים את המערכת הזו בלוח האם עד היום)

אני רכשתי כרטיס כזה של IBM. ב-IBM מוכרים את הכרטיס תחת השם ServerRAID M1015, רק שכאן מתגלה הפתעה קטנה ולא נעימה: תחת M1015 ישנם צ'יפים שהזכרתי לעיל, ללא תתי דגמים ואין שום דרך לדעת מה הצ'יפ שלך אלא אם תסתכל פיזית על הצד האחורי ועל מדבקה שם שמציינת מה הצ'יפ. אצלי הצ'יפ היה 9220-8i. חיפוש קושחה לצ'יפ זה גילתה לי עובדה מעניינת – אין את הצ'יפ הזה ב-LSI. יש 9211 ויש 9240. 9220? אין חיה כזו.

החלטתי להתקין (עוד לפני שהסתכלתי על הלוח ועל המדבקה מאחורה) את הקושחה האחרונה שקיימת ל-9240. התקנת הקושחה הצליחה, ה-ROM עולה ואפשר להיכנס ולהגדיר את הדיסקים למצב JBOD, אך הבעיה מתגלה אחר כך – גם ESXI וגם גירסאות לינוקס שונות פשוט לא מראות שום דיסקים והמערכת נתקעת (לזמן מה בלינוקס, לגמרי ב-ESXI) בזמן ה-Boot (תוכלו לראות שגיאות רבות כאלו בחיפוש בגוגל), ובקיצור – כל עוד הכרטיס בתוך המחשב, והדיסקים מחוברים לבקר זה – לא תראה כולם.

מכיוון שמדובר בכרטיס מאוד פופולרי וזול ($100 בערך ב-eBay), מישהו הוציא MOD חדשים לכרטיס, 2 מודים ליתר דיוק. IT שלא נותן לך אפשרות להיכנס למסך הגדרות כרטיס (כי פשוט החלק הזה של ה-ROM לא נמצא) אך הוא כן סורק את הכרטיס + הדיסקים ומיידע את המערכת בהמשך לגבי מה הדיסקים ומאפשר גישה, ומצב IR שנותן אותו מצב כמו IT רק עם ROM כדי שתוכל להיכנס, לפרמט low level את הכונן, להגדיר RAID-1 (אם אתה לא משתמש ב-ZFS).

על מנת לבצע זאת, תצטרך להפעיל את המערכת ב-DOS, ולעקוב אחר ההוראות (שנמצאות כאן), אבל אם יש לך לוח מודרני עם UEFI, הטריק לא יעבוד כי המערכת לא נותנת תאימות מלאה ל-DOS ותקבל שגיאה של PAL. לשם כך תצטרך להפעיל את ה-EFI SHELL מה-UEFI של לוח האם שלך. אין לך SHELL? קח את refind (את ה-CD-R IMAGE) ושפוך אותו על כרטיס USB או כרטיס SD (ותוודא שה-Partition מוגדר ל-boot, תוכל לעשות זאת עם parted או gparted בלינוקס, או diskpart ב-Windows). לאחר ששפכת, כנס לתיקיית ה- EFI/BOOT והעתק לשם את ה-EFI SHELL (גירסה 2) מתוך  Arch wiki (כאן), רק כדאי שתתן לו שם שונה כדי שתזהה את השם. הפעל את ה-USB ב-boot על המחשב, ובחר את ה-shell שלך, ומשם עקוב אחר ההוראות כאן. (לקח לי כמה שעות להבין ולחפש את הקבצים..)

בסופו של דבר הכרטיס שלך יהפוך ל-9211 עם דרייבר שנקרא MPT2SAS, הדרייבר קיים בגירסאות לינוקס עדכניות וגם ישנות יותר וכמו כן מוכר ב-ESXI מגירסה 4 ומעלה.

המלצה נוספת היא שאם אתה מתקין ערימות של דיסקים באותו שרת קבצים והם מבוססות mirror (כלומר RAID-1), עדיף שכל דיסק ישב על בקר שונה. פה דווקא מצאתי שאם כבר mirror אז עדיף שדיסק אחד ישב על הבקר RAID ואחד על ה-SATA על הלוח, כך שגם אם יש בעיה עם ה-SATA על הלוח, המערכת שלך ממשיכה לעבוד. אם יש לך כסף, אז כדאי שפשוט תוסיף כרטיס בקר נוסף (הכרטיס עולה בערך $100 ב-eBay).

מכאן נעבור למודול אחסון דיסקים..

אם שרת הקבצים שלך מורכב מ-2 דיסקים, אז כל מה שצריך הוא להכניס את הדיסקים למארז, לסגור 4 ברגים, לחבר חשמל ו-SATA ולהתחיל לעבוד. הבעיה מתחילה אם אתה מכניס יותר מ-2 ויש לך תקלה – תצטרך לפתוח את השרת קבצים ולהשבית אותו, ואם יש לך שרתי ESXI או שרתים/מכונות אחרות שעובדות עם NFS לדוגמא, תצטרך להוריד אותן קודם ולאחר מכן את שרת הקבצים, להתחיל לחפש מי הדיסק התקול, להחליף, לקוות שהחלפת את הנכון, להפעיל את המחשב מחדש, לראות שהכל תקין ואז להרים את שאר המערכות.

לא כיף.

תכירו את המודול הזה בעל השם המורכב cse-m35t-1b של SuperMicro. מדובר על מודול שנכנס בדיוק במקומות שבעבר הייתם מכניסים צורבים, וכיום בכל מארז MIDI ומעלה קיימים 3 מפרצים כאלו שלא מלאים בכלום. כדי להרכיב את המודול הזה, כל מה שתצטרכו הוא לפרק את הפלסטיקים מהמארז, עם פלייר (או קאטר) לעקם במארז את הבליטות שתופסות את הכונן שהיה אמור להיכנס שם ואז להכניס את המודול הזה, לחבר אליו 5 חיבורי SATA (הוא מגיע עם כבל שמצד אחד יש לו 4 חיבורי SATA ובצידו השני MINI SAS – בדיוק מתאים ל-LSI 9240 שדיברתי עליו מקודם 🙂 ), ו-2 חיבורי MOLEX  לחשמל עבור המודול.

מודול זה מאפשר לכם להכניס ולהוציא בצורה חמה דיסקים, ואם יש תקלה בדיסק, אתם תראו את זה ישירות על הנורה של אותו דיסק (ירוק דלוק כל הזמן – הדיסק פעיל אך יש בו שגיאות, מומלץ להחליף בהזדמנות קרובה. אדום מהבהב או אדום דלוק קבוע – תחליף דיסק כמה שיותר מהר). המודול הוא עצמאי בבדיקות שלו כך שהוא אינו קשור למערכת ההפעלה ולמערכת ניטור שלכם (אם שכחתם להגדיר/להתקין/להפעיל). – אם אתם עובדים עם לינוקס, כדאי שתבדקו כל דיסק עם smartctl.

יש למודול גם מאוורר מאחור שדואג לקירור הדיסקים רק כדאי שתשימו לב – המאוורר מרעיש. לא בצורת רעש של שרת ממוצע, אבל אם זה יהיה ליד אנשים, הם בהחלט ישמעו את הרעש, ולכן כדאי לדאוג למארז כמה שיותר סגור או אכסון השרת במקום שלא יפריע לדיירי הבית. (משהו שלא מומלץ – לנתק את המאוורר. אין לו חיבור חשמל סטנדרטי והחיבור שלו כולל חיישנים של חום ומהירות. ניתקתם – תראו 2 נורות LED דולקות באדום במודול).

המודול קיים בצבעים שחור ולבן ותוכלו לרכוש אותו ב-eBay (הנה קישור) במחיר של 450-500 שקל + משלוח לארץ. אותי הוא כבר הציל עם דיסק תקול.

כמה מילים על אחסון גיבוי בענן (חלק 1/2)

הערת עריכה
הטקסט במאמר זה מדבר אך ורק על אחסון גיבוי ולא על שרות גיבוי

cloud backup

לרבים מאיתנו יש כל מיני תכנים שנמצאים על שרתים שונים. לחלק יש אולי שרת קטן שמתארח כ-VPS אצל ספק כלשהו, לחלק אחר יש אתרים קטנים (בלוג, אולי אתר קידום עצמי), ואחד הדברים הכי חשובים שאנחנו צריכים לדברים אלו – הם גיבויים. אחרי הכל – שרתים נפרצים, חברות נופלות, דיסקים נדפקים ושאר צרות מתרחשות, והגיבוי – זה הדבר שיכול להציל אותנו.

יתרון גדול שיש בימים אלו לתחרות – הוא המחיר הנמוך שאתה יכול להשיג אחסון לגבות את התוכן שלך. גוגל, לדוגמא, מציעה תמורת 10$ לחודש – 1 טרהבייט אחסון (במסגרת Google Drive). גם מיקרוסופט, Dropbox ואחרים חתכו מחירים וניתן לראות טבלה מעודכנת כאן.

כל אותן חברות מציעות Client ידידותי למשתמש שברגע שאתה מתקין, הוא מיד מתחיל להעתיק את כל התמונות, מסמכים ומוסיקה שלך לענן ולבצע בעצם סינכרון. כך הן מנסות "לנעול" את המשתמש (במיוחד מיקרוסופט עם Windows 8 ו-OneDrive). עוד לא הגענו לשלב שבו שרות אחת חוסם שרות מתחרה על אותו מחשב, אבל אני לא אתפלא אם זה יצוץ "במקרה" בעתיד. (הערה: בשרות הזה אני בהחלט ממליץ להשתמש כדי לגבות דברים אישיים שלך כמו מסמכים, תמונות, מוסיקה, ותכנים אישיים שנמצאים ב-My Documents שלך. המאמר כלל אינו מכוון לאחסון גיבויים כאלו או בשיטה שאותם שרותים משתמשים).

בלינוקס המצב מעט שונה: ישנן אפליקציות להתחבר לכל אותם שרותי ענן, אך אותן אפליקציות (למעט מעטות מהן) אינן מנסות לסנכרן את הנתונים שלך אלא בסך הכל לתת לך "כונן" נוסף שאליו תוכל לזרוק קבצים ותיקיות.

הפתרונות הנ"ל נוחים, בתור התחלה, אולם כאשר הגיבוי שלך שוקל יותר מכמה מאות מגהבייט ונע לכיוון הג'יגהבייט פר גיבוי, חבילות החינם לא יעזרו הרבה (במיוחד שחברות מסויימות נותנות כמות גדולה של אחסון בחינם – אך רק לשנתיים. אחרי שנתיים – תשלם על כל האחסון).

מנסיוני, אני דווקא מציע לבצע גיבויים לא לאחסונים הללו, אלא לאחסון היותר "עסקי" – גיבוי בענן  בטכנולוגיה כמו S3 של אמזון או Cloud Storage של גוגל או Azure Block Blob Storage של מיקרוסופט (הם כולם אותה טכנולוגיה), וזאת ממספר סיבות:

  1. מבחינת מחירים – אינך משלם מחיר FIXED לאחסון שאתה לא משתמש ברובו אלא הינך משלם רק על מה שאתה משתמש בפועל.
  2. ישנם הרבה יותר כלים מקצועיים לגיבוי גם ב-Windows וגם ב-Linux/BSD לאחסונים אלו
  3. אתה יכול לאחסן עם אותו כלי גיבוי (לפחות בלינוקס) לשרותים שונים ולאזורים גיאוגרפיים שונים, אם לדוגמא אינך רוצה לאחסן באזור של הדוד סם
  4. באחסון כמו Cloud Storage של גוגל, ניתן לקבל קישור ישיר פשוט (שלא עובר דרך JS כדי להסתיר את המקור) של הקובץ. כך לדוגמא ניתן לשתף קישור של קובץ ISO וניתן אפילו לעשות Boot ב-IPMI עם קישור כזה (תאר לעצמך מצב שאתה צריך ISO דחוף עכשיו כדי להפעיל שרת…)
  5. אינך מוגבל בגודל האחסון, כך שסקריפט/אפליקציית גיבוי שלך לא יכשל לפתע רק כי נגמרה לך החבילה.
  6. זה זול. גוגל לדוגמא גובה 0.026$ פר ג'יגהבייט, אמזון גובה 0.030$ פר ג'יגהבייט, ושוב – התשלום באחסון הוא על הכמות שאתה מנצל.
  7. עלויות תעבורה – מכיוון שאנחנו מדברים על גיבויים, אין לנו עלות ממשית על תעבורה כי הכל יוצא מהשרת שלנו אל הענן ועל תעבורה נכנסת – לא משלמים.
  8. שרידות הרבה יותר גבוהה.

כפי שאתם שמים לב, אני מתייחס רק לאחסון גיבוי בענן שנמצא בחו"ל ולא בארץ והסיבה לכך פשוטה: מה שכאן מוצע בארץ הוא שרות שמבחינה טכנית הוא הרבה יותר נחות בהשוואה למה שמוצע בחו"ל. כאן בארץ שמים שרתים ודיסקים עם RAID או קופסת NETAPP, גובים מחירים מטורפים – וזה האחסון שתקבל. מה יקרה אם מחר נופלת התקשורת לאותו Data Center? יבטיחו לך שיש שרידות, אולם כמו שראינו רק לפני חודשים ספורים – הבטחות לחוד ומציאות לחוד. לעומת זאת, כל הטכנולוגיה של S3 מדברת על Multiple Data Center ועל כך שהחומר נמצא במספר מקומות במקביל, ולכן אינני ממליץ על האחסון ה"עסקי" של בזק או ספקים מקומיים אחרים.

בחלק הבא אסביר לגבי אסטרטגיה מומלצת לגבי אחסון גיבוי דרך מערכת לינוקס, מה מומלץ ומה לא.

היכן השרתים מבוססי ARM?

בשנתיים האחרונות ישנו עניין הולך וגובר מצד חברות שונות לגבי שרתים עם מעבדי ARM. שרתים כאלו, יאמר מיד, אינם מיועדים להתחרות ישירות מול מעבדי Xeon חזקים של אינטל וכל נסיון השוואה ביניהם יתן תוצאות מביכות ל-ARM. שרתים אלו נועדו בעיקר לדברים יחסית פשוטים, אך שצריכים הרבה מהם, ועדיף שבדרך יחסכו בצורה רצינית מאוד בחשמל.

תחשבו על כל אתר שיש לו כמה אלפי משתמשים ומעלה. יש שרתי DB ויש שרתים שמריצים את האפליקציות. שרתים אלו ימשיכו לרוץ עם מעבדי Xeon כי המעבדים האלו נותנים תוצאות מעולות מבחינת ביצועים, אולם יש גם שרתי Front End, אלו מגישים בד"כ לדפדפני הגולשים תוכן שהוא כבר מעובד – תמונות, JS, HTML וכו', כלומר שרתים אלו אינם מריצים עיבודים רציניים וכל העיבודים הרציניים נעשים על ה-Back End. היתרון בתצורה כזו היא שאתה חוסך גם בחשמל בצורה ניכרת וגם בקירור (עם ARM בד"כ תצטרך קירור פאסיבי או מאוורר קטן או 2, תלוי כמובן מה הציוד שיש באותו שרת).

נשמע טוב, אז מדוע אין שרתים כאלו?

בניגוד לאינטל שמתכננת את המעבדים שלה, מייצרת ומוכרת אותם, ל-ARM אין חטיבה של יצור ושיווק. מה ש-ARM עושים הם מתכננים מעבדים, וכל יצרן שמעוניין לייצר מעבדים כאלו ולשלב טכנולוגיה משלו ולמכור, חותם הסכם רישוי עם ARM Holdings.

ARM כבר שחררו מפרט ארכיטקטורה למעבדי 64 ביט (ARMv8-A) וגם מפרט ל-2 מעבדים: ה-A57 ו-A53. שוב, אלו אינם מעבדים שלקוחות יכולים לרכוש אלא רק תכנונים ומפרטים שחברות יצרני חומרה רוכשים רשיון, מוסיפים דברים משלהם למעבד (אם בכלל) ומשלבים בציוד שאותו בסוף הם מוכרים ללקוחות.

ואז מתחילה בעיה רצינית שהיתה קיימת לפחות בשנתיים האחרונות.

תסתכלו בכל שרת שיש לכם, ותגלו שלמרות השינויים בין יצרן אחד למשנהו, השרתים הם די זהים ברמת המאקרו. לכולם יש ACPI, לכולם יש BIOS (החדשים כבר מגיעים עם UEFI), ויש פורט רשת לניהול השרת (IPMI). החברות כמובן בונות דברים מסביב כדי לייחד את השרתים שלהם, בין אם זה שילוב ב-AD שקיים ב-Corporate, מערכת ניהול אחידה לכל השרתים ודיווח על תקלות חומרה ועוד, אבל בסופו של יום, התקנת מערכת הפעלה וחיבור השרת נעשה בצורה זהה על כל השרתים, כך שאפילו טכנאי מתחיל יכול להרים שרת בצורה די קלה (טוב, חוץ מההגדרות הפנימיות, ששם עדיף שאיש סיסטם יגדיר).

בעולם ה-ARM לעומת זאת, לא היה שום דבר מהדברים הללו. כל יצרן עם הקושחה הסגורה שלו, אפילו ה-BOOT היה במקרים רבים שונה בין יצרן ליצרן ומבחינת מיפוי חומרה, כתובות וכו', כל חברה לקחה את זה בכיוון אחר, כך שלא היה שום מכנה משותף. בעולם הסמארטפונים והטאבלטים, כל חברה שרצתה לייצר מכשיר אנדרואיד, היתה צריכה לעבוד עם המפרטים והסטנדרטים שגוגל יחד עם חברי ה-Open Handset Alliance קבעו, כך שכיום ציודים כאלו מבחינת רכיבים די זהים אחד לשני (למעט מעבדים ומסכים שונים אך תואמים לסטנדרט)

מי שנכנסו לתמונה הם ארגון Linaro שמורכב מיצרני חומרה ומפתחי מערכות הפעלה. הם החלו לעבוד עם היצרנים. בהתחלה עם AMD ובהמשך חברות אחרות יצאו ממסך הסודיות ויחשפו מוצרים.

המסמך הראשון שיצא ליצרנים הוא מסמך ה-SBSA (ר"ת Server Based System Architecture) והמסמך מתאר את הארכיקטורה ומה יצרנים צריכים להכניס בצ'יפ ויותר חשוב – בלוח אם. אין יותר הגדרות יחודיות פר יצרן.

המסמך השני שיצא שבוע שעבר הוא מסמך ה-SBBR (ר"ת Server Based Boot Requirement) ובו נקבעו החלקי תוכנה והמפרט קישוריות בין החומרה לתוכנה כחובה. דברים כמו UEFI (גירסה 2.4, לשמחת מיקרוסופט), ה-ACPI שמלווה את ה-PC יובא אל מערכות ARM (גירסה 5.1), ה-SMBIOS ולבסוף גם הוסיפו את החלק של תמיכת במספר מעבדי ARM על לוח אחד. בדרך מחקו כבר תאימות ל-16/32 ביט מהסטנדרטים הללו.

מערכת ההפעלה הראשונה שתתמוך ב-ARM לשרתים היא … פדורה 21. הלוח הראשון שיכלול מעבד מבוסס ARM הוא לוח של AMD עם מעבד Opteron A1100. הלוח נראה כך:

 

A1100

בשלב זה הלוח הנ"ל אינו מיועד להכנסה לטסטים או פרודקשן והוא מיועד כרגע לחברות המפתחות אפליקציות. מחירו – אינו זול (3000$) והוא מוגדר כ-Development Kit והואע יגיע עם Fedora 21. (כך שבשלב זה אפשר להזמין דרך AMD אבל הלוח לא יצא לשוק עד כמעט סוף השנה הנוכחית).

בשנה הבאה חברות שמשתתפות בפרויקט יתחילו להוציא שרתים כאלו (גם HP וגם DELL נמצאים בבדיקות סופיות של הלוחות יחד עם Red Hat), ויש כבר התעניינות גוברת מצד מיקרוסופט (שבהתחלה לא רצתה להיכנס לזה) להוציא Windows Server ל-ARM. גירסת RHEL ל-ARM תצא כפי הנראה בחצי השני של שנה הבאה.

כמובן שבשוק הזה, אינטל לא רואה בעין יפה את המאמצים של ARM להיכנס לשוק הזה, לפיכך צפויה להיות תחרות עזה (ונראה כמה הפעם אינטל לא תשתמש בטריקים של שוחד כדי "לעודד" יצרנים לייצר כמה שפחות לוחות כאלו (כמו שהם עשו ל-AMD עם ה-Opteron, מה שכמעט נגמר במשפט ובסוף אינטל שילמה רק קנס וצחקה כל הדרך לכיבוש שוק השרתים)). סביר להניח שנראה את אינטל שוב חוזרת עם מעבדי ATOM לשרתים (ה-C2758 לא ראה עדכון כבר שנה ומחירו יקר – 208$ למעבד לבד עבור יצרן הלוחות, הצ'יפ לא ניתן לרכישה ללקוח סופי).

אין ספק, לקראת סוף השנה הבאה הולך להיות מאוד מעניין בתחרות בין יצרני מעבדים ולוחות מבוססי ARM לאינטל ומתחרות בד"כ הלקוחות מרוויחים.