קצה רקע והסברים נוספים למי ששאל: כדי לענות על שאילתה בנוסח "איך להגיע מנקודה א' לב' החל משעה ג'" הקוד מבצע חיפוש על גרף רב מימדי שמכיל את כל הכבישים בישראל (עירוניים ובין עירוניים), ואת כל קוי התחבורה הציבורית (שוב, עירוניים ובין-עירוניים) כולל זמנים לשבועיים הקרובים. תהליך העיבוד (שדורש יותר זכרון) לוקח את קבצי הכבישים מ OSM, יחד עם קבצי ה GTFS ממשרד התחבורה ומייצר קובץ בינארי שמכיל את הגרף הכולל.
העיבוד נעשה אחת ליממה (כרגע מופעל כל יום ב 04:30) ע"י סקריפט אוטומטי. הסקריפט מוריד את שרת הווב (tomcat), מושך את הקובץ האחרון של משרד התחבורה ומתחיל בעיבוד. בדרך כלל, עד 5:00 העיבוד מסתיים, ואז הסקריפט מעלה את שרת ה tomcat מחדש, ונותן לו לקרוא את קובץ הגרף החדש. מבחינת סדרי גודל של נפחים: גודל קובץ ה GTFS (דחוס) הוא כ 100MB, והוא מועבר לשרת כל לילה. גודל קובץ ה OSM (דחוס) הוא כ 25MB, והוא מועבר לשרת אחת לחצי שנה-שנה. גודל קובץ הגרף לאחר החישוב הוא כ 1GB. מבחינת אפשרויות של ביזור החישוב, הדרך היחדה שנראית לי אפשרית היא חלוקה אזורית, כלומר לחלק את קבצי ה GTFS וה OSM למחוזות (צפון, מרכז, דרום), או לערים (חיפה, ת"א, ירושלים, באר-שבע, ...) כך שלכל אזור יחושב גרף נפרד קטן הרבה יותר. החיסרון של ביזור כזה הוא שאחר-כך צריך להציג למשתמש מסך מקדים שמבקש ממנו לבחור את אזור הנסיעה המבוקש ורק בשלב השני להציג את המפה ואת טופס החיפוש. זה מונע לתכנן נסיעה מירושלים לחיפה למשל. את המערכת עצמה אני מנהל בזמני החופשי, כאשר כרגע (לאחר מיכון כל התהליך הליילי) עיקר העבודה היא בדיקה יומית של דוח החישוב: לראות שמשרד התחבורה לא שינה כתובת IP בלילה, ושהחישוב לא נתקע או עף בגלל חוסר זכרון, וכד'. הקוד (הן של שרת הווב והן של תהליך העיבוד) כתוב ב Java. הקוד של השרת הישראלי הוא מזלוג של קוד הפרויקט OpenTripPlanner. הריפוזיטורי של שני הפרויקטים נמצא ב github: https://github.com/yehudab/OpenTripPlanner https://github.com/openplans/OpenTripPlanner יהודה בתאריך 27 באוגוסט 2012 22:11, מאת Danniel Drininski <[email protected]>: > אם אכן מדובר בחלוקה לעיבוד ושירות ברשותי שרת המאוכסן בנטויזן כרגע 4 ליבות > פנויות לחלוטין בשעות הלילה ו8gb > בקרוב משתדרג ל8 ליבות ו32gb > > יכול לתרום מכונה וירטואלית אחת או יותר על vz או kvm) עדיף vz... ) > אם עבודות העיבוד יכולות לרוץ אחרי 01:00am מה טוב. > > נושא נפח הנתונים עשוי להיות רלוונטי אז ספרו לי אם אני יכול לעזור... > > > > > > Danniel Dribinski > > Ziv Perry <[email protected]> wrote: > >> אני חושש שפיספסתי חלק מהשיחות הקודמות בנושא. >> מדוע צריך כל כל הרבה זיכרון וזמן ניתוח כה גדול לנתונים? >> מהניסיון שלי עם hadoop, ניתן מאוד לקצר זמן עיבוד של נתונים גדולים ולחסוך >> בחומרה. >> אז אם אפשר בריף קצר, כדי להבין את הסיבה לדרישות חומרה אלו... >> תודה, >> זיו >> On Aug 27, 2012 9:05 PM, "Lior Kaplan" <[email protected]> wrote: >> >>> שלום לחברי העמותה, >>> >>> אנחנו צריכים את עזרתכם בהתלבטות לגבי חלופות אירוח לשרת של פרוייקט OTP >>> (תזכורת: http://otp.hamakor.org.il). >>> >>> הדרישות הטכניות של השרת הן בעיקר 6GB של זיכרון לצורך ניתוח הקובץ ה-GFTS >>> שמגיע ממשרד התחבורה. >>> התהליך הנ"ל לוקח כ-15-30 דקות. >>> >>> בשאר הזמן אפשר להסתפק ב-4GB זיכרון. >>> >>> מבחינת ליבות כיום יש לנו שתי ליבות על שרת וירטואלי שעושות יופי של עבודה, >>> יתכן שבפועל אפשר לרדת >>> לליבה אחת ולשלם על זה עיבוד GFTS קצת יותר ארוך. >>> >>> כיום אצל חץ אנחנו משלמים מחיר של 420 ש"ח בחודש (לפני מע"מ), כאשר לתוך זה >>> מגולמת >>> הנחה עבור אזכור האירוח באתר המערכת. >>> >>> העבודה איתו מצויינת, אך אנחנו רוצים לבדוק אפשרות להוזיל עלויות כדי שנוכל >>> להחזיק >>> את המערכת לאורך זמן. העלות השנתית אצל חץ היא כ-6,000 ש"ח, ויתכן שאפשר >>> לקבל הנחה. >>> >>> במקביל, אנחנו מנסים לבדוק חלופה באמזון שתורכב משרת Medium והעלאת שרת >>> רציני יותר >>> עבור הקישור בלילה. אך פה אני אשמח לעזרה של אנשים כדי להעריך את הרעיון >>> מבחינת דרישות >>> שונות (עלות אחסון, תעבורה), מבחינת יישימות (התהליך צריך להיות אוטומטי, >>> אף אחד לא ישב >>> כל לילה להגדיר דברים) ולבסוף מבחינה כלכלית. >>> >>> המטרה היא לגבש מספר חלופות כדי שנוכל להחליט על הפתרון המועדף. נשמח לשמוע >>> מכל >>> מי שיכול לעזור על סמך ניסיונו. >>> >>> קפלן >>> >>> _______________________________________________ >>> Discussions mailing list >>> [email protected] >>> http://hamakor.org.il/cgi-bin/mailman/listinfo/discussions >>> >> >> > _______________________________________________ > Discussions mailing list > [email protected] > http://hamakor.org.il/cgi-bin/mailman/listinfo/discussions >
_______________________________________________ Discussions mailing list [email protected] http://hamakor.org.il/cgi-bin/mailman/listinfo/discussions
