ניהול צינורות לעיבוד נתונים

המסמך הזה עוזר למהנדסי אבטחה להגדיר ולנהל צינורות לעיבוד נתונים ב-Google SecOps כדי לסנן אירועים, לשנות שדות או לצנזר ערכים רגישים לפני ההטמעה. התכונה הזו מספקת שליטה חזקה בתהליך הטמעת הנתונים לפני הניתוח שלהם. אם תפעלו לפי השיטות המומלצות במדריך הזה, תוכלו לשפר את התאימות של הנתונים, להקטין את העלויות ולהגן על מידע רגיש ב-Google SecOps.

עיבוד הנתונים מפשט את ניהול היומנים באמצעות הפעולות העיקריות הבאות:

• סינון: צמצום הרעש והעלויות על ידי העברה של אירועים רלוונטיים בלבד.
• טרנספורמציה: שינוי פורמטים של נתונים, ניתוח שדות והעשרה של יומנים לשיפור השימושיות.
• Redact: הגנה על מידע רגיש באמצעות הסתרה או הסרה של ערכים רגישים לפני האחסון.

בתרשים הבא מוצג תהליך הזרימה של הנתונים אל Google SecOps והאופן שבו המערכת מעבדת את הנתונים האלה:

אתם יכולים להגדיר עיבוד של נתונים מקומיים ונתונים בענן באמצעות מסוף הניהול של Bindplane או באמצעות ממשקי ה-API הציבוריים של Google SecOps Data Pipeline.

תרחישים נפוצים לדוגמה

דוגמאות לתרחישי שימוש בעיבוד נתונים:

• מסירים מצמדי מפתח/ערך ריקים מיומנים גולמיים.
• צנזור של מידע אישי רגיש.
• הוספת תוויות להטמעה מתוכן יומן גולמי.
• בסביבות כמה מופעים במקביל, אפשר להחיל תוויות של קליטת נתונים על נתוני יומן של קליטה ישירה כדי לזהות את מופע הזרם של המקור (למשלGoogle Cloud Workspace).
• סינון נתונים של Palo Alto Cortex לפי ערכי שדות.
• צמצום הנתונים של SentinelOne לפי קטגוריה.
• לחלץ מידע על המארח מפידים ומיומנים של הטמעה ישירה ולמפות אותו לשדה ingestion_source ב-Cloud Monitoring.

מונחים חשובים

עיבוד הנתונים מתבצע באמצעות הרכיבים הבאים:

• זרמים: זרימה ספציפית של נתונים, שמוגדרת לפי סוג היומן ומקור ההטמעה (כמו פיד או API), ומשמשת כקלט לפייפליין של עיבוד נתונים.
• צומת עיבוד: רכיב בצינור שמכיל מעבד אחד או יותר, כמו פעולות סינון, שינוי או עריכה. המעבדים האלה מבצעים שינויים בנתונים באופן עקבי כשהם עוברים דרך הצומת.
• יעד: נקודת הקצה של צינור עיבוד הנתונים, בדרך כלל מופע Google SecOps שאליו נשלחים נתונים מעובדים לצורך הטמעה וניתוח סופיים.

לפני שמתחילים

לפני שמתחילים להגדיר צינורות לעיבוד נתונים, חשוב לעיין בדרישות הבאות:

• השפעה על מנתח התוכן ועל UDM: צינורות לעיבוד נתונים משנים נתוני יומנים גולמיים לפני שהם מגיעים למנתחי התוכן של Google SecOps. השינויים האלה יכולים להשפיע על האופן שבו כלי הניתוח מפרשים את היומנים וממירים אותם לפורמט של מודל הנתונים המאוחד (UDM). לפני שמפעילים צינור עיבוד לנתונים של פיד או סוג יומן, צריך לוודא שכללי הסינון, ההמרה או הצנזורה לא משנים את הנתונים בטעות באופן שמונע ממנתחי הנתונים ליצור אירועי UDM נכונים.

• תמיכה ב-API: אפשר לעבד נתונים בזרמים מבוססי-push באמצעות קריאה ל-Chronicle API. מסננים שהוגדרו בכלי לניהול עיבוד נתונים (DPM) מוחלים אחרי שהנתונים מתקבלים על ידי Chronicle Ingestion API. לכן, המסננים האלה לא מונעים מהלקוחות להגיע למכסות ולמגבלות של Ingestion API, כמו המגבלות של importPushLog API, כי המגבלות האלה נבדקות לפני הסינון של DPM. כדי לנהל את מגבלות Ingestion API בצורה יעילה ולא לחרוג מהן, הלקוחות צריכים להטמיע סינון במקור הנתונים עצמו, במקום להסתמך על מסנני DPM.

• חשיפת נתונים: נתונים שמועברים מ-forwarders ומ-Bindplane מתויגים ב-collectorID שונה מזה של מקורות נתונים שמועברים ישירות. כדי לתמוך בנראות מלאה של היומנים, צריך לבחור את כל שיטות ההטמעה כשמבצעים שאילתות במקורות נתונים, או לציין במפורש את collectorID הרלוונטי כשמבצעים אינטראקציה עם ה-API.

• הגדרה של Bindplane console: אם אתם מתכננים להשתמש ב-Bindplane console להגדרה ולניהול, אתם צריכים לבצע את השלבים הבאים:

  1. במסוף Google SecOps, מעניקים לאותו משתמש או חשבון שירות שבהם תשתמשו כדי להגדיר את השילוב של Bindplane, אחת מההרשאות הבאות:

     • תפקיד בהתאמה אישית עם ההרשאות הבאות:

       • chronicle.logProcessingPipelines.associateStreams
       • chronicle.logProcessingPipelines.create
       • chronicle.logProcessingPipelines.delete
       • chronicle.logProcessingPipelines.dissociateStreams
       • chronicle.logProcessingPipelines.fetchAssociatedPipeline
       • chronicle.logProcessingPipelines.fetchSampleLogsByStreams
       • chronicle.logProcessingPipelines.get
       • chronicle.logProcessingPipelines.list
       • chronicle.logProcessingPipelines.testPipeline
       • chronicle.logProcessingPipelines.update
       • chronicle.logTypes.get
       • chronicle.logTypes.list
       • chronicle.feeds.get
       • chronicle.feeds.list
       • chronicle.logs.list
       • ‫chronicle.parsers.list: ההרשאה הזו נדרשת רק אם משתמשים בפעולה Validate SecOps Parser של Bindplane.
       • ‫chronicle.parsers.runParser: ההרשאה הזו נדרשת רק אם משתמשים בפעולה Validate SecOps Parser של Bindplane.

       מומלץ להשתמש בתפקיד מותאם אישית עם ההרשאות הנדרשות שצוינו.

       מידע נוסף מופיע במאמרים יצירה וניהול של תפקידים בהתאמה אישית והגדרת בקרת גישה לפיצ'רים באמצעות IAM.

     • תפקיד האדמין המוגדר מראש של Chronicle API roles/chronicle.admin.

       פרטים נוספים זמינים במאמר בנושא הקצאת תפקיד אדמין IAM בפרויקט ייעודי.

  2. מתקינים את מסוף Bindplane Server. ל-SaaS או לפתרון מקומי, אפשר לעיין במאמר התקנת מסוף Bindplane Server. חשוב לוודא שמותקנת הגרסה העדכנית של Bindplane (או Bindplane גרסה 1.96.4 ואילך).

  3. במסוף Bindplane, מקשרים מופע יעד של Google SecOps לפרויקט Bindplane. פרטים נוספים זמינים במאמר בנושא התחברות למכונת Google SecOps.

חיבור למכונת Google SecOps

לפני שמתחילים, צריך לוודא שיש לכם הרשאות אדמין בפרויקט ב-Bindplane כדי לגשת לדף Project Integrations (שילובים בפרויקט).

מכונת Google SecOps משמשת כיעד לפלט הנתונים.

כדי להתחבר למופע של Google SecOps באמצעות מסוף Bindplane Server:

1. במסוף Bindplane Server, לוחצים על menu Menu (תפריט) ובוחרים באפשרות Project Settings (הגדרות הפרויקט).
2. בדף Project Settings (הגדרות הפרויקט), עוברים אל הכרטיס Integrations (שילובים) ולוחצים על Connect to Google SecOps (חיבור אל Google SecOps) כדי לפתוח את החלון Edit Integration (עריכת השילוב).

3. מזינים את הפרטים של מכונת היעד ב-Google SecOps.
   המופע הזה קולט את הנתונים המעובדים (הפלט מעיבוד הנתונים), באופן הבא:

   שדה	תיאור
   אזור	האזור של מכונת Google SecOps. כדי למצוא את המופע במסוף Google Cloud , עוברים אל אבטחה > אמצעי זיהוי ובקרה > Google Security Operations > פרטי המופע.
   מספר לקוח	מספר הלקוח של מכונת Google SecOps. במסוף Google SecOps, עוברים אל SIEM Settings > Profile > Organization details.
   Google Cloud מספר הפרויקט	‫Google Cloud מספר הפרויקט של מופע Google SecOps. כדי למצוא את מספר הפרויקט במסוף Google SecOps, עוברים אל SIEM Settings (הגדרות SIEM) > Profile (פרופיל) > Organization details (פרטי הארגון).
   פרטי כניסה	פרטי הכניסה של חשבון השירות הם ערך JSON שנדרש לאימות ולגישה ל-Google SecOps Data Pipeline APIs. מקבלים את ערך ה-JSON הזה מקובץ פרטי הכניסה של חשבון השירות של Google. חשבון השירות צריך להיות באותו Google Cloud פרויקט שבו נמצא מופע Google SecOps, וצריכות להיות לו הרשאות של התפקיד אדמין של Chronicle API ‏ (roles/chronicle.admin) או תפקיד בהתאמה אישית עם ההרשאות הנדרשות (ראו דרישות מוקדמות). למידע על יצירת חשבון שירות והורדת קובץ ה-JSON, אפשר לעיין במאמר יצירה ומחיקה של מפתחות לחשבון שירות. לחלופין, פריסות של Bindplane Cloud תומכות באיחוד שירותי אימות הזהות של עומסי עבודה (WIF) לצורך אימות. אין תמיכה ב-WIF בפריסות של Bindplane באירוח עצמי. מידע נוסף זמין במאמר חיבור האינטגרציה של Google SecOps לאימות WIF.

4. לוחצים על Connect. אם פרטי החיבור שלכם נכונים והחיבור ל-Google SecOps בוצע בהצלחה, אתם יכולים לצפות לדברים הבאים:

   • נפתח חיבור למכונת Google SecOps.
   • בפעם הראשונה שמתחברים, הכרטיסייה SecOps Pipelines מופיעה במסוף Bindplane.
   • במסוף Bindplane מוצגים כל הנתונים שעברו עיבוד שהגדרתם קודם למופע הזה באמצעות ה-API. המערכת ממירה חלק מהמעבדים שהגדרתם באמצעות ה-API למעבדי Bindplane, ומציגה אחרים בפורמט הגולמי שלהם בשפת הטרנספורמציה של OpenTelemetry ‏ (OTTL). אפשר להשתמש במסוף Bindplane כדי לערוך צינורות ומעבדים שהוגדרו בעבר באמצעות ה-API.

5. אחרי שיוצרים חיבור למכונת Google SecOps, אפשר להגדיר את עיבוד הנתונים.

הגדרת עיבוד נתונים באמצעות מסוף Bindplane

בקטע הזה מוסבר איך להקצות ולפרוס צינור חדש לעיבוד יומנים ב-Google SecOps באמצעות מסוף Bindplane. אפשר גם להשתמש במסוף Bindplane כדי לנהל צינורות שהוגדרו בעבר באמצעות ה-API.

יצירת פייפליין חדש ב-Google SecOps

צינור Google SecOps הוא מאגר שבו אפשר להגדיר מאגר אחד לעיבוד נתונים. כדי ליצור קונטיינר חדש של צינורות Google SecOps:

1. במסוף Bindplane, לוחצים על הכרטיסייה SecOps Pipelines כדי לפתוח את הדף SecOps Pipelines.
2. לוחצים על Create SecOps Pipeline (יצירת צינור SecOps).

3. מזינים שם של צינור SecOps ותיאור.

4. לוחצים על יצירה. מאגר התגים החדש של צינורות העברת הנתונים מופיע בדף SecOps Pipelines.

5. הגדרת המעבדים והסטרימים של מאגר הנתונים לעיבוד בתוך המאגר הזה.

הגדרה של מאגר לעיבוד נתונים

מאגר לעיבוד נתונים מגדיר את הזרמים שיועברו ואת המעבדים שיפעלו לפני שהנתונים יגיעו אל היעד.

מגדירים את הזרמים ואת צמתי העיבוד בכרטיס ההגדרות של צינור עיבוד הנתונים.

כדי להגדיר מאגר לעיבוד נתונים:

1. אם עדיין לא עשיתם זאת, צרו צינור חדש של Google SecOps.
2. במסוף Bindplane, לוחצים על הכרטיסייה SecOps Pipelines כדי לפתוח את הדף SecOps Pipelines.
3. בוחרים את צינור הנתונים של Google SecOps שבו רוצים להגדיר את מאגר התגים החדש לעיבוד נתונים.

4. בכרטיס ההגדרות Pipeline:

   1. הוספת מקור נתונים
   2. מגדירים את צומת המעבד. כדי להוסיף מעבד באמצעות מסוף Bindplane, אפשר לעיין בפרטים במאמר הגדרת מעבדים.

5. אחרי שתשלימו את ההגדרות האלה, תוכלו לעיין במאמר הפעלת עיבוד נתונים כדי להתחיל לעבד את הנתונים.

הוספת מקור נתונים

כדי להוסיף שידור:

1. בכרטיס ההגדרות Pipeline, לוחצים על add Add Stream (הוספת מקור נתונים) כדי לפתוח את החלון Add Stream (הוספת מקור נתונים).

2. בחלון הוספת מקור נתונים, מזינים את הפרטים בשדות הבאים:

   שדה	תיאור
   סוג היומן	בוחרים את סוג היומן של הנתונים שרוצים להוסיף. לדוגמה, CrowdStrike Falcon (CS_EDR). הערה: סמל אזהרה Warning מציין שסוג היומן כבר הוגדר בזרם אחר (בצינור הזה או בצינור אחר במופע Google SecOps). כדי להשתמש בסוג יומן שאינו זמין, צריך קודם למחוק אותו מההגדרה של הזרם השני. כדי למצוא את הגדרות הסטרים שבהן מוגדר סוג היומן, אפשר לעיין במאמר סינון הגדרות של צינורות SecOps.
   שיטת הטמעה	בוחרים את שיטת ההטמעה שרוצים להשתמש בה כדי להטמיע את הנתונים עבור סוג היומן שנבחר. שיטות ההטמעה האלה הוגדרו בעבר עבור מכונת Google SecOps שלכם. צריך לבחור אחת מהאפשרויות הבאות: כל שיטות ההטמעה: כולל את כל שיטות ההטמעה עבור סוג היומן שנבחר. אם בוחרים באפשרות הזו, אי אפשר להוסיף בהמשך זרמים שמשתמשים בשיטות ספציפיות להעברה של אותו סוג יומן. חריג: בזרמים אחרים אפשר לבחור שיטות ספציפיות אחרות להעברה שלא הוגדרו עבור סוג היומן הזה. שיטת הטמעה ספציפית, כמו Cloud Native Ingestion, Feed, Modern Chronicle Ingestion API או Workspace Ingestion.
   פיד	אם בוחרים באפשרות Feed כשיטת ההטמעה, מופיע שדה נוסף עם רשימה של שמות פידים זמינים (שהוגדרו מראש במופע Google SecOps). כדי להשלים את ההגדרה, צריך לבחור את הפיד הרלוונטי. כדי לראות ולנהל את הפידים הזמינים, עוברים אל SIEM Settings > Feeds table (הגדרות SIEM > טבלת פידים).

3. לוחצים על הוספת מקור נתונים כדי לשמור את מקור הנתונים החדש.מקור הנתונים החדש יופיע מיד בכרטיס ההגדרות Pipeline. הסטרים מקושר אוטומטית לצומת העיבוד וליעד של Google SecOps.

סינון ההגדרות של צינור עיבוד הנתונים ב-SecOps

סרגל החיפוש בדף SecOps Pipelines מאפשר לכם לסנן ולאתר את צינורות הנתונים של Google SecOps (מאגרי נתונים לעיבוד) על סמך כמה רכיבי הגדרה. אפשר לסנן את צינורות הנתונים על ידי חיפוש קריטריונים ספציפיים, כמו סוג היומן, שיטת ההטמעה או שם הפיד.

כדי לסנן, משתמשים בתחביר הבא:

• logType:value
• ingestionMethod:value
• feed:value

לדוגמה, כדי לזהות הגדרות של מקורות נתונים שמכילות סוג יומן ספציפי, מזינים את logtype: בסרגל החיפוש ובוחרים את סוג היומן מהרשימה שמופיעה.

הגדרת מעבדים

מאגר לעיבוד נתונים מכיל צומת מעבד אחד, שמכיל מעבד אחד או יותר. כל מעבד מטפל בנתונים בזמן אמת באופן עוקב:

1. המעבד הראשון מעבד את הנתונים הגולמיים בסטרימינג.
2. הפלט שמתקבל מהמעבד הראשון הופך מיד לקלט של המעבד הבא ברצף.
3. הרצף הזה ממשיך לכל המעבדים הבאים, בדיוק לפי הסדר שבו הם מופיעים בחלונית מעבדים, כשהפלט של מעבד אחד הופך לקלט של המעבד הבא.
4. מגדירים את צומת המעבד על ידי הוספה, הסרה או שינוי של רצף של מעבד אחד או יותר.

דרישות להגדרת המעבד Unroll

• מעבד הפריסה לא יכול לפעול ישירות על מחרוזות גולמיות. הוא דורש ייצוג אובייקט פנימי מובנה, כמו JSON,‏ XML או CSV שנותחו.
• כדי לנתח את מטען הנתונים של יומן הרישום הגולמי לפני הפריסה, צריך למקם מעבד Transform תואם לפני מעבד Unroll בצינור.
• דוגמה ל-JSON: כדי לנתח מחרוזת של מטען ייעודי (payload) בפורמט JSON לפני פריסת רכיבי המערך, מוסיפים מעבד טרנספורמציה עם הצהרת ה-OTTL: ‏ set(body, ParseJSON(body)).
• פורמטים אחרים: נדרשים שלבים דומים של טרנספורמציה לפני ניתוח נתוני יומן בפורמטים CSV,‏ XML או YAML.

בטבלה הבאה מפורטים המעבדים:

הוספת מעבד

כדי להוסיף מעבד תשלומים:

1. בכרטיס ההגדרות Pipeline, לוחצים על הצומת Processor כדי לפתוח את החלון Edit Processors. החלון Edit Processors מחולק לחלוניות הבאות, לפי זרימת הנתונים:

   • קלט (או נתוני מקור): נתוני יומן עדכניים של סטרימינג נכנס (לפני העיבוד)
   • הגדרה (או רשימת מעבדים): מעבדים וההגדרות שלהם
   • פלט (או תוצאות): נתוני יומן של תוצאות יוצאות מהזמן האחרון (אחרי העיבוד)

   אם הצינור הופעל בעבר, במקטעים יוצגו נתוני היומן הנכנסים האחרונים (לפני העיבוד) ונתוני היומן היוצאים האחרונים (אחרי העיבוד).

2. לוחצים על הוספת מעבד כדי להציג את רשימת המעבדים. לנוחותכם, רשימת המעבדים מקובצת לפי סוג המעבד. כדי לארגן את הרשימה ולהוסיף חבילות משלכם, בוחרים מעבד אחד או יותר ולוחצים על הוספת חבילות מעבדים חדשות.

3. ברשימת המעבדים, בוחרים מעבד להוספה.

4. מגדירים את המעבד לפי הצורך.

5. לוחצים על שמירה כדי לשמור את הגדרות המעבד בצומת מעבד.

המערכת בודקת מיד את ההגדרה החדשה על ידי עיבוד דגימה חדשה של נתוני הזרם הנכנס (מהחלונית Input) ומציגה את הנתונים היוצאים שמתקבלים בחלונית Output.

השקת צינור עיבוד נתונים

אחרי שמסיימים להגדיר את המקור ואת המעבד, צריך להפעיל את צינור הנתונים כדי להתחיל לעבד את הנתונים:

1. לוחצים על הפעלת ההשקה. הפעולה הזו מפעילה מיידית את עיבוד הנתונים ומאפשרת לתשתית של Google להתחיל לעבד את הנתונים בהתאם להגדרה שלכם. אם ההשקה תצליח, מספר הגרסה של מאגר התגים לעיבוד נתונים יגדל ויוצג לצד name של מאגר התגים.

הגדרת עיבוד נתונים באמצעות שיטות API

במקום להשתמש במסוף Bindplane, אפשר להשתמש בשיטות של צינור הנתונים של Google SecOps כדי לנהל את הנתונים המעובדים. השיטות האלה של צינורות נתונים כוללות יצירה, עדכון, מחיקה ורישום של צינורות, ושיוך פידים וסוגי יומנים לצינורות.

כדי להשתמש בדוגמאות שבקטע הזה:

• מחליפים את הפרמטרים שספציפיים ללקוח (לדוגמה, כתובות URL ומזהי פידים) בפרמטרים שמתאימים לסביבה שלכם.
• הוספת אימות משלכם. בקטע הזה, טוקני ה-bearer מוסתרים באמצעות ******.

הצגת רשימה של כל צינורות הנתונים במכונת Google SecOps ספציפית

הפקודה הבאה מציגה רשימה של כל צינורות הנתונים שקיימים במופע ספציפי של Google SecOps:

curl --location 'https://abc.def.googleapis.com/v123/'\
'projects/projectabc-byop/locations/us/'\
'instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/'\
'logProcessingPipelines' \
--header 'Authorization: Bearer ******'

יצירת צינור בסיסי עם מעבד אחד

כדי ליצור צינור בסיסי עם מעבד טרנספורמציה יחיד שמבצע פעולת upsert של הערך של תווית הטמעה בהתאמה אישית, ולשייך אליו שלושה מקורות, פועלים לפי השלבים הבאים:

1. מריצים את הפקודה הבאה:

   curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "displayName": "Example Pipeline",
       "description": "My description",
       "processors": [
           {
               "transformProcessor": {
                   "statements": [
                       "set(attributes[\"labels.myLabel.value\"], \"myValue\")"
                   ]
               }
           }
       ]
   }'
   

2. מהתשובה, מעתיקים את הערך של השדה name.

3. מריצים את הפקודה הבאה כדי לשייך שלושה זרמים (סוג יומן, סוג יומן עם מזהה אוסף ופיד) לצינור. הערך של השדה name משמש כערך של {pipelineName}.

   curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
       --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "streams": [
           {
               "logType": "MICROSOFT_SENTINEL"
           },
           {
               "logType": "A10_LOAD_BALANCER",
               "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
           },
           {
               "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
           }
       ]
   }'
   

יצירת צינור עיבוד נתונים עם שלושה מעבדים

בצינור יש את המעבדים הבאים:

• Filter: מסנן יומנים שתואמים לתנאי מסוים על סמך תוויות ההטמעה.
• שינוי: מוסיף או מעדכן את ערך מרחב השמות.
• השמטה: השמטה של כתובות אימייל ומספרי ביטוח לאומי מנתוני יומן על סמך דפוסי ביטוי רגולרי מותאמים אישית.

כדי ליצור צינור ולשייך אליו שלושה מקורות, מבצעים את הפעולות הבאות:

1. מריצים את הפקודה הבאה:

   curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data-raw '{
       "displayName": "My Pipeline 2",
       "description": "My description 2",
       "processors": [
           {
               "filterProcessor": {
                   "logConditions": [
                       "attributes[\"labels.log_source.value\"] == \"myLogSourceToFilterOut\""
                   ]
               }
           },
           {
               "transformProcessor": {
                   "statements": [
                       "set(attributes[\"environment_namespace\"], \"myValue\")"
                   ]
               }
           },
           {
               "redactProcessor": {
                   "blockedValues": [
                       "\\b\\d{3}[- ]\\d{2}[- ]\\d{4}\\b",
                       "\\b[a-zA-Z0-9._/\\+\\-—|]+@[A-Za-z0-9\\-—|]+\\.[a-zA-Z|]{2,6}\\b"
                   ],
                   "allowAllKeys": true
               }
           }
       ]
   }'
   

2. מהתשובה, מעתיקים את הערך של השדה name.

3. מריצים את הפקודה הבאה כדי לשייך שלושה זרמים (סוג יומן, סוג יומן עם מזהה אוסף ופיד) לצינור. הערך של השדה name משמש כערך של {pipelineName}.

   curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
       --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer ******' \
   --data '{
       "streams": [
           {
               "logType": "MICROSOFT_SENTINEL"
           },
           {
               "logType": "A10_LOAD_BALANCER",
               "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
           },
           {
               "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
           }
       ]
   }'
   

פתרון בעיות

בקטע הזה מפורטות ציפיות הביצועים ומוצעים פתרונות לבעיות נפוצות.

זמן אחזור ומגבלות

אם מגדירים סוכן באמצעות Ingestion API, יכול להיות שזמני האישור של צינורות עיבוד נתונים ב-Google SecOps עם נפח נמוך יהיו ארוכים יותר.

זמני האחזור הממוצעים יכולים לעלות מ-700 אלפיות השנייה עד 2 שניות. אם צריך, מגדילים את תקופות הזמן הקצובות ואת הזיכרון. זמן האישור יורד כשקצב העברת הנתונים עולה על 4MB.

אימות ובדיקה

אפשר לראות פרטים על עיבוד הנתונים במסוף Google SecOps:

הצגת כל ההגדרות של עיבוד הנתונים

1. במסוף Google SecOps, עוברים אל SIEM Settings > Data Processing (הגדרות SIEM > עיבוד נתונים) כדי לראות את כל צינורות הנתונים שהגדרתם.
2. בסרגל החיפוש Incoming Data Pipelines (צינורות עיבוד נתונים נכנסים), מחפשים צינור עיבוד נתונים שיצרתם. אפשר לחפש לפי רכיבים, כמו שם צינור הנתונים או רכיבים. בתוצאות החיפוש מוצגים המעבדים של צינור הנתונים וסיכום של ההגדרה שלו.
3. בדף סיכום המשפך אפשר לבצע את הפעולות הבאות:
   • בודקים את הגדרות המעבד.
   • העתקת פרטי ההגדרה.
   • לוחצים על Open in Bindplane (פתיחה ב-Bindplane) כדי לגשת לצנרת ולנהל אותה ישירות במסוף Bindplane.

צפייה בפידים שהוגדרו

כדי לראות את הפידים שהגדרתם במערכת:

1. במסוף Google SecOps, עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים). בדף פידים מוצגים כל הפידים שהגדרתם במערכת.
2. מעבירים את הסמן מעל כל שורה כדי להציג את התפריט ⋮ עוד, שבו אפשר לראות את פרטי הפיד, לערוך, להשבית או למחוק את הפיד.
3. לוחצים על הצגת פרטים כדי להציג את חלון הפרטים.
4. לוחצים על Open in Bindplane (פתיחה ב-Bindplane) כדי לפתוח את הגדרות הסטרימינג של הפיד במסוף Bindplane.

הצגת פרטי עיבוד הנתונים עבור סוגי היומנים הזמינים

כדי לראות את פרטי עיבוד הנתונים בדף סוגי יומנים זמינים, שבו אפשר לראות את כל סוגי היומנים הזמינים, מבצעים את הפעולות הבאות:

1. במסוף Google SecOps, עוברים אל SIEM Settings > Available Log Types. בדף הראשי מוצגים כל סוגי היומנים.
2. מעבירים את הסמן מעל כל שורה בפיד כדי להציג את התפריט more_vert עוד. בתפריט הזה אפשר לראות, לערוך, להשבית או למחוק את פרטי הפיד.
3. לוחצים על View Data Processing (הצגת עיבוד הנתונים) כדי לראות את ההגדרות של הפיד.
4. לוחצים על Open in Bindplane (פתיחה ב-Bindplane) כדי לפתוח את הגדרות המעבד של המעבד הזה במסוף Bindplane.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.