פרוטוקול מספר 336, ועדת הבריאות, 06/05/2025

הכנסת העשרים-וחמש

מושב שלישי

פרוטוקול מס' 336

מישיבת ועדת הבריאות

יום שלישי, ח' באייר התשפ"ה (06 במאי 2025), שעה 12:09

סדר היום:

<< נושא >> אתיקה ורגולציה בשימוש בבינה מלאכותית על ידי צוותים רפואיים << נושא >>

נכחו:

חברי הוועדה:

רון כץ – מ"מ היו"ר

חברי הכנסת:

יעקב אשר

מוזמנים:

לירון זהר

–

סגנית ראש חטיבת הטכנולוגיות, משרד הבריאות

ד"ר מרים פינק לביא

–

סגנית ראש חטיבת רפואה, משרד הבריאות

יואל בן אור

–

בריאות דיגיטלית, משרד הבריאות

רן מילמן

–

בריאות דיגיטלית, משרד הבריאות

אוראל שריקי בן צבי

–

רפרנטית עיצומים כספיים וחילוט, מחלקת משפט פלילי, משרד המשפטים ירדן חפר

–

עו"ד, ייעוץ וחקיקה (חדשנות ומדע), משרד המשפטים יואב סטשבסקי

–

משרד המשפטים

יוסף גדליהו

–

מנהל תחום בכיר מדיניות בינה מלאכותית, משרד החדשנות, המדע והטכנולוגיה רחלי פרנקל

–

צמיחה וחדשנות, משרד הכלכלה והתעשייה

ד"ר לילך צולר

–

ראש אגף טכנולוגיות רפואיות ובריאות דיגיטלית, שירותי בריאות כללית אדם ערוץ

–

מנהל הגנת מידע וסייבר, לאומית שירותי בריאות

ד"ר איתן בהירי

–

מנהל תחום אינפורמטיקה, קופת חולים מאוחדת

ענבר קמחי לוי

–

ר' תחום מדיניות ציבורית ואתיקה רפואית, ההסתדרות הרפואית בישראל קרן משיח צוונג

–

רכזת הלשכה לאתיקה, ההסתדרות הרפואית בישראל

ד"ר יוסף ולפיש

–

יו"ר, הלשכה לאתיקה, ההסתדרות הרפואית בישראל

מלי קושא

–

יו"ר, לשכת האתיקה של האחים והאחיות בישראל

ברוך ליברמן

–

מנכ"ל ומייסד, חברים לרפואה

פרופ' יוסף פרס

–

נשיא, ארגון למענכם

ד"ר גד נוימן

–

סגן נשיא, ארגון למענכם

אשר רוכברגר

–

בית איזי שפירא

ד"ר עמיחי תמיר

–

יו"ר, ארגון הנכים זכויות הנכים

משתתפים באמצעים מקוונים:

חן מטס

–

פורום ארלוזורוב

מנהלת הוועדה:

מיכל דיבנר כרמל

שירה טחן – סגנית מנהלת הוועדה

רישום פרלמנטרי:

נועם כהן, חבר תרגומים

‏‏רשימת הנוכחים על תואריהם מבוססת על המידע שהוזן במערכת המוזמנים הממוחשבת. ייתכנו אי-דיוקים והשמטות.

<< נושא >> אתיקה ורגולציה בשימוש בבינה מלאכותית על ידי צוותים רפואיים << נושא >> << יור >> היו"ר רון כץ: << יור >>

בוקר טוב, חברים, תודה שהגעתם, אני מתכבד לפתוח את ועדת הבריאות של הכנסת, התאריך 6 במאי 2025. אנחנו ממשיכים כחלק מסדרת דיונים על טכנולוגיה במערכת הבריאות, הנושא שלנו היום הוא אתיקה ורגולציה בשימוש בבינה מלאכותית על ידי צוות הרופאים. אני מאוד שמח שחבר הכנסת יעקב אשר, יושב ראש ועדת הפנים, פנה בנושא. זו פנייה שמתחברת גם לבקשה של שר הבריאות אוריאל בוסו וגם יו"ר הוועדה, יוני מישרקי, שכולנו מאוד, מאוד מודאגים ממה שקורה.

הקדמה פרצה בצורה מאוד משמעותית, גם למערכת הבריאות, אבל ככל שרצים קדימה, צריכים רגע להסתכל אחורה ולהבין על מה אנחנו מסתמכים ומה היסודות של אותם כלים שעושים בהם שימוש. למרות השחיקה המאוד משמעותית של הרופאים וההתעסקות המסיבית מדי לפעמים בפניות ציבור שמגיעות דרך אמצעים דיגיטליים, בטח אחרי הקורונה, שזה גדל בצורה משמעותית, עדיין בראש ובראשונה אנחנו צריכים לוודא שבריאות הציבור נשמרת ושהרפואה הישראלית שידועה כטובה מאוד נשמרת ככזו.

למרות הרצון להתייעל ולמרות הרצון והפיתוי גם ללכת צעד קדימה, כי זה נורא מהר, נורא טוב ולפעמים גם נותן מענה נכון, אם יש אחוז קטן לטעות שתפגע בחיי אדם או תפגע בבריאותו של אדם, אנחנו בוועדה הזו חייבים להרים את הדגל. כל הסובבים סביב השולחן הזה שותפים לאותה דאגה. ועם זאת, לאותו רצון לקדם את הטכנולוגיה הרפואית ולקדם את הקדמה. ולכן המטרה הסופית שלנו באמת תהיה למצוא את דרך המלך, לאזן בין הקדמה הרפואית שחייבת להתפתח ולהתקדם לבין שמירה על חיי מטופלים ובריאותם.

ונעבור לראשון הדוברים, חבר הכנסת יעקב אשר, בבקשה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> תודה רבה, אדוני היושב ראש. אני גם רוצה להודות ליושב ראש הוועדה יוני מישרקי על קיום הדיון. הוא גם אמר לי בשיחות שניהלנו שאתה משמש גם כיושב ראש ועדת משנה, שאלה בדיוק הממשקים הנכונים, ולכן אני שמח קודם כול על עצם קיום הישיבה ועל כך שאתה גם מנהל אותה, ואני בטוח שגם הוא וגם השר ילוו את התהליך הזה הלאה.

אין פה עניין של בעיות או תלונות, בסך הכול אנחנו מתעוררים לדבר שפה אני צריך להזכיר גם שמי שעורר אותנו לעניין הזה, לפחות אותי, וגם ראיתי על זה הרבה מאוד שיח והרבה מאוד מלל וחומרים רפואיים כאלה ואחרים, באמת ארגון למענכם בראשותו של הרב יוסי ערבליך שהעלה את הנושא הזה על סדר היום, נמצאים איתנו כאן מהארגון פרופ' פרס וד"ר נוימן.

והנקודה היא אחת, כמובן שאנחנו מברכים על טכנולוגיות חדשות, הטכנולוגיות החדשות הן חשובות מאוד, אין ספק שהן יהיו הקטר בהרבה מאוד דברים וכבר עכשיו אנחנו רואים שימוש נרחב בטכנולוגיות הללו, ולכן קודם כול אנחנו כמובן מברכים על כך. אבל ברור דבר אחד, שכניסה של טכנולוגיה כזו, ופה זו לא כניסה, זו פריצה, אין פה איזה לוח זמנים.

הפריצה של הטכנולוגיה הזאת, אם היא תיכנס בצורה לא סדורה, בלי רגולציה מתאימה, בלי הנחיות, וכמו שקראת לזה, אדוני היושב ראש, איזונים, איפה החלק האנושי ואיפה החלק הזה, כי הקדמה והטכנולוגיה באה לשרת את בן האנוש, וכשאנחנו מדברים כרגע על לשרת, אני לא מדבר כרגע על החולה, בוא נשים רגע את החולה בצד, את הפציינט בצד. הקדמה הזאת והטכנולוגיה הזאת של ה-AI אמורה לשרת את הרופא, אבל היא יכולה גם להפוך להיות משהו של לשים על אוטומט ויעבור. כל פעם מראים לי, בדרך כלל אלה ילדים במשפחה או משהו באים ומראים, תראו, הנה הרצאה על זה, הנה מבחן ב-GPT, הנה זה.

<< יור >> היו"ר רון כץ: << יור >>

זה עובד על טלפון כשר?

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אמרתי שהראו לי את זה שכנים. שכנים אמרתי, ילדים שכנים. אתה יודע, אני כל כך שמח שיש לי משגיח כשרות, זה טוב לבריאות גם כן. ובסופו של דבר, אסור לנו שיהיה דבר, אני זוכר כשאני הייתי ראש עיר, רצו להכניס בעירייה את המערכת, אז זה היה דבר, מענה טלפוני. כלומר, טלפון שאתה מתקשר, משאירים הודעות וכולי, זה ישפר את השירות, יתן שירות והכול. ואני התנגדתי לזה, לא בגלל שאני חושב שהדבר הזה הוא לא נכון, הוא דבר נכון, אבל אם פקיד יודע שבסוף גם אם הוא לא מרים את הטלפון זה עובר לאיזשהו מקום, לא יגידו שלא ענו והכול, יורד ממנו חלק גדול.

כשאנחנו מדברים על רופאים, כשאנחנו מדברים על רופאים מומחים, כשאנחנו מדברים על רפואה שבאה קודם כול מידע ובאה מכישרון של הרופא ובא מניסיון של רופא, ואת הטאצ', לפעמים יש את הטאצ', אנחנו מכירים כולנו את הרופא שאתה כבר מגיע, הוא כבר זיהה עליך את הבעיה או שזיהה להגיד לך: תירגע, אתה סתם בסטרס. זה גם שכנים שלי סיפרו לי, אגב.

ולכן אנחנו חייבים לשמור ולשמר, וברור לי שכולם חושבים ככה, את המומחיות, את הידע ואת האבחון האמיתי, שהוא יכול לבוא, בטח כשמדברים על גוף האדם, הוא יכול לבוא רק בצורה גופנית ובצורה של ראייה, הסתכלות ותהייה. המחשוב והטכנולוגיות הם עזרים מצוינים שיכולים להקל מאוד על עבודת הרופא.

ולכן כל הדיון כאן, שאני מצפה שהוא יהיה דיון ראשון ותעשה גם דיוני מעקב, אבל באמת אחרי שנשמע גם את האנשים, אנשי המקצוע, כי אני באמת לא מבין גדול בתחום, אבל אני כן מבין בניהול אנושי. בסוף בני אדם הם בני אדם, ואם מערכות ייכנסו בצורה לא נכונה, ואם לא תהיה רגולציה של מה אסור בשימוש ומה מותר, מה מומלץ ומה עדיף שלא, כמה כובד משקל נותנים באבחון ובבדיקות לחלק הטכנולוגי וכמה לחלק האנושי, אם לא תהיה רגולציה כזאת, אם לא תיעשה היום הכנה לקראת העתיד שהעתיד הזה כבר פה, פרץ כבר אלינו עכשיו, אנחנו עלולים להגיע לסיכון גם בחיי אדם.

כי בסופו של דבר, אנשים מתרגלים, מערכות מתרגלות. ואם ההרגל הראשוני יהיה שהמערכות האלה, כי אני מבין שכרגע המערכות האלה מותרות לשימוש, אפשר להכניס אותן בכל בית חולים, בכל קופת חולים, כל רופא יכול בקליניקה שלו לעשות את זה, ואם אין היום הנחיות שמתחילות להבנות איך, זה יהפוך להיות משהו שהוא בלי חוקים, בלי מגבלות, בלי רגולציה, בלי כלום.

אני רואה בדיון הזה דיון חשוב מאוד, אדוני היושב ראש, ואני מודה לך שוב על העניין. ואני באמת מקווה שנעשה את זה בצורה, אתה תוביל את זה ביחד עם יושב ראש הוועדה, ידידי מישרקי, בסופו של דבר לאיזושהי ועדה של מומחים בטכנולוגיה, מומחי רפואה וכולי, ועדה שתקבל את הגיבוי או שתוקם על ידי משרד הבריאות, או שתלווה על ידי משרד הבריאות, שהיא תיתן את האסור והמותר בדבר הזה. אלה יהיו עשרת הדיברות, איך מכניסים את המערכת הזאת לפעולה. תודה רבה.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה, אדוני. נמצא איתנו פרופ' יוסף פרס, נשיא ארגון למענכם ומנהל בית חולים שניידר לשעבר. אני שכן.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אפרופו שכנים.

<< אורח >> יוסף פרס: << אורח >>

בוקר טוב. ארגון למענכם הוקם לפני כ-14 שנים על ידי הרב יוסי ערבליך, זה ארגון שנותן הכוונה רפואית להרבה מאוד אנשים, כ-200-150 מקרים ויותר פניות כל יום שאנחנו נותנים בהתנדבות מלאה לאנשים תשובות. בתקופה האחרונה שמנו לב שיש פניות, כשמתעמקים בפניות, אנחנו מרגישים שיש שימוש יתר ב-Chat GPT, יש אנשים ששואלים שאלות שהן מוטעות ולא נכונות.

<< יור >> היו"ר רון כץ: << יור >>

זאת הבעיה? הכלי המרכזי שמשתמשים בו זה ה-Chat GPT?

<< אורח >> יוסף פרס: << אורח >>

Chat GPT וכל מיני, כמובן. אנשים פונים, בעיקר כשהם מקבלים כל מיני תשובות או תשובות מעבדה או תשובות אבחנה או מינונים, דלקת גרון, מה לטפל וזה, פונים ושואלים שאלות, וה-Chat GPT, לא תמיד, אם כל אחת מאיתנו ישלח עכשיו שאלה מסוימת ל-Chat GPT, אני חושב שחצי יקבלו תשובות שונות. ולא תמיד כל בן אדם יכול להיות אחראי על מה שהוא עושה. בעיקר אני אתייחס לנושא שאנחנו מדברים עליו היום בשלושה דברים: כרופא, כחוקר וכמנהל בית חולים לשעבר.

כרופא אני אומר שזה חייב להיות מעקב חד משמעי. Chat GPT נותן תשובות גם לאבחנות וגם למינון תרופות לאדם הרגיל, מה שכותבים. אבל כמובן שאנחנו יודעים, ילד קטן הוא לא מבוגר, בן אדם חולה שיש לו בעיות כבדיות או כלייתיות, פירוק התרופות הוא שונה. ההתאמה צריכה להיות על ידי רופא, נקודה. המכשיר לא יכול לתת תשובה לכולם אותו דבר.

<< יור >> היו"ר רון כץ: << יור >>

אבל פרופ', גם אם הוא נותן את התשובה, אתה לא יכול ללכת ולקנות את התרופה, צריך מרשם רופא בכל מקרה, איך?

<< אורח >> יוסף פרס: << אורח >>

לא משנה, אבל יש גם תרופות שאתה נותן. אחת הסיבות לאי ספיקה כבדית אצל ילדים שמגיעים להשתלה זה אקמול, ואקמול אתה יכול לקנות על המדף. ויש הרבה מאוד תרופות על המדף שאתה יכול להשתמש בלי מרשם רופא, כך שזה לא בדיוק מדויק. נכון שזה מה שאתה אומר, אבל בכל מקרה ישנם אנשים עם מחלות, ישנם אנשים קטנים וגדולים ומבוגרים וחולי סרטן שצריכים להתאים ולתת תשובות לכל אחד ואחד על ידי רופא.

מחקר – אתה חייב גם במחקרים הרפואיים כשאתה משתמש בבינה מלאכותית, אתה צריך לקחת את הנתונים הנכונים. אם אתה תשתמש במחקרים רפואיים עם נתונים שהם מוטים, המחקר יהיה מוטה ותהיה בעיה מאוד קשה. אני לא ממליץ לעשות ועדה להגביל מאוד שימוש בבינה המלאכותית במחקרים ולא להשתמש בזה, זו חובה להשתמש, אין כל ספק שזו קדמה, אבל צריכים חד משמעית להגביל ולבדוק אפשרות רגולציה כלשהי של שימוש בבינה המלאכותית גם בשימוש במחקרים.

הנושא השלישי, זה באמת חשוב, כמנהל בית חולים, איך שאני מסתכל על הנושא. הייתי מגביל גם את הרופאים והייתי אומר להם שאתה לא יכול לעשות העתק-הדבר ולהעביר למכתב שחרור או המלצות לפי מה שכתוב, מה שממליץ לך המכשיר. נכון, אנחנו מאוד ממליצים להשתמש, זו קדמה, שימוש בבינה מלאכותית, אבל ללא כל ספק יש צורך ברגולציה, בבדיקה, בהתאמה, ולתת גם ללמד.

כשניהלתי את בית החולים שניידר תמיד אנשים היו באים עם בעיות. תמיד הייתי מקבל את הבעיות והייתי אומר מה הפתרונות, תמיד חשוב לקבל פתרונות. אני חושב שאחד הפתרונות לנושאים שאנחנו מדברים עליהם היום הוא הדרכה, גם הדרכת אנשים של האוכלוסייה הכללית, איך להשתמש בבינה המלאכותית, מי שמשתמש, אבל לא פחות חשוב ללמד את הרופאים הצעירים, לתת שאלות מכוונות, ללמד אותם לקחת אנמנזה, כמו שמלמדים בבית ספר לרפואה שנה ד', שנה ו', לקחת אנמנזה מחולה, צריכים ללמד אותם איך גם להשתמש בבינה המלאכותית.

<< יור >> היו"ר רון כץ: << יור >>

אתה חושב שהתופעה הזאת היא כל כך נפוצה? כלומר, מה אחוז הרופאים שלדעתך משתמשים בבינה המלאכותית?

<< אורח >> יוסף פרס: << אורח >>

מאוד קשה לדעת, אני לא חושב שישנם, אבל ישנם מחקרים שאנשים בודקים. יש גם מחקר שהתפרסם לפני כחודש, דווקא מחבר המחקר הוא דן זלצר מאוניברסיטת תל אביב, שהוא פרסם מאמר ב-Annals of Internal Medicine, עיתון בין-לאומי למחלות פנימיות די ידוע, והוא חיבר 461 רופאים ובדק שימוש של מקרים מסוימים.

ב-57% מתוך כל המקרים הייתה באמת התאמה בין בינה מלאכותית והתשובות של הרופאים. היו 20% שבינה מלאכותית נתנה תשובות אפילו יותר נכונות מרופא, אבל היו מקרים מסכני חיים שבינה מלאכותית לא עלתה על זה, וזה יכול לגרום למוות.

בגלל זה אני אומר, ברוב המקרים זה כלי עזר מצוין, בינה מלאכותית היא כלי עזר מצוין לרופא, אבל צריכים למצוא דרך על ידי משרד הבריאות או גורמים אחרים שהרופא, בסופו של דבר הוא יהיה אחראי על המידע שמקבלים מבינה מלאכותית.

אנחנו בארגון למענכם, שאנחנו באמת מחפשים לעזור ולהדריך ולהקל על האנשים ועל הרופאים, יוסי ערבליך – יושב ראש הארגון – מצא לנכון לפנות לוועדת הפנים, לוועדת הבריאות ולשר הבריאות, להעלות את הנושא בכנסת ולמצוא פתרונות והמלצות איך להשתמש נכון בבינה המלאכותית.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה, אדוני. ד"ר גדי נוימן, סגן נשיא למענכם וסגן מנהל בית החולים בילינסון לשעבר. אתם ממש קולגות.

<< אורח >> גד נוימן: << אורח >>

אתה יודע כמה אקשנים היו לנו ביחד?

<< אורח >> יוסף פרס: << אורח >>

לא ביחד, בין בתי חולים.

<< אורח >> גד נוימן: << אורח >>

בין בתי חולים. אדוני היושב ראש, חברים נכבדים.

<< יור >> היו"ר רון כץ: << יור >>

אנחנו, הפתח תקוואים, תדע שמאוד גאים, גם בבילינסון וגם בשניידר.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> נכון, יש על מה.

<< אורח >> יוסף פרס: << אורח >>

ברשותך, אם אנחנו כבר מדברים, אנשים לא יודעים להעריך את פתח תקווה בעיניי. אני תמיד הייתי אומר, כשאני ניהלתי את שניידר, פתח תקווה זו עיר הבירה של מדינת ישראל לרפואה.

<< יור >> היו"ר רון כץ: << יור >>

זה נכון.

<< אורח >> יוסף פרס: << אורח >>

חמישה בתי חולים בעיר קטנה, לא גדולה. ואנשים לא יודעים לנצל, תמיד מפרסמים את פתח תקווה כ-20 דקות מתל אביב, אבל זה לא נכון.

<< יור >> היו"ר רון כץ: << יור >>

עיר האורות. תדע שיש לנו חמישה בתי חולים ושר בריאות.

<< אורח >> גד נוימן: << אורח >>

מה זה אומר? שיש כל כך הרבה חולים בעיר הזאת.

<< יור >> היו"ר רון כץ: << יור >>

לא, זה אומר שאנחנו נותנים מענה.

<< אורח >> גד נוימן: << אורח >>

איפשהו צריכים לגור. בוקר טוב לכולם, לי קוראים גדי נוימן, אני אורולוג במקצועי, שזה המקצוע הכי חשוב פה לכולם אני רואה. אני רוצה לתת כמה מילים. אני סגן נשיא ארגון למענכם ואני כאן כנציג הארגון, ותודה רבה על ההזדמנות לדבר. אני רוצה לתת סקירה קטנה, כי לא כולם, אולי חלק יודעים, חלק לא, חלק מחברי הכנסת אולי, אני לא ארבה במילים, סך הכול ה-AI נכנס למערך הרפואה כבר לפני שנים.

<< יור >> היו"ר רון כץ: << יור >>

אם תוכל לכוון אותנו מה זה ה-AI שנכנס למערך הרפואה? האם זה רק Chat GPT? האם יש - - -

<< אורח >> גד נוימן: << אורח >>

לא, בדיוק, זה מה שאני רוצה להדגיש. הבינה המלאכותית, Artificial Intelligence, זאת אומרת, זה לא רק Chat GPT, יש עוד הרבה מאוד אפליקציות, חלקן מדף, חלקן בפיתוח.

<< יור >> היו"ר רון כץ: << יור >>

יש אפליקציה מיועדת לרופאים?

<< אורח >> גד נוימן: << אורח >>

לא.

זה כללי ומשתמשים. זאת אומרת, יש גם אפליקציות לרופאים כמובן.

<< יור >> היו"ר רון כץ: << יור >>

לא, בינה מלאכותית שרק רופאים עובדים איתה.

<< אורח >> גד נוימן: << אורח >>

לא.

<< יור >> היו"ר רון כץ: << יור >>

אין דבר כזה.

<< אורח >> גד נוימן: << אורח >>

וסך הכול זה כלי עזר מאוד חשוב ומרכזי, אבל כמו כל כלי עזר, צריכים להכיר גם ביכולותיו וגם במגבלותיו. סך הכול הבינה המלאכותית בכלל מתבססת על Big Data. סקירה של Big Data, Machine Learning, מה שנקרא, לימוד מכונה, ובזה גדולתה, אבל בזה גם חסרונה. יישומים כמו Chat GPT רוצים הרבה מאוד לרצות את השואל וממציאים לעתים מזומנות הזיות, מה שנקרא Hallucinations. כלומר ממציאים עובדות כביכול ונתונים שלא היו. היה גם מקרה מפורסם שפורסם בבית המשפט, המציא תקדימים שלא היו.

<< יור >> היו"ר רון כץ: << יור >>

כן, הוא ממציא הרבה פסיקות, כן.

<< אורח >> גד נוימן: << אורח >>

אתמול פורסמה כתבה ב-Ynet שכתוב "פישלנו: גרסת Chat GPT החדשה מעוררת פאניקה ב-OpenAI". "עדכון שגרתי לכאורה הפך את Chat GPT לצ'אט בוט צייתן ומעודד יתר, גם כשמשתמשים מביעים מחשבות קשות. ב-OpenAI מודים בטעות נדירה, מציגים את שיטת האילוף ומזהירים מסכנות ממשיות לבריאות הנפש". במקרה, Scientific Ynet.

המחקר שפורסם בארצות הברית, אני אביא פה כמה ציטוטים רק. 65% מהרופאים פספסו טעויות קריטיות של AI, כולל טעות שעלולה להרוג. וזה פורסם בקרב רופא משפחה אומנם, אבל זה - - -

<< יור >> היו"ר רון כץ: << יור >>

איך רופא מפספס טעות?

<< אורח >> גד נוימן: << אורח >>

הוא סומכים יתר.

<< יור >> היו"ר רון כץ: << יור >>

כלומר, הוא פשוט לא עובר על מה שהמכונה נותנת.

<< אורח >> גד נוימן: << אורח >>

בעיה נוספת היא מידע חסר, זו אחת הבעיות ב-Artificial Intelligence, ב-AI, שיש מידע חסר או מידע חלקי ב-Big Data, ואז אנחנו פוגעים במיוחד באוכלוסיות, הרי הכול זו עקומת גאוס, ובאוכלוסיות המיוחדות שמבוססות על שינויים אתניים או על שינויים של גזע, מין, אוכלוסיות שוליים שמגיעות גם לטיפול כמובן, גיל, כמו שפרופ' פרס ציין, הן המועדות יותר לפגיעה.

הבעיה היא עוד יותר חריפה בתחום הפארמה, מפני שיש היעדר שקיפות מסוים, יש חוסר מידע, יש אי יכולת לאבחן וריאנטים שונים, מוגבלות בתחום האינטרפרטציה של תוצאות וביו-פרמקולוגיה.

<< יור >> היו"ר רון כץ: << יור >>

תן לנו דוגמה כזאת.

<< אורח >> גד נוימן: << אורח >>

אני הבאתי את כל המאמרים האחרונים ממרץ, אפריל.

<< יור >> היו"ר רון כץ: << יור >>

לא, מהניסיון שלך, איזושהי טעות שאתה מכיר.

<< אורח >> גד נוימן: << אורח >>

לא, אם אתה מתבסס על, אתה לא תמיד יודע כשאתה נותן תרופה מה הביו-אקוויוולנט, מה התפקוד של הכליות, כמה צריך להתאים אותו למשקל גוף, כימותרפיה מותאמת לפי שטח משקל גוף.

<< יור >> היו"ר רון כץ: << יור >>

כלומר, רופא במקום לקרוא את המאפיינים של התרופה, מסתמך על המערכת.

<< אורח >> גד נוימן: << אורח >>

מסתמך כי זה קל. אחרת זה לחשב, זה נוסחאות. רפואה היא הרבה יותר מאוסף של מידע סך הכול, והיא מתבססת על הקשרים רפואיים, זאת אומרת, על שיפוט, על אמפתיה, על ניסיון.

הבעיה הגדולה ביותר של הבינה המלאכותית היא ניפוק תשובות שהן False Positive, מה שנקרא מענה או תשובה שהיא חיובית כביכול, אבל היא בעצם שלילית. כי אמרנו שהוא רוצה לרצות, הוא רוצה להביא את התשובה הנכונה. עשו סקר בארצות הברית בפברואר 2025 בקרב נשאלים המבוטחים בביטוח בריאות, והראו, הסקר פה איתי, 66% מהנשאלים ציינו שאין להם אמון במערכת הבריאות אם היא תתבסס על AI. שבועת היפוקרטס שלנו, של הרופאים, מתבססת על העיקרון שאומר בכל מחלה צריך לעזור, אבל לפחות שלא תנסה להזיק. Primum non nocere.

הבעיה הנוספת של ה-AI, של הבינה המלאכותית, היא חוסר היכולת שלה להסביר ולנמק את התוצאות, בעיה גדולה מאוד. זאת אומרת, היא נותנת את התשובה, אבל כשאתה אומר לה תנמק מדוע הגעת לתוצאה הזאת, הוא לא יודע לנמק את זה, הוא לא יודע להגיע לתוצאה הזאת. כמו שהיה לנו בבגרויות, היה צריך להגיע לתשובה, אבל היה צריך גם להראות את הדרך, לא מספיק להגיע לתשובה. ואז גם הרופא לא יודע להסביר את הרציונל למטופל. הוא מאבד בעצם את ההיענות, את ה-Compliance, את ההיענות של המטופל.

<< יור >> היו"ר רון כץ: << יור >>

את האמון.

<< אורח >> גד נוימן: << אורח >>

מטופל אינטליגנטי רוצה לדעת, אבל למה? נגיד בתחום האורולוגי, זה עוזר לרוקן לכיס השתן? זה מקטין את הערמונית, דוקטור, הכדור הזה? לא, זה לא מקטין את הערמונית. ה-Chat GPT או דומיו יתנו את התרופה הנכונה, אבל הוא לא יסביר למה. אם רופא נתן, החולה אומר, טוב, אם הוא נתן. חוזרים לרפואה הפטריארכלית. זאת אומרת, מי שזוכר, הוותיקים, פה כולם צעירים, לא כמוני, אבל הוותיקים זוכרים את זה, הדוקטור אמר, תצא, אדוני בבקשה מהחדר, הדוקטור אמר, זו התרופה. זו לא הרפואה של שנת 2025 ועוד קצת קודם גם.

<< יור >> היו"ר רון כץ: << יור >>

כן, היום בודקים.

<< אורח >> גד נוימן: << אורח >>

לא, החולה שואל את השאלות האינטליגנטיות, הוא גם בא עם חומר, הוא שואל. אני לקראת סיום. פרסום מעניין מאוד של ה-NIH, של ה-National Health Institute, נתנו 207 תמונות דימות לפיענוח על ידי רופאים בנפרד, CT, MRI, צילום חזה.

<< יור >> היו"ר רון כץ: << יור >>

את זה הצ'אט גם מפענח? אפשר להכניס לו את זה?

<< אורח >> גד נוימן: << אורח >>

כן, בטח. ועל ידי AI בנפרד. מעניין, שיעור הפיענוח הנכון היה דומה, ממש. אבל כששאלו את ה-AI, תן הסבר למה, זאת אומרת, נגיד ראית אפילו מוקד בערמונית, במקרה אורולוגיה, או מוקד בחזה, תסביר שמדובר בכתם שהוא אינו סדיר, שהוא לא מסודר. הוא לא יודע להסביר למה, לא יודע להסביר למה, אי אפשר להתקדם.

<< יור >> היו"ר רון כץ: << יור >>

לא יודע להסביר למה זה גם לא יודע לתת תרופה?

<< אורח >> גד נוימן: << אורח >>

- - - מתקדמים. שני מאמרים חשובים שפורסמו החודש כותבים את הכותרת Who's Fault When AI Fails? מי אשם כאשר ה-AI נכשל?

<< יור >> היו"ר רון כץ: << יור >>

שאלה טובה.

<< אורח >> גד נוימן: << אורח >>

שאלה טובה. זה מסטנפורד. היעדר הרגולציה יוצר בעיה מבנית. אני נותן דוגמה מאוד חשובה בעולם התרופות והפארמה. כל תרופה וכל טיפול צריך לעבור אישור של FDA, בלי זה בכלל לא מתקדמים היום. אני כבר לא מדבר על רגולציה של אירופה אחר כך שבדרך כלל ממשיכה. פה, לעומת זאת, כל כלי בינה מלאכותית, אם אני מספיק טוב - - -

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אין לו גורם מאשר.

<< אורח >> גד נוימן: << אורח >>

- - - אני יושב בחוץ, כותב איזשהו אלגוריתם סך הכול, אף אחד לא צריך פה אישורים, שום דבר, מכניסים את זה פנימה.

<< יור >> היו"ר רון כץ: << יור >>

זה מטורף.

<< אורח >> גד נוימן: << אורח >>

טוב או לא טוב, לא יודע, אולי הכלי מצוין. אבל בתרופות אנחנו צריכים לעבור איזשהו FDA שהוא נגיד הגולד סטנדרט, שאנחנו יודעים שתרופה שאושרה על ידי ה-FDA לפחות לא מזיקה, אולי גם יש את שיעור התועלת שלה כמובן, וכולי וכולי, תלוי באיזה פאזה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אגב, כל מכשור רפואי עובר אישור?

<< אורח >> גד נוימן: << אורח >>

מכשור רפואי כן.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זה מכשור רפואי.

<< אורח >> גד נוימן: << אורח >>

אבל זה לא עובר.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זה צריך להיות, זה מה שצריך להיות, זה מכשור רפואי.

<< אורח >> גד נוימן: << אורח >>

רפואי, כן, ברור. ולסוף, היעדר רגולציה גורם לכך פורמלית, יוצר מצב שבו בית המשפט יאלץ יום אחד להכריע האם הטכנולוגיה שעליה התבסס הרופא או המטפל היא נכונה ומבוססת. זה לא הגיוני שבית המשפט יתערב בדברים כאלה, זה לא הגיוני שבית המשפט יקבע אם זה נכון או לא נכון.

יש פה עוד מאמר מאוניברסיטת טקסס, אני לא ארחיב. בקיצור, סך הכול היושב ראש של ארגון למענכם שהעלה את הדגל, יוסי ערבליך, הבהיר את עמדתו במכתב ששלח לשר הבריאות. כמובן שיש גם את הבעיה האתית, זה גם דיון אחר. האם הרופא צריך לגלות למטופל שהוא התבסס על AI? שאלה, שאלה מעניינת. כן? לא? בעידן כזה שנכנס דבר כזה חדש, מה חובת הגילוי? יש לנו חובת גילוי, לרופאים. אין ספק שכשיוסי ערבליך כתב את זה, את העמדה לשר הבריאות וביקש שתוקם ועדה שתמליץ על הסדרת הנושא וקביעת הרגולציה והנחיות ברורות, וגם בתי חולים ומוסדות רפואיים צריכים לקבוע אמות מידה וסטנדרטים ברורים לשימוש בבינה מלאכותית במוסדות שלהם בדרך שתאזן בין התועלת שיש לכלי כזה לנזק הפוטנציאלי שהוא יכול לגרום. תודה רבה.

<< יור >> היו"ר רון כץ: << יור >>

תודה לך. יש לי רק שאלה. פשוט זה חלק מסדרת דיונים שאת הנושא הספציפי הזה חבר הכנסת יעקב אשר הרים והניף את זה כדגל, אבל האם לדעתך או לדעתכם בינה מלאכותית ייעודית לרופאים זה משהו שצריך לשקול, להמציא כלי כזה, או שאתם חושבים שהקיים הוא משהו שצריך לעשות לו רגולציה?

<< יור >> היו"ר רון כץ: << יור >>

אפשר לקחת את הקיים ולעשות לו אדפטציה לרפואה.

<< יור >> היו"ר רון כץ: << יור >>

אבל אתה חושב שיהיה משהו - - -

<< אורח >> גד נוימן: << אורח >>

ברור.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זה יקרה בפועל, אבל זה יקרה לא מוסדר.

<< יור >> היו"ר רון כץ: << יור >>

לא, השאלה האם אנחנו ניתן לו גישה למאגרים של קופות חולים, של בתי חולים. כלומר, האם צריך לעשות כלי ייעודי.

<< אורח >> יוסף פרס: << אורח >>

מומלץ מאוד.

<< קריאה >> קריאה: << קריאה >>

זה קיים.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זה כבר קיים אומרים שם, לא יודע מי הדוברים. נשמע את כולם.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה. כן. אנחנו נעבור, אנחנו נעשה מין פינג-פונג כזה, כי הדברים מאוד מעניינים ואני רוצה לשמוע דווקא את הקופות עכשיו. נמצאת איתנו ד"ר לילך צולר, ראש אגף הטכנולוגיות הרפואיות ובריאות דיגיטלית, שירותי בריאות כללית. דווקא בהסתמך על הדברים ששמעת, אלה דברים מטרידים, אני יכול לומר לך שכמי שבקדנציה הקודמת וגם קצת בקדנציה הזאת התעסק ברפורמה של השמיים הפתוחים של אירופה, מה שטוב לאירופה טוב לישראל, הנושאים שהיה הכי קשה להכניס לרפורמה היו הנושאים של משרד הבריאות, כי הנציגים ישבו על כל פריט, על כל דבר, על כל מילה ממש ברזולוציות, והבנתי אותם, כי זו באמת אחריות גדולה של בריאות הציבור. דווקא פה, כשאת שומעת ש-65%, 55%, אני לא יודע מה המספרים, מסתמכים על טכנולוגיות שהן יחסית פרוצות, מעניין אותי לשמוע איפה אתם ואחרי זה איפה משרד הבריאות נכנסים לתמונה. בבקשה, דוקטור.

<< אורח >> לילך צולר: << אורח >>

צוהריים טובים ותודה גם על דיון מאוד חשוב. רגע לפני שאני אפרט אני אגיד שהרגולציה, קודם כול, יש רגולציה במדינת ישראל, גם על נושא של בריאות, אני תכף אפרט. זאת אומרת, אנחנו נמצאים במרחב שגם לגבי AI יש בו רגולציה. כשאנחנו מדברים על בינה מלאכותית, יש כל מיני סוגים של בינה מלאכותית. למשל יש למידת מכונה, ויש Deep Learning, ויש כל מיני מוצרים, בין אם אלה תוכנות ובין אם זה מכשור רפואי שמבוסס בינה מלאכותית.

<< יור >> היו"ר רון כץ: << יור >>

במה אתם משתמשים בכללית?

<< אורח >> לילך צולר: << אורח >>

למשל בתחומים של הדימות, למשל בתחום של פתולוגיה.

<< יור >> היו"ר רון כץ: << יור >>

אבל אתם משתמשים במכשור ייעודי שלכם, של כללית, או שאתם מסתמכים על Chat GPT נגיד?

<< אורח >> לילך צולר: << אורח >>

רגע, אני תכף אפרט, אני אגיע לזה כמובן. כל הדברים שכללית משתמשת בהם, הם כמובן מקבלים את האישורים הרגולטוריים בעולם, אבל בישראל האישור הרגולטורי הרלוונטי הוא אמ"ר, זה אישור שמשרד הבריאות נותן לכל תוכנה או מכשור רפואי שיש בהם בינה מלאכותית ושהם קשורים בטיפול במטופל. אנחנו לא מדברים על סקר שירות של חוויית המטופל, אלא באמת תוכנות או מכשור רפואי משולב AI שמשתמשים בהם לנושא של טיפול במטופל.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> שמטפלות.

<< אורח >> לילך צולר: << אורח >>

קודם כול, יש אישורים רגולטוריים במדינת ישראל, כללית פועלת לפיהם. כללית הגדילה לעשות ואת כל הנושא של הכנסת מכשור רפואי מבוסס AI או תוכנות מבוססות AI, ממש בנינו כלי של איך מכניסים מוצרי בינה מלאכותית לארגון, לכלי הזה קוראים אופטיקה, אנחנו פרסמנו את זה ב-New England Journal of Medicine AI, שזה כתב עת מוביל בנושא, ויש התעניינות גם בארץ, ואנחנו כמובן בדיאלוג עם משרד הבריאות לגבי המשמעויות והתובנות בנושא.

בינה מלאכותית מהסוג של Deep Learning ואחרות, כאשר היא מגיעה לשימושים ברפואה, גם בישראל היא נמצאת תחת איזשהו סוג של פיקוח. אני אגיד שמעבר לזה יש גם בקרות מסוגים שונים שעושים למוסדות רפואיים, שמקורם גם מהארץ גם מהעולם, האקרדיטציה, יש להם פרק על בינה מלאכותית. זאת אומרת, אנחנו לא נמצאים בעולם כאוטי, אנחנו נמצאים בעולם הבריאות בעולם שהוא הרבה יותר מוסדר, למרות שהבינה המלאכותית היא חדשה לכולנו בכל התחומים שאנחנו עוסקים בהם.

<< יור >> היו"ר רון כץ: << יור >>

רק שאלה לגבי נתונים. לכם יש נתונים כמה מהרופאים שלכם משתמשים בזה? לכי למרפאות, אני מניח שבבתי חולים זה יותר מסודר, אבל נגיד מרפאה, מרפאה של רופא משפחה, באחוזים, אתם יודעים כמה משתמשים בתוכנה?

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לא, את דיברת עד עכשיו על דברים שמשמשים אתכם בדימות או בכל מיני דברים מהסוג הזה, זה לא הדבר הקלאסי של רופא. רופא, ייעוץ.

<< אורח >> לילך צולר: << אורח >>

רגע, אני כבר נכנסת לזה גם. אני אומרת, כללית פיתחה גם כלים שעוזרים לנו לנבא הידרדרות של מטופל, יש כלי שמערך החדשנות פיתח לרופאי משפחה שנקרא C-Pi שעוזר באמת לרופא לכנס את כל הנתונים על המטופל יחד עם גיידליינס. אנחנו לא מדברים פה על דברים סתם ברשת שהם לא מבוססים, אלא רק על הדברים שהם הכי מבוססים בעולם הבריאות.

אני רוצה להגיע לנושא של Chat GPT כי זה עלה פה הרבה פעמים. אני רוצה להתייחס לזה ולהגיד שהעולם שלנו והמרחב שלנו הוא פתוח ורגע לפני Chat GPT היה לנו את גוגל או את כל כלי החיפוש, אנחנו כרופאים השתמשנו בזה. ידענו שאנחנו לא יכולים כל דבר שגוגל מוצא לנו להשתמש As Is, אוקיי? אנחנו פה ועכשיו גוגל כתב לנו, עכשיו זה תורה משמיים. אותו דבר בכל מה שקשור ל-Chat GPT.

ההכשרה של רופא היא הכשרה שמלמדת אותו להיות ביקורתי, מלמדים אותו בתהליך ההכשרה שלו לקרוא מאמרים, להטיל ספק, לראות איך הגיעו למסקנות, מה הרפרנסים של כל אמירה. ולכן כמו שגוגל לא לוקח - - -

<< יור >> היו"ר רון כץ: << יור >>

השאלה אם בבלאנס של העומס שלהם, של רופאי משפחה, הם עדיין מצליחים לעשות את זה.

<< אורח >> לילך צולר: << אורח >>

אני אומרת, לכן גם כמו שאת גוגל לא לוקחים As Is, גם Chat GPT. הרי אנחנו שומעים בכל מקום את הנושא של איפה הסכנות של אותם כלים של בינה יוצרת. בקופות, אני אדבר על כללית, אבל באופן כללי במערכת הבריאות יש בקרות. כל רופא עובר בקרה על הרשומה הרפואית שלו ועל מה שהוא עושה, כל רופא, בטח בכללית.

אנחנו מנגישים כלי עזר לרופאים שהם מבוססים, משולחן הרופא, אנחנו נותנים לו את מאגר התרופות הכי מתקדם, את מאגר האינטראקציות בין תרופות הכי מתקדם. אין לו סיבה להיכנס ל-Chat GPT כשיש לו על שולחן העבודה כלים מאוד, מאוד מתקדמים שהם גם מאוד פופולריים בקרב רופאים.

ובכל שנה אנחנו גם עוסקים בחינוך של רופאים, והנושאים האלה של בינה מלאכותית נכנסים גם לתוכניות של השתלמויות רופאים, מה אפשר, מה אי אפשר, או מה מומלץ, או מה לא מומלץ.

<< יור >> היו"ר רון כץ: << יור >>

לגבי הכלים האלה, דווקא שלכם, יש לכם נתונים כמה משתמשים בהם? כלומר, באחוזים.

<< אורח >> לילך צולר: << אורח >>

מבחינת כלים שלנו, אלה נתונים שאפשר להוציא אותם.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אני מנסה להבין את המסקנה שלך.

<< אורח >> לילך צולר: << אורח >>

אני אגיד לך מה המסקנה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זאת אומרת, את חושבת שלא צריך לעשות כרגע שום רגולציה כי הכול קיים והכול בסדר?

<< אורח >> לילך צולר: << אורח >>

אני חושבת קודם כול שיש רגולציה, ואני חושבת שבגלל שאנחנו כולנו לומדים את הנושא הזה ובכל העולם מתחבטים בהרבה מאוד שאלות שקשורות בבינה מלאכותית - - -

<< יור >> היו"ר רון כץ: << יור >>

לא, אבל יש בעיה.

<< אורח >> לילך צולר: << אורח >>

רגע. אנחנו קודם כול צריכים לתת למערכת גם ללמוד ולהתנסות. גם היום אם אנחנו למשל עושים מחקר, הוא תחת הלסינקי. זאת אומרת, עונים על כל מיני שאלות אתיות כדי לאשר מחקר, אי אפשר לעשות כל מחקר שאנחנו רוצים. גם אם אנחנו רוצים לעשות מחקר בבינה מלאכותית, אנחנו מקבלים את אישור ועדת הלסינקי, אנחנו מגישים את זה, הוועדה מסתכלת, לראות מה הסוגיות, מאשרת רק אם באמת הסוגיות האתיות מקבלות מענה. השורה התחתונה, אנחנו נמצאים בעולם שיש לו רגולציה, לא בכל דבר באו ואמרו ספציפית, הזכירו את המילה בינה מלאכותית. אנחנו עוסקים בחינוך של רופאים, אנחנו מנגישים להם כלים שהם כלים מבוססים, ואנחנו צריכים, אני חושבת, גם את מרחב התמרון, ללמוד את הכלים החדשים בבינה מלאכותית, להתנסות בהם לפני שתהיה רגולציה מכבידה. אני חושבת שרגולציה מכבידה עלולה לפגוע ביכולת של ישראל כמדינה מובילה באמת לשמור על המוביליות.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> מה קורה בעולם ברגולציה?

<< יור >> היו"ר רון כץ: << יור >>

נשמע את משרד הבריאות. תודה רבה. נמצא איתנו ד"ר יוסף ולפיש, יו"ר הלשכה לאתיקה, ההסתדרות הרפואית בישראל. אני מבין שאתם כבר התחלתם להתעסק בזה.

<< אורח >> יוסף ולפיש: << אורח >>

כן. שלום, שמי ד"ר יוסי ולפיש ואני יושב ראש הלשכה לאתיקה. אני רופא משפחה במקצועי, אפרופו השאלות שלכם, אני מנהל מרפאה ויש לי 1,500 מטופלים שאני הרופא שלהם, מאוד עוסק ב-AI גם בכובעים אחרים שלי בתוך איגוד רופאי המשפחה, אבל פה אני כיושב ראש הלשכה לאתיקה וחשוב לי להגיד כמה מילים על הלשכה לאתיקה כדי שתבינו מה זה הגוף הזה. הלשכה לאתיקה של ההסתדרות הרפואית מונה כ-70 רופאים שמתעניינים באתיקה והם נבחרים על ידי ועידת הר"י. זאת אומרת, אלה רופאים שעברו תהליך של בחירות ונבחרו לחשוב ולייצג את הרופאים במדינת ישראל בתחום האתיקה הרפואית.

אנחנו מתכנסים פעם בחודש, גם היום אחרי הצוהריים במקרה, לדון בסוגיות אתיות. ואנחנו כותבים קווים מנחים בכל מיני סוגיות אתיות לרופאים. למעשה, הלשכה לאתיקה של הר"י נתפסת היום בישראל כגוף שקובע את הכללים האתיים של הרופאים בישראל. גם בתי המשפט פונים אלינו, גם משרדי הממשלה. יש לנו דרך אגב שיתוף פעולה מעולה והדוק עם משרד הבריאות בהרבה סוגיות שקשורות לאתיקה הרפואית. אנחנו כמובן גם מוזמנים ומגיעים לכנסת מדי פעם בסוגיות שקשורות. ולכן קודם כול תודה רבה על ההזמנה לדיון, והוא חשוב מאוד בעיניי.

הלשכה לאתיקה כמובן, דרך אגב, כל העולם שואל את השאלות של נזקי ה-AI, זאת שאלה שעולה בכל פורום רפואי ואחר בעולם, והיא שאלה טובה. אנחנו לא יודעים, אבל השאלה הזאת היא חלק קטן משאלה גדולה. הנזקים של שימוש בטכנולוגיות חדשות זאת שאלה שקיימת בעולם האתיקה הרפואית שנים רבות. סתם כדוגמה שנזכרתי בה, כשנכנס הסטטוסקופ לשימוש, הייתה טענה שאומרת שרופאים יפסיקו להקשיב לחולה ויתחילו להקשיב רק ללב ולריאות שלו, בגלל שיש טכנולוגיה חדשה. אנחנו יודעים להגיד שרופאים מקשיבים לחולים ועדיין עד היום הדילמה הזו היא דילמה שקיימת, עדיין יש הרבה תלונות על רופאים שמתעסקים במחשבים ובדברים אחרים במקום להקשיב לחולים שלהם. זאת אומרת, הדילמות האלה הן דילמות ותיקות ונכונות. ההבדל הוא שה-AI פרץ לחיינו בסערה ומתקדם בקצב מאוד גבוה ואנחנו צריכים לראות איך אנחנו מטפלים בזה.

ההסתדרות הרפואית בכלל והלשכה לאתיקה בפרט הקימו תת ועדה שעוסקת בנושא של הכללים האתיים לשימוש נכון ב-AI. אנחנו בימים אלה כותבים נייר, הוצאנו נייר ראשון, סנונית ראשונה, היום אנחנו כותבים נייר עמדה וכללי שימוש נכונים מבחינה אתית, מבחינה מוסרית לרופאים בישראל.

<< יור >> היו"ר רון כץ: << יור >>

אתם מסתמכים אבל על נתונים? כלומר, אנחנו יודעים כמה מהרופאים, נגיד רופאי משפחה, כמה מרופאי המשפחה בישראל משתמשים בכלי, נגיד Chat GPT או כלים דומים?

<< אורח >> יוסף ולפיש: << אורח >>

אני יכול להגיד לך מניסיוני שכמעט ולא, רופאי משפחה לא משתמשים בכלים שהם כלים של ה-Common People בהקשר הזה, אלא משתמשים בכלים ייעודיים לרופאים בהוצאת המידע שלהם. אני שמשתמש לא מעט ב-Chat GPT באינטראקציה שלי עם מטופלים כמעט ולא פותח שום כלי של AI, יש לי בפלאפון שלושה, אבל זה לא משנה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> מה זה כלי רפואי?

<< יור >> היו"ר רון כץ: << יור >>

איזה כלי?

<< אורח >> יוסף ולפיש: << אורח >>

אין היום כלי, כרגע עדיין לא קיים כלי שנועד לתת תשובה לשאלה קלינית לרופא. יש בפיתוח ומחקרים על הנושאים האלה. דרך אגב, אם כבר מדברים על פיתוח, משרד הבריאות הוציא - - -

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> כל כלי כזה עובר את האישור שלכם?

<< אורח >> יוסף ולפיש: << אורח >>

יפה, זה מה שאני רוצה להגיד, שמשרד הבריאות הוציא כלי, קודם כול קווים מנחים לנושא של מחקר ב-AI שמתבססים כמובן על כללי האתיקה של הלשכה לאתיקה בתחום המחקר, אנחנו עסוקים מאוד בהלסינקי ביחד, והיום לעשות מחקר עם AI עובר רגולציה מאוד גדולה. אני יודע שמשרד הבריאות, אבל הם יענו כמובן, עוסק גם בנושא של הכללים ל-AI. אבל צריך לעשות הבדלה ברורה בין הרגולטור שיבדוק ויראה איזה שימוש עושים ומה עושים, לבין הלשכה שקובעת את הכללים העקרוניים. אנחנו נגיד לרופאים ולמשרד הבריאות, אלה הדברים שאתם צריכים לשים לב אליהם: פרטיות, מקור המידע, שזה לא יפגע, מניעת נזק, הכללים האתיים שאנחנו נציב, דף הנחיות ורשימת כללים, ואז מי שיעשה את הרגולציה שאכן הרופאים עומדים בכללים שלנו זה כמובן משרד הבריאות, שאנחנו בשיתוף פעולה הדוק איתם בעניין הזה.

<< יור >> היו"ר רון כץ: << יור >>

יש לכם איזשהו דדליין לייצור הנהלים?

<< אורח >> יוסף ולפיש: << אורח >>

אין לנו דדליין כרגע, אנחנו בתהליך כרגע. הוועדה הוקמה, אנחנו מזמינים אנשי מקצוע בתחום כדי לדבר איתם בנושא, גם מתחום הטכנולוגיה וגם מתחום הבריאות וגם אנשים שמשותף להם, ואנחנו נשב ונכתוב נייר.

<< יור >> היו"ר רון כץ: << יור >>

אנחנו נשמח שתציגו את זה גם בוועדה.

<< אורח >> יוסף ולפיש: << אורח >>

אני רוצה מאוד להציג לכם בוועדה את הנייר כשנוציא אותו. אני אשמח כמובן להמשך, חשוב לי שאחרי שנוציא את הכללים, תהיה רגולציה לראות שהדברים באמת מתקיימים.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אבל אתה אומר שאין מצב שבו רופא בקופת חולים או רופא בקליניקה כזו או אחרת או בבתי חולים ישתמש באיזשהו כלי שלא אושר ולא עבר?

<< אורח >> יוסף ולפיש: << אורח >>

אני לא אומר דבר כזה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זאת השאלה.

<< אורח >> יוסף ולפיש: << אורח >>

אני אומר שאנחנו מוציאים את הכללים על איך לעשות את השימוש הנכון ומשאירים למשרד הבריאות.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> כלומר, מה יכול בית חולים להחליט?

<< אורח >> יוסף ולפיש: << אורח >>

לא, תראה, ככלל, רופאי ישראל הם רופאים אתיים והם עובדים על פי כללי אתיקה.

<< יור >> היו"ר רון כץ: << יור >>

לא, זה לא עניין אתי דווקא.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לא - - -

<< אורח >> יוסף ולפיש: << אורח >>

אני חושב שיש פה בעיקר עניין אתי במובן הזה שאנחנו צריכים לראות שרופאים לא יעשו נזק וישמרו על אוטונומיה. כשאתה מעלה את הסוגיות שאתה מעלה, אתה מעלה סוגיות שהן בתחום האתיקה.

<< יור >> היו"ר רון כץ: << יור >>

לא.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> זו לא רק אתיקה. כי אם יהיו הנחיות שיבואו ויגידו, תקשיב, המכשיר יבדוק אותו באיזושהי צורה, אבל אתה חייב גם פיזית לראות את האדם. לא יודע, מחר בדיקת גרון, האם זה מספיק שהוא יעבור ליד הזה ויעשה ככה ונגמר או שצריך שיגיד הרופא תעשה אה, אתה מבין? זו השאלה.

<< אורח >> יוסף ולפיש: << אורח >>

א', חינכו אותי לא להתווכח עם חברי כנסת, אני לא אתווכח בעניין הזה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לא, זה בסדר גמור. מי שלא מתווכח איתי, אני לא מסתכל עליו.

<< יור >> היו"ר רון כץ: << יור >>

סיפור אמיתי אצלו.

<< אורח >> יוסף ולפיש: << אורח >>

אני יודע. וככלל, אני חושב שהסוגיות פה הן בעיקרן סוגיות אתיות של איך רופא צריך להתנהל. הרי אנחנו לא אוסרים בחוק על אף בן אדם לפתוח את ה-Chat GPT ולעשות שימוש בו, וקשה להאמין שיעבור חוק שיגביל את הזכות של בן אדם להשתמש בפלאפון שלו בצורה כזו או אחרת, אבל אנחנו כן אומרים לרופא, אותו רופא, שבגלל שהוא רופא, החובה האתית שלו כאיש מקצוע היא לנהוג על פי כללים מסוימים, ואנחנו נגדיר את הכללים האלה. ואז אנחנו כמובן נשאיר למשרד הבריאות את הדרך לפקח ולעשות את הרגולציה על הנושא הזה.

אבל אני חושב שחשוב להדגיש שאנחנו יושבים וכותבים את הכללים בנושא הזה. הבעיה בהחלט קיימת, היא קיימת מכל מיני כיוונים, גם מהעובדה שזה פורץ מאוד מהר, גם מהעובדה שפוטנציאל הרווח הוא מאוד גדול, גם הבריאותי, ולכן חייבים לראות שאנחנו לא מפסידים את הרווח הבריאותי בגלל הפחד מטכנולוגיה חדשה.

<< יור >> היו"ר רון כץ: << יור >>

יוסי, אתם היום לפחות מבקשים מהרופאים ליידע את המטופלים האם המידע התקבל, אתה יודע, אפילו אתה מעלה היום סרטון ברשתות החברתיות, יש לינק כזה שאתה מסמן כוכבית שזה יוצר על ידי AI, השאלה אם רופא אומר המידע מבוסס על בינה מלאכותית.

<< אורח >> יוסף ולפיש: << אורח >>

בוודאי שיש חובה אתית לרופא להסביר את ההחלטות שלו, זה מופיע גם בחוק. חוק זכויות החולה אומר שאתה מחויב לתת למטופל את כל האינפורמציה ורופאים מאוד מקפידים על זה.

<< יור >> היו"ר רון כץ: << יור >>

אתם עושים בדיקה עם הרופאים כמה, עזוב משתמשים בכלי, כמה מיידעים את החולים שככה הם קיבלו את ההחלטה? נעשתה איזושהי בדיקה כזאת? כי לדעתי, הנתונים יהיו אחרים.

<< אורח >> יוסף ולפיש: << אורח >>

אני לא מכיר וגם קשה לי להאמין שיש דרך לעשות את זה. זאת אומרת, היכולת של - - -

<< יור >> היו"ר רון כץ: << יור >>

סקר.

<< אורח >> יוסף ולפיש: << אורח >>

נכון, סקר. אני לא מכיר סקר כזה, זאת שאלה מעניינת. אני יודע שעושים הרבה מחקרים על השימוש ב-AI, אבל אני לא מכיר סקר שבודק, למשל מהזווית שלי, עד כמה רופאי משפחה מיידעים מטופלים כשהם משתמשים בכלים של טכנולוגיה חדשה. כמובן שיש נייר עמדה כבר בעבר שכותב שיש חובה לרופא ליידע מטופלים על שימוש בטכנולוגיות חדשות וחובה על הרופא ליידע בכלל על השימוש בטכנולוגיות שהוא משתמש בהן. זו חובה אתית שנגזרת גם מחוק זכויות החולה וגם מהתפיסות האתיות שלנו, אבל אנחנו צריכים לכתוב דברים הרבה יותר מותאמים ספציפית ל-AI ולטכנולוגיות החדשות כי הבעיות הן בסדרי גודל אחרים.

<< יור >> היו"ר רון כץ: << יור >>

השאלה אם הרפואה - - -

<< אורח >> יוסף ולפיש: << אורח >>

אבל אין לי מידע לתת לך.

<< יור >> היו"ר רון כץ: << יור >>

זהו, הרפואה בטוח השתנתה. אני יכול להגיד לך שאני בן של רופא ואח לרופאה, הפער ביניהם הוא 50 שנה. אבא שלי עוד פותח את הספרים הירוקים וקורא ומתאים תרופות, אחותי הקטנה, אני כבר לא יודע במה היא משתמשת. השאלה אם אתם יודעים למפות את סוגי הרפואה, את סוגי הרופאים, איך הם מקבלים את ההחלטות. האם נעשה איזשהו סקר כזה ארצי, ואם לא, יש מקום לשקול. משרד הבריאות, יש מקום לשקול כן לצאת באיזשהו סקר כזה, כי גם זה מאוד מהיר וגם זה יתן לנו אילו שהם נתונים יותר מדויקים לדעת מה רוחב התופעה שמתמודדים איתה.

<< אורח >> יוסף ולפיש: << אורח >>

בהקשר הזה אנחנו מאוד דומים, גם אני בן של רופא ואח של רופאה.

<< יור >> היו"ר רון כץ: << יור >>

אתה יצאת יותר מוצלח, יצאת רופא בעצמך, תראה אותי.

<< אורח >> יוסף ולפיש: << אורח >>

לא יודע, אני רואה בחברי הכנסת שלוחים של הציבור, אני מאוד חושב שזה חשוב. אבל באופן כללי, אני לא מכיר סקר כזה, אם משרד הבריאות ירים כרגולטור את הכפפה, זה כבר עניין שלו. אבל שיתוף הפעולה הזה מאוד חשוב לנו, אנחנו נציג לוועדה בשמחה ברגע שנוציא נייר. אנחנו כמובן בקשר עם משרד הבריאות בעניין הזה. ואני חושב שמי שצריך לקבוע את הכללים האתיים של איך להשתמש בכלים האלה צריכה להיות הלשכה לאתיקה של ההסתדרות הרפואית.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה. נמצא איתנו ברוך ליברמן, מנכ"ל ומייסד חברים לרפואה. ברוך, בבקשה.

<< אורח >> ברוך ליברמן: << אורח >>

שלום. האמת שאני חלקית בכובע של מקשיב. אני אסביר את החלק שלנו. אנחנו מטפלים באלפי מקרים כל חודש, או כמעט 700 מקרים רק של מקרים אונקולוגיים של תרופות בחודש. אנחנו מקבלים עשרות רבות של מסמכים מחולה בודד, והניתוח של המסמכים האלה ברמה של ה-AI היום יכול להביא המון, המון מידע שלא יסולא בפז מבחינה אמיתית.

<< יור >> היו"ר רון כץ: << יור >>

אתם עושים בו שימוש כבר היום?

<< אורח >> ברוך ליברמן: << אורח >>

אנחנו מתכננים לייצר המון שימוש, אנחנו מתחילים לייצר.

<< יור >> היו"ר רון כץ: << יור >>

עם איזה כלי אתם עובדים?

<< אורח >> ברוך ליברמן: << אורח >>

אנחנו עדיין לא עובדים עם כלי, והסיבה העיקרית היא נושא הבטיחות. אני מדבר פה על נושא שהוא הזכיר אותו, הנושא העיקרי שאני חושב שהוא הבעיה ועליו יצטרכו להתמודד, זה נושא האבטחה, הבטיחות. לא עצם החומר, כי היכולת להשתמש בחומרים הוא אדיר, וזה שרופא צריך לעשות את זה בצורה מקצועית ביותר זה נכון, אבל אפילו רופא היום שמסכם בצורה רגילה, כמעט כל רופא בבית חולים אחר עושה סיכום ורושם בסוף את שם המחלה לא כמו הקוד שלה ואז גם כשאתה מקבל משני רופאים שונים או מרופא אפילו באותו בית חולים, יכול להיות סיכום שונה לגבי איך הוא מגדיר את המחלה ומה האבחנה שלו.

זאת אומרת, הקוד והאבחנה לא אותו דבר, בטח שבבין-לאומי, ואפילו על זה אין רגולציה מספיק שמחייבת את כולם לעשות בדיוק את אותו הדבר. זאת אומרת, השגיאות יכולות להתחיל גם ברמה אישית. זאת אומרת, זה אפילו לא ה-AI, זה הניתוח של המידע ואיך המידע הזה יעבור בצורה נכונה, טובה ומקצועית. אבל אין ספק שאם יגבילו את כל השימוש הפיזי ב-AI או יתנו לזה הפרעה, דבר ראשון, לא נראה לי שמישהו יוכל אי פעם לעצור דבר כזה, כי המציאות היא תמיד חזקה מכל דבר, אבל הבטיחות של זה היא אולי המקום לטפל ולשמוע איך נעשה את הדברים מאובטחים יותר ושנוכל לשמש בהעברת המידע.

יש דבר שגם קורה הרבה, אנשים לא יודעים, אבל כל דבר שאנחנו רושמים ב-AI, הוא שומר אותו, שומר אותו יותר מגוגל.

<< יור >> היו"ר רון כץ: << יור >>

ככה הוא לומד.

<< אורח >> ברוך ליברמן: << אורח >>

וככה הוא לומד. והבינה שלו היא בינה מאתגרת. ואני מדבר לא מבחינת זה שהוא יכתוב לאנשים דבר שגוי, אלא שהוא פשוט לוקח את המידע שלי, שהוא לפעמים מידע חשוב מאוד ופרטי, והוא מעניק אותו בחינם למישהו אחר. ופה העניין של הפרטיות הוא נושא יותר קריטי.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה. נמצא איתנו ד"ר איתן בהירי ממאוחדת. תרצה לספר איך זה עובד אצלכם?

<< אורח >> איתן בהירי: << אורח >>

כן, אני לא רוצה להוסיף כרגע לדברים שנאמרו פה, אבל אני חושב שיש פה כמה נקודות חשובות מבחינת ההבנה של המערכות האלה.

<< יור >> היו"ר רון כץ: << יור >>

לכם יש נתונים דרך אגב, אפרופו הנתונים? כלומר, עשיתם בדיקה כמה מהרופאים שלכם משתמשים ובאיזה כלי ובאיזה אופן?

<< אורח >> איתן בהירי: << אורח >>

לא עשינו, אנחנו יודעים שבגלל שכיבינו אתר, קיבלנו תלונות מרופאים של למה אין להם גישה לאתר שהוא מופנה ליצירת מידע על ידי רופאים.

<< יור >> היו"ר רון כץ: << יור >>

איזה אתר?

<< אורח >> איתן בהירי: << אורח >>

נקרא OpenEvidence.com. אולי אני אתחיל רגע משפט אחורה. הרבה מהתלונות והרבה מהדברים שאנחנו שומעים עליהם, כולל הנושא הזה של ההזיות, הוא נובע מהמושג הזה שנקרא Generative AI, AI יוצר. אלה אלגוריתמים שלא תמיד אנחנו יודעים מה יש בפנים, גם לא תמיד יודעים בדיוק איך הם עובדים, אבל בסופו של דבר הם מסתכלים על בסיסי נתונים ענקיים ומתוך זה מנסים להבין מה התשובה לשאלה שאנחנו שואלים, ו-Chat GPT הוא דוגמה טובה לזה, Chat GPT מסתכל על כל העולם.

אבל אפשר להשתמש במודלים האלה שלומדים איך לענות על שאלה אבל לצמצם את העולם שלהם, לצמצם את העולם שלהם לתחום למשל של כתבי עת רפואיים או ספרים רפואיים, ואז בצורה כזאת, האתר הזה במקרה, אני פשוט גיליתי אותו בטעות ואני משתמש בו כדי לענות על שאלות רפואיות, ומבחינת השימוש היום-יומי, אין לו הזיות וזה גם נבדק מחקרית. זאת אומרת, כמות ההזיות שלו היא מינימלית. וחשוב להבין שזה המצב, וכל דבר אחר שבו אנחנו מתכננים להשתמש או נשתמש בעתיד, מדובר הרבה פעמים בממשקים למערכות רפואיות או מכשור רפואי קיים.

דיברו פה על הדמיה. יש כלים בעולם הרחב שתוקפו וגם קיבלו אישור של ה-FDA שעוזרים לרופא למשל לתעדף את בדיקות ההדמיה, כדי שהוא יסתכל על הדברים הדחופים והחמורים יותר קודם לעומת דברים אחרים. דרך אגב, כל מי שעבר פה איזושהי בדיקת א.ק.ג, כל מכשיר א.ק.ג נותן בסופו של דבר גם אינטרפרטציה של הא.ק.ג, בלי שהרופא מסתכל על זה. זאת אומרת, יש לנו הרבה מאוד כלי עזר שהם לא בהכרח כלי AI שעוזרים לנו ביום-יום שלנו.

עלתה פה עוד איזושהי נקודה שאני חושב שחשוב, אני אומר את זה יותר ברמה האישית שלי, זה לא כל כך מאוחדת, אבל אני חושב שחשוב להבין אותה, זה שגם מכוניות אוטונומיות עושות הרבה מאוד רעש. זאת אומרת, כשיש תאונה של מכונית אוטונומית, כולנו עוצרים רגע ואומרים, אוי ואבוי, האם אני ארצה להיכנס לתוך מכונית כזאת? אבל זאת לא השאלה הנכונה. זאת אומרת, השאלה הנכונה היא בסופו של דבר, פר קילומטרים של נסיעה, כמה טעויות וכמה תאונות עשו המכוניות?

<< יור >> היו"ר רון כץ: << יור >>

זה מה שאני מנסה לגלות עם האחוזים של מי משתמש, כמה משתמשים. אני לא חושב שאנחנו מבינים את גודל התופעה, כי אין לנו מספיק נתונים בשביל לקבל אותם. בגלל זה אני שוב חוזר למשרד הבריאות, אני חושב שחייב לייצר איזה סקר כזה, אפילו לא מאוד מעמיק, אבל שנדע מה, 60% מהרופאים, 40% מהרופאים, כמה משתמשים בזה בכלל? ואז לפי זה נוכל להתעמק ולהבין במה משתמשים, אילו סוגי רופאים.

<< אורח >> איתן בהירי: << אורח >>

עוד נקודה אחרונה. מבחינת מאוחדת, אנחנו הגדרנו את השנה הזאת כשנת ה-AI.

<< יור >> היו"ר רון כץ: << יור >>

גם אני.

<< אורח >> איתן בהירי: << אורח >>

זאת אומרת, אנחנו כן מחפשים להכניס יותר ויותר כלים, אבל במקביל אנחנו בונים את התהליך שעל פיו אנחנו נגדיר איך אנחנו רוצים לעשות את זה. סתם אני אתן כדוגמה, כל אותם אלגוריתמים, דרך אגב, זה גם במחקר הרפואי הרגיל שעושים, אתה צריך לראות שאין הטיות. אם אני מסתכל על מחקרים, ועולם המחקרים שלי הוא מחקר של מחקרים בארצות הברית, האוכלוסייה בארץ, אומנם כולנו בני אדם, אבל המזון שאנחנו אוכלים הוא שונה, רמת הרפואה שלנו היא שונה, הנגישות לרפואה הן שונות. לא בהכרח המידע שאותן מערכות מסתכלות עליו הוא זהה למה שהייתי מצפה לקבל לאוכלוסיות פה בארץ. חשוב לזכור את הנקודה הזאת.

ואחרון, אחרון חביב, שזאת אולי נקודה, אם יהיה כיוון של לבנות רגולציה, אנחנו כמובן רוצים להיות שותפים בתהליך הזה, אבל אני חושב שאיזושהי נקודה שהיא חשובה מבחינתנו, ומבחינת המטופלים דרך אגב, היא שאנחנו נוכל להסביר את ההחלטה של מערכת ה-AI. זאת אומרת, היום כשאתה רואה Chat GPT, אתה לא בדיוק יודע איך הוא הגיע לתשובה, וגם אם אתה מבקש ממנו רפרנסים, זאת אומרת, על בסיס מה הוא התבסס, לא תמיד זה עוד לגמרי מדויק ולא תמיד אתה מבין איך הוא הבין את מה שהוא הבין. לעומת זאת, במערכות אחרות, הן כבר כן יודעות לצמצם את זה וכן יודעות לתת לך את הרפרנסים של המאמרים והספרים המדויקים שעליהם הן הסתכלו כדי שתוכל גם לבדוק את המידע שקיבלת. זה חשוב שזה לא יהיה קופסה שחורה, אלא שנוכל להבין איך המערכת הגיעה להחלטה שהיא הגיעה אליה.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה. אנחנו נמשיך עם קופת חולים לאומית.

<< אורח >> אדם ערוץ: << אורח >>

נעים מאוד, אדם ערוץ, מנהל הגנת מידע וסייבר בלאומית שירותי בריאות. אני פה בשביל להציג איזשהו פן אולי קצת שונה שכן - - -

<< יור >> היו"ר רון כץ: << יור >>

לכם יש אולי נתונים כמה מהרופאים משתמשים ובאיזה כלי?

<< אורח >> אדם ערוץ: << אורח >>

תכף אני אגע בכלים, נתונים אין משהו מדויק עדיין. אני אביא נקודת מבט אולי קצת שונה, אבל שכן מתקשרת לכל נושא האתיקה גם, טיפה דיברו עליה פה מסביב. בסופו של דבר, כמו שגם נאמר פה, כלי AI זאת הקדמה ואי אפשר באמת לעמוד בפני הקדמה, מי שניסה בעבר נכשל. ויחד עם זאת, באמת הנושא של AI הפך להיות ה-Buzzword החדש ומכניסים אותו היום בכל דבר, כל דבר, גם איפה שלא צריך.

רואים בסך הכול, וזה גם משהו שנאמר פה, כן רואים שנושא ה-AI, כמו בעולמות המשפט למשל, כן יוצר איזושהי הסתמכות מקצועית שהרבה פעמים גורמת גם לפגיעה מקצועית, ואני חושב שזה איזשהו חשש מהותי מאוד בהקשר הזה. החשש שאותי הרבה יותר מעניין הוא הנושא של השימוש בכלים האלה בהקשר של פרטיות המטופלים.

אפשר בסופו של דבר לראות, וזה גם נאמר פה, כן? מידע שמועלה היום לכלי AI משמש לאימון. הרי בסוף זה כלי שבא ועושה חיקוי של מה שהוא יודע, זה אופן הלמידה שלו, כל מה שמעבירים אליו הוא אוגר ולומד אותו ומשתמש בו אחר כך, וגם משתף אותו. הרבה מחברות ה-AI האלה שנמצאות היום מאוד פרוצות מבחינת מדיניות הפרטיות שלהם, מבחינת מה שהן עושות עם המידע הזה. חלקן מוכרות אותו, חלקן לא מגינות עליו כמו שצריך, כמו למשל שראינו בכלי AI סיני, DeepSeek, לאחרונה, שפשוט היה פרוץ לגמרי ומידע רב מאוד דלף משם, וגם מוכרים אותו, זה גם משהו שקורה בחלק מהכלים האלה וזה אפילו מצוין במדיניות הפרטיות שלהם.

בסופו של דבר, אני חושב שזה מתקשר באמת לנושא האתי, האם זה אתי עבורנו לבוא ולהעלות עכשיו תיק רפואי שלם לכלי AI כלשהו? כלומר, יש פה שני שיקולים. מצד אחד, זה גם משהו שדיברו, נושא הדיוק. כן רוצים להגיע לרמת דיוק גבוהה, שהכלי יכיר את המדדים המדויקים, את הגיל, את המשקל, את כל הדברים שקרו. מצד שני, אנחנו מדברים פה על מידע פרטי רפואי, PHI, שאנחנו מעבירים לאיזשהו כלי, שבהרבה מקרים הכלים האלה לא מספיק אפויים, לא מספיק מבושלים, וזה יכול באמת לגרום לבעיות פרטיות די קשות.

עלה פה גם נושא המחקרים, שגם שם זה משהו שאני אישית רואה אותו, אני חלק מוועדת המחקר בלאומית, שמאשרת מחקרים, ובאמת הרבה פעמים רוצים לבוא ולעשות איזשהו מחקר בעזרת כלי AI ומדובר על מידע נורא מסיבי של מטופלים, לפעמים אפילו מאות אלפים של רשומות רפואיות שרוצים לבוא ולהעלות לשם. ואפילו אם זה באופן אנונימי, עדיין יש שם סיכון מסוים.

<< יור >> היו"ר רון כץ: << יור >>

אצלכם לא משתמשים בכלים?

<< אורח >> איתן בהירי: << אורח >>

רגע, אני אגיע לזה. משתמשים בכלי AI, תכף אני גם אסביר באיזה הקשר. רק עוד שני נושאים אחרונים לפני שאני אגש ספציפית אלינו. גם דיברו על הנושא של חובת הגילוי, שרופא בא ומשתמש באיזשהו כלי AI, מעבר לזה גם יש את הנושא של חובת, נקרא לזה ההסכמה, אוקיי? הסכמה מדעת. שהמטופל גם יבין שהוא צריך לבוא ולאשר עכשיו שהפרטים שלו הולכים להיכנס לכזה כלי ולהיאסף שם ולהיאגר שם, שזה כבר יותר מחוזות של עולמות הפרטיות, שזה גם מוביל אותי לנושא האסדרה.

בסוף, כן, הרשות להגנת הפרטיות, משרד המשפטים באו וכן עכשיו התחילו איזשהו תהליך של אסדרה בנושא כלי AI בעולמות הפרטיות, איך לעבוד איתם.

<< יור >> היו"ר רון כץ: << יור >>

למרות שאם אתה מוריד אבל את השמות הפרטיים ונותן רק את תיאור המקרה, יש עם זה עדיין בעיה?

<< אורח >> איתן בהירי: << אורח >>

זהו, זה מאוד, מאוד תלוי.

<< יור >> היו"ר רון כץ: << יור >>

כי יודעים להשחיר בעולמות הבריאות.

<< אורח >> איתן בהירי: << אורח >>

נכון, וזה גם משהו שאנחנו עושים עם חלק מהכלים שלנו, אנחנו כן עושים תהליך של התממה. הבעיה שהרבה פעמים ההתממה הזאת היא לא מספיק אפקטיבית, כי הרבה פעמים אנחנו מדברים על סיכום שבתוך הסיכום עצמו מציינים פרטים מזהים וצריכים כלים שיבואו ויאתרו את הנתונים האלה בשביל, כמו שאתה אומר, להשחיר אותו, להתמים אותו, וזה הרבה פעמים לא קורה. כלומר, אנחנו ראינו שזה לא ברמת אמינות מספיק גבוהה כדי שיהיה אפשר באמת להסתמך על זה.

<< יור >> היו"ר רון כץ: << יור >>

מה המלצה שלכם? איך זה עובד אצלכם?

<< אורח >> איתן בהירי: << אורח >>

בסופו של דבר, אנחנו עובדים לרוב עם כלי AI פנימיים, אנחנו לא מסתמכים על כלים חיצוניים שאין לנו שום שליטה עליהם. או שאותו כלי יושב אצלנו, או שהוא יושב באיזשהו ענן פרטי שלנו ולנו יש שליטה על מה קורה למידע הזה, אם הוא עובר למידה, אם הוא לא עובר למידה, אם משתפים אותו, אם לא משתפים אותו. זה השלב הראשון. דובר פה גם באמת על תהליך של תקינה ואקרדיטציה.

<< יור >> היו"ר רון כץ: << יור >>

אבל בדקתם האם הרופאים שלכם עושים שימוש בכלים אחרים שלא בשליטה שלכם?

<< אורח >> איתן בהירי: << אורח >>

כן. בוא נגיד ככה, יש שימוש, אוקיי? לרוב זה - - -

<< יור >> היו"ר רון כץ: << יור >>

איך אתם יודעים שיש שימוש?

<< אורח >> איתן בהירי: << אורח >>

אנחנו יכולים לעקוב אחרי זה ולראות.

<< יור >> היו"ר רון כץ: << יור >>

כמה כאלה יש באחוזים? כמה רופאים משתמשים בזה?

<< אורח >> איתן בהירי: << אורח >>

אין לי אחוזים מדויקים, אנחנו כן ראינו שימוש אבל די משמעותי בכלים כאלה, שאנחנו מגבילים אותם, אנחנו יוצרים הגבלה, כלים שהם לא מטעמנו. אנחנו כן מאפשרים נגיד לרופא לבוא ולכתוב שם פרומפט מסוים, אנחנו לא מאפשרים להעלות קבצים, לעשות העתק-הדבק, להוריד משם דברים, וכל הדברים האלה זה גם לא כחלק, בוא נגיד, אינטגרלי מהתיק הרפואי עצמו, שהוא מופרד לזה לגמרי.

זה באמת אחד השימושים שאנחנו עושים היום. למשל, אחד השימושים האחרונים שאנחנו כרגע באיזשהו תהליך בחינה שלו זה נושא של ניתוח וסיכום של הקלטות פגישות של בריאות הנפש על ידי כלי AI, תוך כדי שזה עובר תהליך של התממה בדרך. כלומר, יש איזו הקלטה, ההקלטה הזאת עוברת באופן מותאם לכלי AI מסוים, הוא עושה שם סיכום של כל מה שקרה ומעביר את זה אחר כך אל הרופא.

<< יור >> היו"ר רון כץ: << יור >>

אבל המטופל אישר את זה?

<< אורח >> איתן בהירי: << אורח >>

בדיוק, זה עם תהליך של אישור של הסכמה מדעת, וזה גם חייב להיות מתועד. אני רק אסכם שלדעתי כן נדרשת אסדרה בתחום הזה כי היום הוא די פרוץ. אני חושב שכן צריך להסתכל על הרשות להגנת הפרטיות ומשרד המשפטים עם האסדרה שהם עושים בעולם שם. מצד שני, וזה גם משהו שנאמר פה על ידי כללית גם, לא צריכים להגיע למצב של רגולציית יתר, זו רגולציה שכן צריכה להיות בהלימה לתקינה שכבר קיימת היום, כמו למשל תקני ISO 42001 שזה בא ויסדיר את זה, אבל מצד שני לא יצור גם סרבול כדי למנוע את הקדמה הזאת.

<< יור >> היו"ר רון כץ: << יור >>

תודה רבה. בואו רגע נקפוץ למשרד הבריאות, שמעת הרבה, בואו נראה איפה אנחנו עומדים עכשיו ואם חידשו לך פה דברים ומה אתם עושים בנושא הזה. לירון זהר, סגנית ראש חטיבת הטכנולוגיות, כבר חברה קבועה.

<< אורח >> לירון זהר: << אורח >>

צוהריים טובים לכולם. יש פה עוד קולגות שלי מהמשרד, אני אשמח שתשלימו אותי או אם יהיו לכם הערות נוספות. אני שוב מברכת על הדיונים הללו כי אני חושבת שכל הנושא של הבינה מלאכותית במערכת הבריאות זה כמובן נושא מאוד חשוב שצריך לשים עליו את הפוקוס. שבוע שעבר למשל היינו בדיון בוועדת שרים שדיברו באופן כללי על בינה מלאכותית בכלל המערכת ובישראל ולא שמים את הפוקוס על הבריאות, ואני חושבת שהתפקיד שלנו הוא באמת להעלות את זה לשיח ולשים על זה פוקוס, כולל כל הדברים שדיברנו עליהם גם בעבר, כולל תקציבים, כולל להגדיר את זה כתוכנית לאומית.

<< יור >> היו"ר רון כץ: << יור >>

לירון, נשמח אם תתני לנו גם כמה מילים על זה, מה שדיברנו, לאן זה התקדם. אני יודע שהיו כמה פגישות אצל המנכ"ל, השר, אבל - - -

<< אורח >> לירון זהר: << אורח >>

נכון, היו כמה פגישות. המנכ"ל, כמו שאמרתי בפעמים הקודמות, שם את זה בראש סדר עדיפויות, מעלה את זה בכל מיני נושאים, גם בהטמעה של בינה מלאכותית בתוך העשייה המשרדית, בחטיבות השונות, כדי לשפר את השירות שניתן לציבור. אנחנו הקמנו קבוצת עבודה שיושבת אחת לשבוע שמרכזת חטיבות משמעותיות שקשורות להטמעת בינה מלאכותית, יש פה נציגות של הקבוצה הזאת. בריאות דיגיטלית, לשכה משפטית, חטיבת הרפואה מצטרפים, באמת איזושהי חשיבה שהיא רחבה יותר, ואנחנו עושים את זה אחת לשבוע ומקדמים את הסוגיה המאתגרת.

<< יור >> היו"ר רון כץ: << יור >>

מה לגבי תקציב?

<< אורח >> לירון זהר: << אורח >>

אנחנו צריכים, אני חושבת, לחשוב על באמת להכניס את זה - - -

<< יור >> היו"ר רון כץ: << יור >>

אין לזה תקציב ייעודי?

<< אורח >> לירון זהר: << אורח >>

כרגע לא, לצערי. אנחנו כן חושבים על לבנות, כמו שאמרתי - - -

<< יור >> היו"ר רון כץ: << יור >>

שותפות לפורום גם קופות החולים ובתי החולים?

<< אורח >> לירון זהר: << אורח >>

אני אענה על הכול. יש לנו גם התחלה של פורום יותר רחב שאנחנו רוצים לעשות שיח עם גורמים שונים באקוסיסטם כדי לבדוק יחד איתם את הסוגיות שאנחנו כבר חשבנו עליהן, לראות כמה זה נכון ורלוונטי למציאות שקורית היום בשטח.

חשוב לי להתחיל ולומר ולהדגיש שאין היום מקרים, בדקנו גם אצלנו בחטיבת הרפואה, שבהם היו אילו שהם אירועים חריגים שקרו בגלל אירועים של שימוש ב-Chat GPT ו-OpenAI וכולי. את זה חשוב לי לומר.

<< יור >> היו"ר רון כץ: << יור >>

יכול להיות שיש אירועים שאתם לא מכירים. מינון של תרופה לא נכון, אלה דברים שלוקחים זמן. Chat GPT עדיין לא מנתח.

<< אורח >> לירון זהר: << אורח >>

יכול להיות, אבל כרגע, מהמידע שלנו אחרי הפנייה הזאת, זה בתור התחלה, לא קרה משהו שקשרו בין שני הדברים. וכמו שנאמר פה על ידי מוזמנים נוספים, גם גוגל יכול לשמש לזה ועוד מקורות מידע שהם לא מבוססים, אבל הצוות הרפואי - - -

<< יור >> היו"ר רון כץ: << יור >>

לירון, את לא מכניסה לגוגל תמונה של פיענוח של CT ושואלת אותו שאלות על הפיענוח והוא נותן תשובה. העניין פה שאת לא תראי בטווח הזמן המיידי פגיעה כי הצ'אט עדיין לא מנתח, אבל הוא כן נותן תרופות שעלולות להשפיע על העתיד של אותו מטופל ונדע את זה חלילה עוד תקופה.

<< אורח >> לירון זהר: << אורח >>

קודם כול, אני רגע רוצה לעשות את ההפרדה שגם נעשתה פה מקודם בין תוכנות פתוחות לבין ייעודיות. הכלים הפתוחים, מה שחשוב בהם, בעיניי לפחות, זה הנושא של חינוך של הצוותים למגבלות של הכלים האלה לצד הפוטנציאל שיש בהם. וכן אני חושבת שנכון לעשות איזושהי הגדרה, הנחיה, וכמו שנאמר פה קודם, למשל בנושא של הניסויים הקליניים, ואנחנו נרחיב את זה, אנחנו כן נותנים עקרונות כלליים.

חשוב לומר גם שאנחנו נמצאים בקבוצות עבודה בין-לאומיות, וכל העולם מתמודד עם הסוגיות האלה. זאת אומרת, כל השאלות שעלו כאן, שהן שאלות חשובות ונכונות וחשוב שאנחנו נתייחס אליהן, הן שאלות שעולות גם בפורומים בין-לאומיים, לאף אחד אין איזושהי תשובת קסם. אנחנו נמצאים בקבוצות האלה, לומדים יחד איתם את הדברים ובוחנים מה הדרך הנכונה לתת אילו שהם עקרונות.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לאן אתם שואפים להגיע בסוף?

<< אורח >> לירון זהר: << אורח >>

אני אגיד, כי זו בדיוק הנקודה הבאה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> מה הפלטפורמה שתצא אחרי כל הדיונים וכל הדברים? האם תהיה איזושהי פלטפורמה מסוימת שתהיה ברגולציה כזו או אחרת או מה, שהיא תהיה העסק שיתחיל לקבל בברכה את פריצת ה-AI לחיינו בתחום הבריאות?

<< אורח >> לירון זהר: << אורח >>

אני אגיד, נאמר פה קודם לכן, יש היום רגולציה. זה לא שזה לא קיים, זה לא שהתחום פרוץ, יש רגולציה באגף ציוד רפואי שמאשרים את התוכנות האלה אם הן מיועדות לטיפול רפואי. אנחנו מדברים על הדברים שמעבר, שזו גם הנקודה שחבר הכנסת העלה.

<< יור >> היו"ר רון כץ: << יור >>

כלומר, כל תוכנה ייעודית שבית חולים או קופת חולים משתמש, אתם צריכים לאשר?

<< אורח >> לירון זהר: << אורח >>

כן.

<< יור >> היו"ר רון כץ: << יור >>

אבל הם מעדכנים אתכם שזו תוכנה ייעודות? כלומר, יש Chat GPT כזה, הוא סתם שם קוד למשהו, בטח יש עוד כמה כאלה.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לא, היא מדברת על תוכנה מטפלת.

<< אורח >> לירון זהר: << אורח >>

אם זה משמש לטיפול רפואי, כן. זאת הרגולציה היום. אני רוצה אבל להדגיש משהו שנאמר פה וחבר הכנסת רון כץ גם דוחף לכיוון הזה ומבין את המשמעות של הדבר הזה. התחום של ה-AI הוא באמת תחום שמשתנה מאוד, מאוד מהר ואנחנו נמצאים בשלב שאם אנחנו לא מובילים את הדבר הזה, אנחנו באמת יכולים להישאר מאחור, זה מאוד משמעותי. לצד החשש של הכנסת שינויים, חשוב לדחוף גם את זה, כי יש המון, המון, המון רווחים ופוטנציאל עצום, בטח במערכת הבריאות, לתחום הזה.

צריך לעשות את זה חכם, אנחנו כן יושבים וחושבים על הדברים האלה בקבוצות עבודה, כמו שאמרתי, ובוחנים, ויש לנו גם מהלכים שאנחנו מתכננים לצאת איתם בקרוב כדי לבחון בצורה מבוקרת את החדשנות בתחום של בינה מלאכותית, איך היא יכולה לעזור ואילו מגבלות או קריטריונים וגבולות אנחנו צריכים לשים כמערכת ואחר כך כמובן לפקח עליהם.

<< יור >> היו"ר רון כץ: << יור >>

לירון, את תוכלי לתת לנו גם לוחות זמנים? יש לכם אילו שהן אבני דרך עד המטרה הסופית שהיא גם דחיפת הנושא קדימה, אבל גם שליטה באירוע? כלומר, יש איזה לו"ז?

<< אורח >> לירון זהר: << אורח >>

אנחנו מתכננים לצאת עם איזשהו מהלך בחודשיים הקרובים שיעזור לנו להגדיר קצת את גבולות הגזרה, ואחר כך אנחנו עובדים על איזושהי תוכנית יותר רחבה שלוקחת זמן, כי זו תוכנית משמעותית, לאומית, עם כל ההיבטים שעלו כאן ונוספים שצריכים להילקח בחשבון. ולתוכנית הזאת אנחנו מקווים שנצליח להגיע במשא ומתן עם האוצר לאיזושהי צביעה של תקציב כדי שבאמת נוכל להניע את המערכת יותר מהר לכיוון היעדים שאנחנו רוצים.

אני רק אתייחס לסוגיה שהעלית בנושא הסקר. אני חושבת שזה מאוד, מאוד חשוב גם לנו כמי שרוצה לדחוף את המערכת, לאו דווקא כמי שחושש ונזהר מהסיכונים, כי גם את זה אנחנו עושים ולוקחים בחשבון, אבל צריכים לדחוף את המערכת גם לשם. אני חושבת שמאוד נכון כן לעשות איזשהו סקר כזה, להבין.

<< יור >> היו"ר רון כץ: << יור >>

לכן יש את האפשרות לעשות, נכון? אתם יודעים להגיע לכל הרופאים.

<< אורח >> לירון זהר: << אורח >>

אנחנו צריכים לחשוב איך לעשות את זה נכון, כי גם אם אנחנו רוצים משהו שהוא יחסית מהיר כדי לחוש את הציבור של הרופאים בהקשר הזה, יכול להיות שצריך לעשות את זה עם קופה אחת ולאו דווקא מאוד רחב. צריך לחשוב מה נכון, איך לעשות את זה נכון, ומה השאלה הנכונה בסקר, אבל אני כן חושבת שהעמדות והשימושים של הרופאים בהקשר הזה הם מאוד חשובים לנו להכיר כדי לדעת איך להניע את המערכת לכיוון הזה. אני מקווה שעניתי על השאלות.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> שאלה קטנה. כלפי הציבור, עכשיו לא כלפי הרופאים, יש את החלק של הרופאים, קיבלנו את התשובה, כלפי הציבור. אני זוכר שהיה בזמנו פרסום, לא יודע אם זה היה משרד הבריאות או ההסתדרות הרופאים, שהזהירו את הציבור לא לעשות דברים דרך גוגל, זאת אומרת, לקבל החלטות רפואיות. היה פעם משהו. האם לא היה כדאי להזהיר? כי היום ילדים של השכנים, בני 14 ו-12, כבר יודעים, ואחר כך יכתבו: כואב לי הגרון, כואב לי הזה, מה לעשות? והוא יכתוב לו מה לעשות.

<< יור >> היו"ר רון כץ: << יור >>

שווה קמפיין.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> האם לא היה שווה איזה קמפיין כרגע כלפי הציבור? כלפי הרופאים לא צריך קמפיין, כלפי הרופאים צריך רגולציה וצריך את מה שדיברת כרגע. זה חומר למחשבה, מה שנקרא.

<< אורח >> לירון זהר: << אורח >>

רק אני אעיר. אני מסכימה שההיבט של ניהול השיח אל מול הציבור הוא גם מאוד, מאוד חשוב. אני חושבת שזה חלק מהתוכנית הכללית יותר שבה אנחנו נתייחס לנושא הזה.

<< אורח >> מרים פינק לביא: << אורח >>

לירון, אני יכולה להוסיף משהו? מחטיבת רפואה.

<< יור >> היו"ר רון כץ: << יור >>

בבקשה.

<< אורח >> מרים פינק לביא: << אורח >>

אני ד"ר מרים פינק, אני סגנית ראש חטיבת רפואה, אני פסיכיאטרית ילדים בתפקיד שלי, ורציתי קצת להביא את הפרספקטיבה של בריאות הנפש דווקא.

<< יור >> היו"ר רון כץ: << יור >>

חשוב.

<< אורח >> מרים פינק לביא: << אורח >>

מה שראינו בשנים האחרונות, עם הממש מגפה של התחלואה הנפשית, שהכלים של AI היצירתיים שמתפתחים יאפשרו לנו, בעזרת השם, להשלים את הפערים שיש לנו. זאת אומרת, אנחנו רואים, והיה פרויקט מדהים של משרד החדשנות יחד עם משרד הבריאות ומשרדים נוספים שעסק בפיתוחים ספציפיים.

<< יור >> היו"ר רון כץ: << יור >>

הייתה לנו ועדה שלמה על זה בוועדה הקודמת, היו חברות שאחרי 7 באוקטובר נכנסו בדיוק לנישה הזאת, שלוקח המון זמן עד שקובעים פגישה לטיפול, והם בין לבין מנסות לעזור.

<< אורח >> מרים פינק לביא: << אורח >>

נכון. ובנישות נוספות שאנחנו יודעים שיש בהן חסר מטורף, כמו טיפול בילדים, טיפול באוכלוסיות פריפריאליות, טיפול באוכלוסיות טראומה, ונכנסו פיתוחים מאוד, מאוד פורצי דרך בשנה האחרונה, ואנחנו מאוד מברכים על זה. אני יכולה להגיד בכובע של חטיבת הרפואה ששיתוף הפעולה בתוך המשרד הוא מאוד, מאוד הדוקה בנושא, גם עם הקופות.

הרגולציה כלפי כל דבר שמשמש להתוויה רפואית, כי התוויה רפואית זה רצף של דברים, זה יכול להיות בתחום המניעה, זה יכול להיות באיתור הראשוני, זה יכול להיות למנוע סיבוכים. זאת אומרת, כל הדברים האלה שמשמשים כהתוויה רפואית הם תחת רגולציה. השאלה שלכם לגבי כלים פתוחים, שאלה הכלים שאנחנו משתמשים בהם, אני יכולה להגיד בתור רופאה שהשימוש שלי בכלים פתוחים הוא גדול יחסית, כי זה מעניין, זה משחקי, אנחנו רוצים לבדוק את זה. אבל זה עדיין תחת הפיקוח של כל האתיקה וכל מה שלמדתי לאורך הדרך. לכן החינוך הרפואי הוא ממש חשוב.

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> פיקוח עצמי? בסדר, פיקוח עצמי ברור שקיים, השאלה אם יש על זה רגולציה, מה מותר, מה אסור, מה המינון, כמה ולמה.

<< אורח >> מרים פינק לביא: << אורח >>

אני רוצה להגיד על זה. אני חושבת שמדובר כאן באמת ברגולציה רכה, כי כלים פתוחים, אנחנו יודעים, מלבד מדינות מאוד, מאוד בודדות, הרגולציה אליהם היא באמת באמצעות חינוך הציבור. ואני רוצה להצטרף למה שאמרת, ששימוש בטכנולוגיות, יש בו סיכון, במיוחד עבור ילדים, אנחנו יודעים שילדים דרך - - -

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> לא, אבל תעני לי רגע לגבי הרופא. זאת אומרת, את אומרת, אני רופאה ואני משתמשת.

<< אורח >> מרים פינק לביא: << אורח >>

כן, לכן אנחנו - - -

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> אבל האם יש לך, מעבר למשמעת העצמית שלך, האם יש איזושהי רגולציה של משרד הבריאות או מה, ואם את חושבת שצריך או לא כדי לדעת את המינונים, עד כמה להשתמש בפונקציות כאלה ואחרות?

<< אורח >> מרים פינק לביא: << אורח >>

אני חושבת שהרעיון של סקר הוא מאוד, מאוד חשוב. אני חושבת שבתור רגולציה זה יותר - - -

<< דובר >> יעקב אשר (יהדות התורה): << דובר >> סקר הוא לא המטרה, סקר הוא אמצעי.

<< אורח >> מרים פינק לביא: << אורח >>

סקר הוא אמצעי רק לראות מה המצב, אבל אני מניחה שיש שימוש. זאת אומרת, אני לא חושבת שאנחנו צריכים סקר בשביל זה. אני מניחה

[הטקסט קוצץ - הקובץ המלא זמין בקישור למקור]