אשכול AI

[its-sick]

אשכול אמיתי בעניין.

קודם כל, יש מודל ai שנקרא deepcoder שיכול לרוץ על מחשב ביתי ולכתוב תוכנה עבור בן אדם שלא יודע לתכנת אבל יודע לכתוב פרומפטים מדויקים ולתקן לפי הצורך. בעולם קוראים לזה Vibe coding
צריך gpu 3060 לפחות. בכל מקרה אני מתכוון לנסות אותו בהקדם במחשב שלי.
זה חשוב למי שצריך סודיות, כמו מקומות עבודה למשל.
אם מישהו כבר ניסה אותו אשמח לשמוע.

ועכשיו שאלה שלא מצאתי בגוגל ואין לי כוח לבדוק אחד אחד.
האם מישהו מכיר ai שמבין דיבור בעברית? תודה.

[מילפורד]

למרות שנותיי הרבות בחברה שמייצרת צ׳יפים לAI , אני לא ממש יכול לענות לך על השאלות האלה, אני פשוט איש של הפן הפיזקאלי של הצ׳יפים ומה שהם עושים ״לא מעניין״ אותי ואני בטח לא מבין גדול בזה.

מה שמעניין אותי, זה מה היה רע באשכול שפתחתי כדי לשאול את השאלה הזאת שם שנזקקת לפתוח עוד אשכול?
(אני מבין שהשאלה שאני שאלתי נראית נחותה מבחינתך , אבל זה לא אומר שלא יכלת לשאול שם שאלה ברמה יותר גבוהה…)

[teknoboy]

צריך gpu 3060 לפחות.

מזכיר לי שלפני איזה עשר שנים החלפתי כרטיס מסך כדי שיהיה לי cuda ומספיק ליבות להריץ רשת נוירונים\rnn שהייתה אמורה לעשות חיקוי של משתמש מסוים בפורום.
(די הצליח, האמת, אבל נתקלתי במגבלות טכניות מסוימות שכנראה שלא רק אני נתקלתי בהן, כי כמה חודשים אחר כך גוגל הכריזו על גרסה חדשה של tf וכמה מההיילייטים שלה היו פתרונות לאותן מגבלות)

[עובדיה]

צריך gpu 3060 לפחות.

מזכיר לי שלפני איזה עשר שנים החלפתי כרטיס מסך כדי שיהיה לי cuda ומספיק ליבות להריץ רשת נוירונים\rnn שהייתה אמורה לעשות חיקוי של משתמש מסוים בפורום.
(די הצליח, האמת, אבל נתקלתי במגבלות טכניות מסוימות שכנראה שלא רק אני נתקלתי בהן, כי כמה חודשים אחר כך גוגל הכריזו על גרסה חדשה של tf וכמה מההיילייטים שלה היו פתרונות לאותן מגבלות)

מי המשתמש? מת לדעת

[הפועל]

צריך gpu 3060 לפחות.

מזכיר לי שלפני איזה עשר שנים החלפתי כרטיס מסך כדי שיהיה לי cuda ומספיק ליבות להריץ רשת נוירונים\rnn שהייתה אמורה לעשות חיקוי של משתמש מסוים בפורום.
(די הצליח, האמת, אבל נתקלתי במגבלות טכניות מסוימות שכנראה שלא רק אני נתקלתי בהן, כי כמה חודשים אחר כך גוגל הכריזו על גרסה חדשה של tf וכמה מההיילייטים שלה היו פתרונות לאותן מגבלות)

תמיד כשכל מיני tech bros מספרים כמה הם משנים את העולם והופכים אותו למקום טוב יותר, מגיעים סיפורים כאלו כדי להזכיר לנו למה באמת משמש כל הכסף והמאמץ הזה
(זה ופורנו כמובן)

[its-sick]

איזה שטויות. כל אחד עושה מה שהוא רוצה. זה היה שלב מוקדם בהתפתחות ה AI.
כרגע AI זה דבר מדהים שעוזר המון. גם אותו אפשר לנצל לרע, וזה נכון גם לגבי מכוניות או מברגים (פיגועי דריסה ופריצות לבתים).

[teknoboy]

צריך gpu 3060 לפחות.

מזכיר לי שלפני איזה עשר שנים החלפתי כרטיס מסך כדי שיהיה לי cuda ומספיק ליבות להריץ רשת נוירונים\rnn שהייתה אמורה לעשות חיקוי של משתמש מסוים בפורום.
(די הצליח, האמת, אבל נתקלתי במגבלות טכניות מסוימות שכנראה שלא רק אני נתקלתי בהן, כי כמה חודשים אחר כך גוגל הכריזו על גרסה חדשה של tf וכמה מההיילייטים שלה היו פתרונות לאותן מגבלות)

מי המשתמש? מת לדעת

רמז: משתמש אגדי לשעבר (הי"ד) בעל סגנון ייחודי ומאפיינים מאוד ברורים שהיה קל מאוד לזהות
(בעיקרון רציתי לחקות משתמש כלשהו, וזה המשתמש שבחרתי, מהסיבות שנתתי בתור רמז)

[עובדיה]

מזכיר לי שלפני איזה עשר שנים החלפתי כרטיס מסך כדי שיהיה לי cuda ומספיק ליבות להריץ רשת נוירונים\rnn שהייתה אמורה לעשות חיקוי של משתמש מסוים בפורום.
(די הצליח, האמת, אבל נתקלתי במגבלות טכניות מסוימות שכנראה שלא רק אני נתקלתי בהן, כי כמה חודשים אחר כך גוגל הכריזו על גרסה חדשה של tf וכמה מההיילייטים שלה היו פתרונות לאותן מגבלות)

מי המשתמש? מת לדעת

רמז: משתמש אגדי לשעבר (הי"ד) בעל סגנון ייחודי ומאפיינים מאוד ברורים שהיה קל מאוד לזהות
(בעיקרון רציתי לחקות משתמש כלשהו, וזה המשתמש שבחרתי, מהסיבות שנתתי בתור רמז)

[its-sick]

אני מתקשה רגשית לעבוד עם הענן, כשכל מה שאני כותב משמש לאימון גרסאות עתידיות ועלול לזלוג במגוון צורות (שכבר קרו).
לכן אני מעדיף להריץ AI על המחשב שלי.

הייתי לפני כשבועיים על סף הוצאת עשרת אלפים שקל על סרבר חיה בשביל להריץ AI לוקאלית.
ההגיון היה יותר RAM מאפשר להריץ מודלים יותר גדולים ומהר.
אלא ששחרור כמה גרסאות של מודלים יעילים יותר חסך לי את הכסף הזה, ואני מצליח במחשב הרגיל שלי לקבל את רוב צרכיי ממודלים לוקאליים.
הלואי והיה לי זמן לבדיקות ארוכות והשוואות, אני בעיקר קורא השוואות של אנשים אחרים.
אתמול גם openAI שחררו פעם ראשונה מודל לוקאלי (עד היום הכל חינם, מכל החברות).

למי שיש זמן ומאד מבין במחשב שלו, יכול להריץ מודלים לוקאליים עם llama.cpp
ככה אפשר להגדיר לבד כל פרמטר, כשהכי חשוב זה חלוקת העבודה בין ה GPU (מהיר, מעט RAM) וה CPU (איטי, הרבה RAM).

בעצלנותי הרבה אני משתמש ב ollama שבא מוכן עם הרבה מודלים. כשניסיתי להוסיף מודלים מהאתר שלהם (שלא באו כלולים בהתקנה) הצלחתי משום מה להריץ אותם רק בקומנד ליין, הם לא נוספו לאינטרפייס.
עדיין עובד יופי.
אפשר גם להריץ מודלים שנראים גדולים מדי, זה רק רץ לאט.
אני הכי אוהב את QWEN3, אבל כולם די דומים בגרסה בסיסית (שלא חושבת ועד 30B פרמטרים).
שימו לב שב ollama אין להם גישה לאינטרנט. צריך בשביל זה להריץ קוד חיצוני נוסף כאילו הוא מודל, מסובך.
מודלים לוקאליים להורדה ב ollama:
https://ollama.com/search

כל המידע ברדיט https://www.reddit.com/r/LocalLLaMA/

[רועי גווארה]

"מצא את ההבדלים":

[its-sick]

אני לא יודע אם אתם מתעניינים כי אין תגובות, אבל החלפתי את ollama ב lmstudio הוא הרבה יותר טוב.
קודם כל הוא יודע לחלק מודל בין ה GPU לבין ה CPU+RAM, כך שאני מצליח להריץ מודלים יותר גדולים ויותר טובים והקטנים רצים יותר מהר.
שנית, גם יש לו API נוח לקריאה מפונקציות חיצוניות כך שאפשר לשלוח לו בבת אחת הרבה קבצים לוקאלים בשביל לעבוד על פרויקט.
שתי התוכנות הנ"ל עובדות גם בווינדוס וגם בלינוקס.

[teknoboy]

https://bsky.app/profile/dvgeebees.bsky ... 4itds23c2y

אופס, חסום לשיתוף באתר חיצוני.
צילומסך: