במשך שנים, מעריצי מסע בין כוכבים מסורים משתמשים בבינה מלאכותית בניסיון ליצור גרסה של הסדרה עטורת השבחים Deep Space 9 שנראית ראויה בטלוויזיות מודרניות. זה נשמע קצת מגוחך, אבל הופתעתי לגלות שזה בעצם די טוב - בהחלט מספיק טוב שחברות מדיה צריכות לשים לב (במקום פשוט לשלוח לי פסילות זכויות יוצרים).
קיבלתי השראה מוקדם יותר השנה לצפות בתוכנית, חביבת מעריצים שראיתי מדי פעם בטלוויזיה כשהיא שודרה אבל אף פעם לא באמת חשבתי עליה פעמיים. אחרי שראיתי את הרימאסטר החושפני של מסע בין כוכבים: הדור הבא, הרגשתי שאני צריך לחזור ולראות את אחיו הפחות-טרוט-גלקסי, יותר ממוקד אנסמבל. אולי, חשבתי, זה היה גם באמצע תהליך רימאסטר נרחב. לא!
מהם האימוג'ים החדשים 16.4 1
למרבה הצער, עמדתי לגלות שלמרות שהמחדש של TNG היה ניצחון ענק מבחינה טכנית, התזמון עלה בקנה אחד עם עליית שירותי הסטרימינג, כלומר סט ה-Blu-ray היקר נמכר בצורה גרועה. התהליך עלה יותר מ-10 מיליון דולר, ואם הוא לא השתלם לסדרה הפופולרית ביותר של הזיכיון, אין סיכוי שהמעצמות יעשו זאת שוב עבור DS9, אהובה אבל הרבה פחות בנקאית.
המשמעות היא שאם אתה רוצה לצפות ב-DS9 (או וויאג'ר לצורך העניין), אתה צריך לצפות בו פחות או יותר באיכות שבה הוא שודר עוד בשנות ה-90. כמו TNG, הוא צולם על סרט אך הומר לקלטת וידאו ברזולוציית 480p בערך. ולמרות שתקליטורי ה-DVD סיפקו איכות תמונה טובה יותר מהשידורים (בשל דברים כמו נשירה ועומק צבע), הם עדיין היו מוגבלים, בסופו של דבר, על ידי הפורמט שבו הסתיימה התוכנית.
לא נהדר, נכון? וזה בערך טוב ככל שיהיה, במיוחד בשלב מוקדם. קרדיט תמונה: פרמאונט
עבור TNG, הם חזרו לתשלילים המקוריים ובעצם ערכו מחדש את כל ההצגה, עשו מחדש אפקטים וקומפוזיציה, כרוך בעלויות ומאמץ רב. אולי זה יקרה במאה ה-25 ל-DS9, אבל כרגע אין תוכניות, וגם אם יכריזו על כך מחר, יעברו שנים עד שהוא יצא.
אז: בתור צופה DS9 לעתיד, מפונק מהסריקה המחודשת של TNG, ומי לא אוהב את הרעיון של תמונת שידור עלובה של NTSC שמוצגת על מסך ה-4K המקסים שלי, איפה זה משאיר אותי? כפי שמתברר: לא לבד.
ליוקרתי באומץ...
במשך שנים, מעריצי תוכניות וסרטים שהשאירו מאחור רכבת ה-HD עבדו בחשאי כדי למצוא ולהפיץ גרסאות טובות יותר ממה שזמין באופן רשמי. הדוגמה המפורסמת ביותר היא טרילוגיית מלחמת הכוכבים המקורית, שנפגעה באופן בלתי הפיך על ידי ג'ורג' לוקאס במהלך תהליך הרימאסטר הרשמי, מה שהוביל את המעריצים למצוא מקורות חלופיים לסצנות מסוימות: דיסקים לייזר, מהדורות מוגבלות, מדיה לקידום מכירות, סלילי ארכיון נשכחים וכן הלאה. המהדורות הבלתי רשמיות לחלוטין הללו הן עבודה מתמדת בתהליך, ובשנים האחרונות החלו ליישם גם כלים חדשים מבוססי AI.
הכלים הללו עוסקים במידה רבה בשינוי קנה מידה אינטליגנטי והשחתה, שהאחרון מעורר דאגה רבה יותר בעולם מלחמת הכוכבים, שבו חלק מצילומי הסרט המקוריים מגורעים או מושפלים להפליא. אבל אולי אתה חושב ששינוי קנה מידה, הגדלת תמונה, הוא תהליך פשוט יחסית - למה לערב AI?
אין ספק שיש דרכים פשוטות להעלות רמה גבוהה או להמיר רזולוציה של סרטון לרזולוציה גבוהה יותר. זה נעשה באופן אוטומטי כאשר יש לך אות 720p שעובר לטלוויזיית 4K, למשל. התמונה ברזולוציית 1280×720 לא מופיעה כולה זעירה במרכז התצוגה בגודל 3840×2160 - היא נמתחת בפקטור של 3 לכל כיוון כך שתתאים למסך; אבל בעוד שהתמונה נראית גדולה יותר, היא עדיין ברזולוציה ובפירוט של 720p.
אלגוריתם פשוט ומהיר כמו סינון בילינארי הופך תמונה קטנה יותר לטעימה על מסך גדול גם כאשר היא לא מתיחה מדויקת של פי 2 או פי 3, ויש כמה שיטות קנה מידה שעובדות טוב יותר עם מדיה מסוימת (למשל אנימציה או פיקסלים). . אבל בסך הכל אתה יכול להסיק למדי שאין הרבה מה להרוויח מתהליך אינטנסיבי יותר.
וזה נכון במידה מסוימת, עד שמתחילים בבור הארנב הכמעט ללא תחתית של יצירת תהליך שיפור קנה המידה שלמעשה מוסיף פרט. אבל איך אפשר להוסיף פרטים שהתמונה לא מכילה כבר? ובכן, זה כן מכיל את זה - או יותר נכון, מרמז על זה.
הנה דוגמה פשוטה מאוד. תארו לעצמכם טלוויזיה ישנה המציגה תמונה של עיגול ירוק על רקע דוהה מכחול לאדום (השתמשתי מסנן CRT זה לדגם בסיסי).
אתה יכול לראות שזה עיגול, כמובן, אבל אם היית מסתכל מקרוב זה בעצם די מטושטש היכן שהעיגול והרקע נפגשים, נכון, ונכנסים בשיפוע הצבע? זה מוגבל על ידי הרזולוציה ועל ידי שיטת ה-Codec הווידאו ושיטת השידור, שלא לדבר על פריסת תת-פיקסל והזרחנים של טלוויזיה ישנה.
אבל אם אבקש ממך ליצור מחדש את התמונה ברזולוציה ובצבע גבוהים, אתה באמת יכול לעשות זאת עם באיכות טובה יותר ממה שאי פעם ראית את זה , פריך יותר ועם צבעים חלקים יותר. אֵיך? כי יש יותר מידע מרומז בתמונה מאשר רק מה שאתה רואה. אם אתה בטוח למדי מה היה שם לפני שהפרטים האלה אבדו כשהם הוצפנו, אתה יכול להחזיר אותם בחזרה, כך:
יש הרבה יותר פרטים בתמונה שפשוט לא גלויים לעין - אז באמת, אנחנו לא מוֹסִיף אבל מתאושש זה. בדוגמה הזו הפכתי את השינוי לקיצוני עבור אפקט (זה די צורם, למעשה), אבל בדימויים צילומיים זה בדרך כלל הרבה פחות חד.
שילוב אינטליגנטי
האמור לעיל הוא דוגמה פשוטה מאוד לשחזור פרטים, וזה למעשה משהו שנעשה באופן שיטתי במשך שנים במאמצי שחזור בתחומים רבים, דיגיטליים ואנלוגיים. אבל בזמן שאתה יכול לראות שאפשר ליצור תמונה עם פרטים ברורים יותר מהמקור, אתה גם רואה שזה אפשרי רק בגלל רמה מסוימת של הֲבָנָה אוֹ אינטליגנציה על התמונה הזו. נוסחה מתמטית פשוטה לא יכולה לעשות את זה. למרבה המזל, אנו נמצאים הרבה מעבר לימים שבהם נוסחה מתמטית פשוטה היא האמצעי היחיד שלנו לשיפור איכות התמונה.
מכלי קוד פתוח ועד מותגים מבית אדובי ו-Nvidia, תוכנות לשינוי קנה מידה הפכו למיינסטרים הרבה יותר, שכן כרטיסים גרפיים המסוגלים לבצע את החישובים המורכבים הדרושים כדי לבצע אותם התרבו. הצורך לשדרג בחן קליפ או צילום מסך מרזולוציה נמוכה לגבוהה נפוץ בימים אלה בעשרות תעשיות והקשרים.
חבילות אפקטי וידאו משלבות כעת ניתוח תמונה מורכב ואלגוריתמים רגישים להקשר, כך שלדוגמה עור או שיער מטופלים בצורה שונה מאשר פני המים או גוף הספינת החלל. כל פרמטר ואלגוריתם ניתנים להתאמה ולהתאמה בנפרד בהתאם לצורך של המשתמש או לתמונות המשדרגות. בין האפשרויות הנפוצות ביותר היא טוֹפָּז , חבילה של כלי עיבוד וידאו המשתמשים בטכניקות למידת מכונה.
ג'ו רוגן פודקאסט ספוטיפיי
קרדיט תמונה: טופז AI
הצרה בכלים האלה היא כפולה. ראשית, האינטליגנציה מגיעה רק עד כה: הגדרות שעשויות להיות מושלמות לסצנה בחלל אינן מתאימות לחלוטין לסצנה פנימית, או לג'ונגל או לקרב אגרוף. למעשה אפילו צילומים מרובים בתוך סצנה אחת עשויים לדרוש גישות שונות: זוויות שונות, תכונות, סוגי שיער, תאורה. למצוא ולנעול את ההגדרות של זהב זה הרבה עבודה.
שנית, האלגוריתמים הללו אינם זולים או (במיוחד כשמדובר בכלי קוד פתוח) קלים. אתה לא משלם רק על רישיון טופז - אתה צריך להפעיל אותו על משהו, וכל תמונה שאתה מעביר דרכו משתמש בכמות לא טריוויאלית של כוח מחשוב. חישוב הפרמטרים השונים עבור פריים בודד עשוי להימשך מספר שניות, וכשחושבים שיש 30 פריימים לשנייה למשך 45 דקות לפרק, פתאום אתה מפעיל את ה-GPU של ,000 במגבלה שלו במשך שעות על גבי שעות בכל פעם - אולי פשוט לזרוק את התוצאות כשאתה מוצא שילוב טוב יותר של הגדרות קצת מאוחר יותר. או אולי אתה משלם עבור חישוב בענן, ועכשיו לתחביב שלך יש עוד תשלום חודשי.
למרבה המזל, יש אנשים כמו יואל חרוסקה, שעבורם התהליך הקפדני והיקר הזה הוא פרויקט תשוקה.
ניסיתי לראות את התוכנית בנטפליקס, הוא אמר לי בראיון. זה היה מתועב.
כמוני ורבים (אך לא רבים כל כך) אחרים, הוא ציפה בשקיקה לרימאסטר רשמי של התוכנית הזו, כמו שמעריצי מלחמת הכוכבים ציפו לרימאסטר מקיף של הגזרה התיאטרלית המקורית של טרילוגיית מלחמת הכוכבים. אף קהילה לא קיבלה את מבוקשם.
חיכיתי 10 שנים לפראמונט לעשות את זה, והם לא, הוא אמר. אז הוא הצטרף למעריצים אחרים, מאובזרים יותר ויותר, שלקחו את העניינים לידיים שלהם.
זמן, טרה-בייט וטעם
הרוסקה תיעד את עבודתו ב סדרה של פוסטים ב-ExtremeTech , ותמיד מקפיד להסביר שהוא עושה זאת לשביעות רצונו ולא כדי להרוויח כסף או לשחרר בפומבי. ואכן, קשה לדמיין שאפילו אמן VFX מקצועי הולך לכל אורך הדרך של Hruska לחקור את היכולות של שיפור קנה המידה של AI וליישם אותו במופע הזה במיוחד.
זו לא התפארות, אבל אני לא הולך לשקר, הוא התחיל. עבדתי על זה לפעמים 40-60 שעות בשבוע. קידדתי את הפרק 'הקרבת מלאכים' יותר מ-9,000 פעמים. עשיתי 120 קידודים של בלם יד - בדקתי כל פרמטר מתכוונן כדי לראות מה יהיו התוצאות. נאלצתי להקדיש 3.5 טרה-בייט לפרקים בודדים, רק עבור קבצי הביניים. הכרחתי את זה במידה עצומה... ונכשלתי כך הרבה פעמים.
הוא הראה לי פרק אחד שהוא קידד שבאמת נראה כאילו שוחזר כראוי על ידי צוות מומחים - לא עד לנקודה שבה אתה חושב שהוא צולם ב-4K ו-HDR, אלא רק כדי שלא תחשוב כל הזמן אלוהים , האם הטלוויזיה באמת נראתה כך? כל הזמן.
ג'וקר פנימה
אני יכול ליצור פרק של DS9 שנראה כאילו צולם בתחילת 720p. אם אתה צופה בו 7-8 רגל אחורה, הוא נראה די טוב. אבל זו הייתה דרך ארוכה ומפותלת לשיפור, הוא הודה. הפרק שהוא שיתף היה אוסף של 30 יוקרתיים שונים מ-4 גרסאות שונות של הסרטון.
קרדיט תמונה: יואל חרוסקה/פראמונט
ידיות העברה לבנות
נשמע מוגזם, כן. אבל זו גם הדגמה מעניינת של היכולות והמגבלות של שיפור קנה המידה של AI. האינטליגנציה שיש לו קטנה מאוד בקנה מידה, מודאגת יותר בפיקסלים וקווי מתאר ושיפועים מאשר התכונות הסובייקטיביות הרבה יותר של מה שנראה טוב או טבעי. ובדיוק כמו התאמה של תמונה בדרך אחת עשויה להוציא את העיניים של מישהו אבל לפוצץ את עורו, ובדרך אחרת להיפך, יש צורך בגישה איטרטיבית ורב-שכבתית.
התהליך, אם כן, הוא הרבה פחות אוטומטי ממה שאתה יכול לצפות - זה עניין של טעם, היכרות עם הטכנולוגיה וסרנדיפיות. במילים אחרות, זו אומנות.
ככל שעשיתי יותר, כך גיליתי שאתה יכול לשלוף פרטים ממקומות בלתי צפויים, הוא אמר. אתה לוקח את המקודדים השונים האלה ומשלב אותם יחד, אתה מוציא את הפרטים בדרכים שונות. האחת מיועדת לחדות ובהירות, השנייה היא לריפוי נזקים מסוימים, אבל כשאתה שם אותם אחד על השני, מה שאתה מקבל הוא גרסה ייחודית של הסרטון המקורי שמדגישה היבטים מסוימים ומחזירה כל נזק שעשית.
אתה לא אמור להריץ וידאו דרך טופז 17 פעמים; זה מקומט. אבל זה עובד! הרבה מספר החוקים הישן לא חל, הוא אמר. אם תנסה ללכת בדרך הפשוטה ביותר, תקבל סרטון הניתן להשמעה אבל יהיו לו שגיאות תנועה [כלומר. חפצי וידאו]. כמה זה מפריע לך? יש אנשים שלא אכפת להם! אבל אני עושה את זה בשביל אנשים כמוני.
כמו כל כך הרבה פרויקטים של תשוקה, הקהל מוגבל. הלוואי שיכולתי לשחרר את העבודה שלי, אני באמת עושה זאת, הודתה חרוסקה. אבל זה היה מצייר מטרה על הגב שלי. לעת עתה נותר לו ולאוהדי טרק אחרים ליהנות בהכחשה, אם לא בסודית, לפחות סבירה.
זמן אמת עם אודו
כל אחד יכול לראות שכלים ושירותים המונעים על ידי בינה מלאכותית נמצאים במגמת נגישות. סוג של ניתוח תמונה שגוגל ואפל היו צריכים לעשות בעבר בענן יכול להיעשות כעת בטלפון שלך. סינתזה קולית יכולה להתבצע גם מקומית, ובקרוב ייתכן שיהיה לנו בינה מלאכותית לשיחה דמוית ChatGPT שאינה צריכה להתקשר הביתה. איזה כיף זה יהיה!
זה מתאפשר על ידי מספר גורמים, אחד מהם הוא שבבים ייעודיים יעילים יותר. GPUs עשו את העבודה היטב אבל תוכננו במקור למשהו אחר. כעת, שבבים קטנים נבנים מהיסוד כדי לבצע את סוג המתמטיקה שבלב מודלים רבים של למידת מכונה, והם נמצאים יותר ויותר בטלפונים, טלוויזיות, מחשבים ניידים, אתה שם את זה.
העלאת קנה מידה אינטליגנטי בזמן אמת אינה פשוטה ואינה קלה לביצוע כראוי, אבל ברור כמעט לכל אחד בתעשייה שזה לפחות חלק מהעתיד של התוכן הדיגיטלי.
תארו לעצמכם את החיסכון ברוחב הפס אם נטפליקס הייתה יכולה לשלוח אות 720p שנראה טוב ב-95% כמו 4K כאשר הטלוויזיה שלכם משדרגת אותו - מפעילה את האלגוריתמים המיוחדים של נטפליקס. (למעשה נטפליקס כבר עושה משהו כזה, אם כי זה סיפור לפעם אחרת.)
תארו לעצמכם אם המשחק האחרון רץ תמיד במהירות של 144 פריימים לשנייה ב-4K, כי למעשה הוא מעובד ברזולוציה נמוכה יותר ומוגדל בצורה חכמה כל 7 מיקרו שניות. (זה מה ש-Nvidia רואה בעיני רוחה עם DLSS ותהליכים אחרים שהכרטיסים האחרונים שלה מאפשרים.)
כיום, הכוח לעשות זאת הוא עדיין קצת מעבר למחשב נייד או טאבלט ממוצע, ואפילו מעבדי GPU חזקים שעושים שינוי קנה מידה בזמן אמת יכולים לייצר חפצים ושגיאות בשל האלגוריתמים המתאימים לכל אחד.
זכויות יוצרים דוחים אותי, ו... (אתה יודע את השאר)
הגישה של לגלגל את ה-DS9 המשודרגת שלך (או לצורך העניין בבילון 5, או תוכנית או סרט אחר שמעולם לא קיבלו את הכבוד של רימאסטר בהבחנה גבוהה) היא בהחלט הגישה החוקית, או הדבר הקרוב ביותר אליה. אבל האמת הפשוטה היא שתמיד יש מישהו עם יותר זמן ומומחיות, שיעשה את העבודה טוב יותר - ולפעמים, הוא אפילו יעלה את המוצר הסופי לאתר טורנט.
זה מה שבעצם הוביל אותי לדרך ללמוד את כל זה - באופן מצחיק למדי, הדרך הפשוטה ביותר לגלות אם משהו זמין לצפייה באיכות גבוהה היא לעתים קרובות להסתכל על אתרי פיראטיות, שבמובנים רבים הם פשוטים בצורה מרעננת. חיפוש אחר כותרת, שנה ורמת איכות (כמו 1080p או 4K) מראה במהירות אם יש לו מהדורה עדכנית והגונה. אם אתה אז הולך לקנות את ה-Blu-ray (יותר ויותר השקעה טובה) או לנקוט באמצעים אחרים זה בינך, אלוהים וספק האינטרנט שלך.
סצנה מייצגת, לא מושלמת אבל יותר טובה מהמקור.
במקור חיפשתי את Deep Space 9 720p, בתמימותי, וראיתי את הגרסה המשופרת של AI זו ברשימה. חשבתי שאין סיכוי שהם יכולים לשים מספיק שפתון על החזיר הזה כדי... ואז נטשתי את המטאפורה שלי כי ההורדה הסתיימה, וצפיתי בה ועשיתי פרצוף לא רע.
הגרסה שהגעתי אליה מגיעה לכ-400 מגה-בייט לפרק של 45 דקות, נמוכה ברוב הסטנדרטים, ולמרות שישנן בעיות החלקה ברורות, פרטים ששולבו בצורה גרועה ובעיות אחרות, היא עדיין הקדימה עולמות את הגרסה הרשמית. ככל שאיכות חומר המקור משתפרת בעונות מאוחרות יותר, הדבר תורם גם לשיפור קנה המידה. הצפייה בו נתנה לי ליהנות מהתוכנית מבלי לחשוב יותר מדי על מגבלות הפורמט שלה; זה הופיע פחות או יותר כפי שאני (בטעות) זוכר את זה נראה.
jet.com walmart
יש בעיות, כן - לפעמים הפרטים הולכים לאיבוד במקום הנצברים, כמו מה שרואים בתמונת הכותרת, הבוקה הירוק נמרח לקו זוהר. אבל בתנועה ובסך הכל זה שיפור, במיוחד בהפחתת רעש דיגיטלי וקצוות מוגדרים בצורה גרועה. ביליתי בשמחה חמישה או שישה פרקים, מופתע לטובה.
יום או יומיים לאחר מכן קיבלתי אימייל מספק האינטרנט שלי שאומר שקיבלתי תלונת DMCA, פסילה בגין הפרת זכויות יוצרים. למקרה שתהיתם למה לפוסט הזה אין יותר צילומי מסך.
עכשיו, הייתי טוען שמה שעשיתי היה בלתי חוקי מבחינה טכנית, אבל לא לא בסדר . כמנוי אמזון פריים במזג אוויר נאה עם גרסת ניסיון בחינם של Paramount+, הייתה לי גישה לפרקים האלה, אבל באיכות ירודה. מדוע שלא אבחר, כעניין של שימוש הוגן, בגרסה משופרת של מעריצים של התוכן שאני כבר צופה בו באופן חוקי? לצורך העניין, למה לא תוכניות שהיו להן רימאסטרים פגומים, כמו באפי ציידת הערפדים (שניתן למצוא אותה גם משודרגת) או תוכניות שאינן זמינות בגלל שולל רישוי?
בסדר, זה לא יחזיק מעמד בבית המשפט. אבל אני מקווה שההיסטוריה תהיה השופטת שלי, לא איזה ג'וקיסט בור שחושב שבינה מלאכותית היא מה שהפונץ אמר לאחר שסטר על הקופסה.
השאלה האמיתית, עם זאת, היא מדוע Paramount, או CBS, וכל מי שיושב על נכסים כמו DS9 לא אימצו את הפוטנציאל של הגדלה חכמה. זה הפך ממוזר טכני ביותר לאפשרות למינוף בקלות, משהו שקומץ אנשים חכמים יכולים לעשות תוך שבוע או שבועיים. אם איזה מעריץ אנונימי יכול ליצור את הערך שחוויתי בקלות (או בקלות יחסית - ללא ספק הושקעה בזה כמות לא מבוטלת של עבודה), למה לא אנשי מקצוע?
אני חבר של אנשי VFX, ויש אנשים שעבדו על התוכנית שלא רוצים יותר מאשר לשחזר אותה. אבל לא כל האנשים בפארמאונט מבינים את הערך של טרק הישן, אמר הרוסקה.
הם צריכים להיות אלה שיעשו את זה; יש להם את הידע והמומחיות. אם לסטודיו היה אכפת, כפי שהיה אכפת להם מ-TNG, הם יכלו לעשות משהו טוב יותר מכל מה שאני יכול לעשות. אבל אם לא אכפת להם, אז הקהילה תמיד תצליח יותר.