The nightmare videos of children's YouTube — and what's wrong with the internet today (James Bridle in TED 2018

안녕하세요. 저는 종종 유튜브로 TED영상을 시청합니다.

어느날 문득 제목이 끌려서 본 영상이 있는데, 시사하는 바가 있는 것 같아서 여러분들께 공유하고자 합니다.

(링크: https://m.youtube.com/watch?v=v9EKV2nSU8w)

제목은 "The nightmare videos of children's YouTube — and what's wrong with the internet today (James Bridle in TED 2018)"으로 우리아이들이 보는 유튜브가 악몽같다는 표현까지 씁니다.

대략적인 요점은 다음과 같습니다. 아이들이 보는 유튜브에 출처없이 떠도는 영상들(예로 서프라이즈 에그랑 대디핑거~가 나오네)이 광고수익 벌기위해서 이런저런 영상을 만들다 보니 유해한 영상들도 나온다는 얘기. 그래서 애들한테 유튜브 보여주지 말라는 얘기 (지금은 사람이 완전 통제가능한 유튜브 키즈가 생겼지만)같습니다.

저희 아이들에게도 유튜브 많이 보여주는데, 무분별하게 시청하지 말아야겠다는 생각을 많이하게 해주는 영상입니다. 하단은 스크립트를 긁어온건데, 한글 자막은 구글번역을 사용해서 부드럽지 않은 부분이 많습니다. 대략적인 내용만 참고하시면 될것 같습니다.

00:00 나는 제임스 야. 나는 작가이자 예술가이며, 나는 기술에 관한 작업을합니다. 전 세계의 도시 거리에서 군대 무인 비행기의 실물 크기 윤곽선을 그리는 것과 같은 일을합니다. 그래서 사람들은 생각하기가 쉽지 않으며,이 매우 어려운 기술을 생각하기 시작합니다. 나는 이상한 신기술의 실제 가능성이 무엇인지에 흥미를 느끼기 때문에 일기 예보를 기반으로 선거 결과를 예측하는 신경망과 같은 것을 만듭니다. 작년에, 나는 자기 만의자가 운전 용 차를 만들었다. 그러나 저는 기술을 정말로 신뢰하지 않기 때문에 그것을위한 함정을 설계했습니다. 00:38 (웃음) 00:39 그리고 저는이 모든 것을 완전히 매력적으로 생각하기 때문에 주로 기술에 관해 이야기 할 때 우리는 주로 우리 자신과 우리가 세상을 이해하는 방식에 대해 이야기하고 있다고 생각하기 때문에 이러한 것들을 주로합니다. 여기 기술에 대한 이야기가 있습니다. 00:55 이것은 "깜짝 달걀"비디오입니다. 그것은 기본적으로 초콜릿 덩어리를 열고 뷰어에게 장난감을 보여주는 비디오입니다. 그게 전부 야. 그게 7 분 동안은 끝났어. 그리고 이것에 대해 두 가지 사실을 눈치 챘 으면합니다. 우선이 동영상의 조회수는 3 천만 회입니다. 01:14 (웃음) 01:16 다른 하나는 630 만 명의 시청자를 보유하고 있으며 총 시청자 수는 80 억에 달하는 채널에서 온 것입니다.이 달걀을 공개하는 사람을 보는 3 천만 명의 시청자가 있습니다. 꽤 이상하게 들리지만, YouTube에서 "깜짝 달걀"을 검색하면이 동영상이 1 천만 개가 있다는 것을 알 수 있습니다. 이는 과소 평가라고 생각합니다. 나는 방법이 더 있다고 생각합니다. 계속 검색하면 끝이 없습니다. 점차 바로크 식으로 브랜드와 자료를 결합함에 따라 수백만 개, 수백만 개의 동영상이 제공되며 점점 더 많은 동영상이 업로드되고 있습니다. 마치 이상한 세상입니다. 그렇죠? 01:59 하지만 이 동영상을 보는 성인은 아닙니다. 아이들, 어린 아이. 이 비디오는 어린 아이들에게는 균열과 같습니다. 반복에 관한 무언가가 있습니다. 도파민은 끊임없이 작은 도파민에 부딪혀 완전히 푹 빠져 있습니다. 그리고 어린 아이들은이 동영상을 반복해서보고 있으며 몇 시간과 몇 시간 동안 않습니다. 그리고 만약 당신이 그들에게서 화면을 벗어나려고 시도한다면, 그들은 비명을 지르고 비명을 지르고 비명을 지을 것입니다. 당신이 나를 믿지 않는다면 - 그리고 나는 이미 관객을 끄덕 거리며 보았습니다 - 당신이 나를 믿지 않는다면, 작은 아이를 가진 사람을 찾아서 물어보십시오. 그들은 깜짝 계란 비디오에 대해 알게 될 것입니다. 그래서 이것이 우리가 시작하는 곳입니다. 2018 년, 누군가 또는 많은 사람들이 Facebook 및 Instagram에서 앱을 계속 확인하는 것과 같은 메커니즘을 사용하고 있으며, YouTube에서이를 사용하여 아주 작은 어린이의 머리를 해킹합니다. 광고 수익의 대가로 02:54 적어도, 그들이하고있는 일이되기를 바랍니다. YouTube에서 광고 수익을 창출하는 더 쉬운 방법이 있기 때문에 그들이 그렇게하기를 바랍니다. 물건을 만들거나 물건을 훔칠 수 있습니다. 따라서 "Peppa Pig"나 "Paw Patrol"과 같이 인기있는 어린이 만화를 검색하면 수백만 개나 수백만 개가 온라인으로 검색됩니다. 물론 대부분의 콘텐츠는 원래의 콘텐츠 제작자가 게시하지 않습니다. 그들은 무작위로 많은 다른 계정을로드하고로드하며, 게시자 또는 동기가 무엇인지 알 수 없습니다. 그거 친숙한 것 같니? 대부분의 디지털 서비스에서 이와 똑같은 메커니즘이 발생하기 때문에이 정보의 출처를 알 수 없습니다. 기본적으로 아이들을위한 가짜 뉴스입니다. 출처가 무엇인지에 관계없이 출생부터 가장 먼저 나오는 링크를 클릭하여 교육합니다. 그것은 대단히 좋은 생각처럼 보이지 않습니다. 03:46 아이들의 YouTube에서 정말 큰 또 다른 것이 있습니다. 이것을 "핑거 패밀리 송"이라고합니다. 방금 청중에게 신음 소리가 들렸습니다. 이것은 "핑거 패밀리 송"입니다. 이것은 제가 처음으로 발견 할 수있는 것입니다. 2007 년부터 시작된이 게임의 조회수는 20 만 회에 불과합니다. 그러나 그것은 광기가있는이 곡을 가지고 있습니다. 나는 당신에게 연주하지 않을 것입니다. 왜냐하면 그것이 내 자신을 두려워하는 것과 같은 방식으로 당신의 두뇌 속으로 자아 낼 것이기 때문입니다. 그리고 나는 당신에게 그것을하지 않을 것입니다. 그러나 깜짝 달걀처럼, 그것은 아이들의 머리 속에 들어있어 그들을 그것에 중독시킵니다. 따라서 몇 년 안에 이러한 손가락 가족 비디오가 어디에서나 나타나기 시작합니다. 음식을 사용하는 인기있는 어린이 만화와 다른 언어로 된 버전을 얻거나 솔직히 거짓말을하는 애니메이션 요소를 사용합니다. 그리고 다시 한 번 이러한 종류의 모든 미친 조합으로 온라인에서 수백만, 수백만, 수백만 개의 동영상을 볼 수 있습니다. 그리고 당신이 그들과 함께 보낼 시간이 많을수록 당신이 더 미쳤고 미친 듯이 느끼기 시작할 것입니다. 04:45 그리고 그것은 저의 주위에 제시 될 것 같은이 물건이 어떻게 만들어 졌는지에 대한 깊은 낯설음과 깊은 이해 부족이라는 느낌으로 시작되었습니다. 이 물건들이 어디에서 왔는지를 아는 것은 불가능하기 때문입니다. 누가 그걸 만들고있어? 일부는 전문 애니메이터 팀으로 구성되는 것으로 보입니다. 그들 중 일부는 소프트웨어로 무작위로 조립됩니다. 그들 중 일부는 건강에 좋게 보이는 어린 아이들의 연예인입니다. 그리고 그들 중 일부는 정말로 분명히 아이들 주위에 있으면 안된다는 사람들로부터 왔습니다. 05:16 (웃음) 05:18 그리고 다시 한 번,이 물건을 만드는 사람을 알아내는 불가능 성은 봇입니다. 이 사람인가요? 이거 트롤인가요? 우리가 더 이상이 차이를 말할 수 없다는 것은 무엇을 의미합니까? 그리고 다시, 불확실성이 지금 친숙하다고 느껴지지 않습니까? 05:38 따라서 사람들이 자신의 동영상에 대한 의견을 얻는 주요 방법은 - 조회수가 돈을 의미 함을 기억합니다. -이 인기있는 용어로 동영상의 제목을 채우는 것입니다. 따라서 "깜짝 달걀"을 가져 와서 "Paw Patrol", "Easter egg"등의 단어를 다른 인기 동영상의 모든 단어를 제목에 추가하여 이러한 종류의 무의미한 언어의 매시는 인간에게 전혀 이해가되지 않습니다. 물론 동영상을보고있는 사람은 실제로 어린 애들 일 뿐이며 도대체 뭘 알고 있니? 이 물건에 대한 귀하의 진정한 청중은 소프트웨어입니다. 그것은 알고리즘입니다. YouTube가 어떤 동영상을 다른 동영상과 같은 것으로 선택하고 인기가 높여서 추천하도록 만드는 소프트웨어입니다. 그래서 제목과 내용 모두에 대해 완전히 무의미한 매시 (mash)로 끝나는 것입니다. 06:23 하지만 사실은 알고리즘 적으로 최적화 된 시스템 내에 사람이 여전히 존재한다는 사실을 기억해야합니다. 점점 더 기괴한 단어 조합을 실행하도록 강요당하는 사람들, 예를 들어 절망적 인 즉흥 작곡가가 즉시 백만명의 유아. 이 시스템에는 실제 사람들이 갇혀 있습니다.이 알고리즘 기반의 문화에 관해서는 아주 이상한 것입니다. 왜냐하면 당신이 인간이라해도 생존을 위해 기계처럼 행동해야하기 때문입니다. 06:57 그리고 화면의 다른면에는 아직도이 작은 아이들이 이런 것들을보고 있습니다. 붙어있어,이 이상한 메커니즘으로 가득 찬 모든 사람들의 관심을 끌었습니다. 그리고이 아이들의 대부분은 너무 작아서 웹 사이트를 사용할 수 없습니다. 그들은 단지 작은 손으로 화면을 망치는 것입니다. 자동 재생이 있습니다.이 동영상은 계속해서 한 번에 여러 시간 동안 끊임없이 반복적으로 반복 재생됩니다. 그리고 자동 재생이 당신을 꽤 이상한 곳으로 안내 할 정도로 시스템에 이상한 것이 있습니다. 이것은 십여 가지 단계에서 카운트 열차의 귀여운 비디오에서부터 자위하는 미키 마우스에 갈 수있는 방법입니다. 네. 죄송합니다. 이것은 더 나 빠지지 않습니다. 이러한 모든 다른 키워드, 이러한 모든 관심 사항, 필사적 인 콘텐츠 생성 등 모든 것이 모두 한 곳으로 모이게되면 일어나는 일입니다. 이것은 그 모든 이상한 키워드가 집으로 돌아 오는 곳입니다. 당신은 몇 가지 실사 슈퍼 히어로와 함께 손가락 가족 비디오를 교차 형으로 만들었습니다. 이상한 비틀 거리기의 농담이나 무언가를 추가하면 갑자기 매우 이상한 곳으로옵니다. 08:07 부모를 화나게하는 경향이있는 콘텐츠는 폭력적이거나 성적인 콘텐츠가있는 콘텐츠입니까? 어린이 만화가 폭행을 당하고, 살해되고, 괴상한 농담이 실제로 어린이들을 진정으로 두려워하게 만듭니다. 당신이 가지고있는 것은 소프트웨어가 아이들의 최악의 악몽을 자동적으로 만들어 내기 위해 이러한 다양한 영향을 받는다는 것입니다. 그리고이 물건은 정말로 작은 아이들에게 영향을 미칩니다. 부모들은 아이들이 상처를 입어 어둠을 두려워 해 좋아하는 만화 캐릭터를 두려워한다고보고합니다. 한 가지를 멀리하면, 어린 아이가 있으면 YouTube에서 멀리 떨어져 버려야합니다. 08:44 (박수 갈채) 08:50 그러나 다른 것은, 이것에 관해 정말로 나에게 도달하는 것은, 우리가이 점에 어떻게 도달했는지에 대해 우리가 정말로 이해하고 있는지 확신 할 수 없다는 것입니다. 우리는이 모든 영향을 모두 받아 들였고, 아무도 의도하지 않은 방식으로 그들을 조종했습니다. 그러나 이것은 우리가 전 세계를 건설하는 방식이기도합니다. 우리는이 모든 데이터, 많은 데이터, 나쁜 데이터, 편견으로 가득 찬 많은 역사적인 데이터, 모든 최악의 충동에 충실한 데이터를 사용하고 있습니다. 그리고 우리는 그것을 거대한 데이터 세트로 만들고 있습니다. 그것을 자동화합니다. 그리고 우리는 신용 보고서, 보험료, 예측 형 경찰 제도와 같은 것들, 선고 지침 등을 작성했습니다. 이것이 우리가 실제로이 데이터에서 오늘날 세계를 건설하는 방식입니다. 그리고 나는 더 나쁜 것을 알지 못합니다. 우리는 인간 행위의 절대적인 최악의 측면에 대해 완전히 최적화 된 시스템을 구축했거나 우연히 그 일을 실현하지 못했던 것으로 보입니다. 우리는 실제로 우리가 구축하고 있던 시스템을 이해하지 못했고, 우리는 그 시스템과 다른 방식을 실제로 어떻게 이해할 수 없었습니다. 09:54 실제로 YouTube에서 가장 많이 운영되는 것으로 보이는 몇 가지 사항이 있으며 그 중 첫 번째는 광고입니다.이 광고는 직장에서 실제로 다른 변수가 없어도 관심을 불러 일으키고 실제로 개발중인 사람들을 돌 봅니다. 이 내용, 권력의 중앙 집중화, 그러한 것들의 분리. 그러나 나는 당신이 광고의 사용에 대해 생각하고 있다고 생각합니다. 실제로 기꺼이 이해할 수없는 알고리즘이 돈을 줄 것이라는 희망으로 기저귀에서 성장한 기저귀 사람들이 모래 주위를 돌아 다니고있는 것을 보았습니다. 이것은 아마도 우리가 사회와 문화를 기반으로 삼아야 만하는 것이 아니며, 우리가 자금을 조달해야하는 방식 일 것입니다. 10:33 또 다른 주요한 요인은 자동화입니다.이 기술은 도착하자 마자이 모든 기술을 어떤 종류의 감시없이 배포 한 다음, 일단 밖으로 나가면 손과 손을 "이봐, 우리가 아니야. 그게 기술이야." 마찬가지로, "우리는 그것에 관여하지 않습니다." 이 것은 실제로 알고리즘으로 관리되는 것이 아니라 알고리즘 적으로 정책 처리되기 때문에 충분하지 않습니다. YouTube가 처음이 사실에주의를 기울이기 시작했을 때 가장 먼저 할 일은 콘텐츠를 검토하기 위해 더 나은 기계 학습 알고리즘을 배포하는 것입니다. 글쎄, 기계 학습은 어떤 전문가라도 당신에게 말할 것입니다. 기본적으로 우리는 소프트웨어가 어떻게 작동하는지 이해하지 못하는 소프트웨어라고 부릅니다. 그리고 우리는 이미 그것으로 충분하다고 생각합니다. 우리는 AI가 무엇이 적절한 것인지 결정하기 위해이 물건을 남기지 않아야합니다. 왜냐하면 우리는 어떤 일이 발생했는지 알기 때문입니다. 다른 일을 검열하기 시작합니다. 그것은 퀴어 컨텐츠를 검열하기 시작할 것이다. 그것은 합법적 인 대중 연설을 검열하기 시작할 것입니다. 이 담론에서 허용되는 것은 무의미한 시스템 에까지 남겨져있는 것이 아닙니다. 우리 모두가해야 할 토론의 일부입니다. 11:36 그러나 나는 대안이 매우 즐겁지 않다는 것을 상기시켜 줄 것이다. 유튜브는 또한 최근에 사람들이 완전히 검토 할 수있는 아이의 앱 버전을 공개 할 것이라고 발표했다. 페이스 북 - 주커 버그 (Zuckerberg)는 의회에서 자신들의 물건을 조절할 방법에 대해 압박을받을 때도 똑같이 말했다. 그는 사람들이 그것을하고 있다고 말했습니다. 그리고 그것이 실제로 의미하는 것은, 유아가이 물건을 보는 최초의 사람이되는 대신에, 정신 건강 지원이 제대로되지 않는 불안정한 계약직 노동자들에게 보탬이 될 것입니다. 12:07 (웃음) 12:08 그리고 나는 우리 모두가 그것보다 훨씬 더 잘할 수 있다고 생각합니다. 12:10 (박수 갈채) 12:14 내 생각에, 그 두 가지를 함께 가져 오는데, 정말로 나를 위해, 선택의 여지가 있습니다. 그것은 우리가 실제로 얼마나 많이 이해하는지와 같은 것입니다. 기관에 의하면, 우리가 어떻게 우리 자신의 최선의 이익을 위해 행동해야 하는지를 안다는 의미입니다. 이 시스템에서 우리가 실제로 완전히 이해하지 못하는 것은 거의 불가능합니다. 불평등은 항상 폭력으로 이어집니다. 그리고 우리는 이러한 시스템 내부에서 이해의 불평등이 똑같은 것을 볼 수 있습니다. 이러한 시스템을 개선하기 위해 우리가 할 수있는 일이 있다면, 그것을 사용하는 사람들이 더 쉽게 읽을 수 있도록해야합니다. 그래서 우리 모두는 실제로 실제로 진행되고있는 일에 대해 공통된 이해를 갖습니다. 12:51 그러나 이 시스템에 대한 가장 큰 장점은 내가 YouTube에서 설명했으면하는 바램과는 다르다는 것입니다. 그것은 모든 것에 관한 것입니다. 본질적으로 소수의 권력 집중에 기인 한 폭력과 착취에 대한 책임과 기관, 불투명도와 복잡성에 관한 이러한 문제는 훨씬 더 큰 이슈입니다. YouTube는 일반적인 기술뿐만 아니라 새롭지도 않은 문제입니다. 그들은 오랫동안 우리와 함께했습니다. 그러나 우리는 마침내이 시스템,이 글로벌 시스템, 인터넷을 만들었습니다. 실제로 이 특별한 방법으로 우리에게 보여주고 있습니다. 부인할 수 없습니다. 기술은 우리의 가장 비범하고 자주 숨겨진 욕망과 편견을 모두 구체화하고 세계로 인코딩하는 이 놀라운 능력을 가지고 있지만, 우리는 그들을 볼 수 있도록 그들을 쓴다. 그래서 우리는 그들이 외면 할 수 없다. 더 이상 존재하지 않습니다. 우리는 기술에 대한 생각을 우리의 모든 문제에 대한 해결책으로 생각할 필요가 없지만, 실제로 문제가 무엇인지에 대한 지침으로 생각하므로 문제를 제대로 생각하고 해결할 수 있습니다. 14:01 고맙습니다. 14:03 (박수 갈채) 14:09 고맙습니다. 14:10 (박수 갈채) 14:16 Helen Walters : James, 와줘서 고맙습니다. 흥미 롭습니다. 로봇 대 군주가 맡는 영화에 대해 생각할 때, 당신이 묘사하는 것보다 훨씬 매력적입니다. 그러나 나는 그 영화에서 당신은 저항력을 가지고 있다고 생각합니다. 이 재료에 대한 저항력이 있습니까? 당신은 어떤 긍정적 인 신호, 저항의 녹색 촬영을 볼 수 있습니까? 14:40 James Bridle : 직접적인 저항에 대해서는 잘 모르겠다. 나는 그것이 문화에 정말로 깊은 방법으로 구워 졌다고 생각한다. 내 친구 인 엘레노어 사이타 (Eleanor Saitta)는 항상 충분한 규모와 범위의 기술적 인 문제는 정치적 문제라고 말합니다. 그래서 우리가 여기서 다루기 위해 노력하고있는 이러한 모든 것들이 기술을 더 잘 구축함으로써 해결 될 수는 없지만 실제로 이러한 기술을 생산하는 사회를 변화시킴으로써 이루어질 것입니다. 그래서 아니, 지금, 우리는 갈 길이 멀다는 생각이 들어. 그러나 제가 말씀 드렸듯이, 그것들을 풀고, 설명함으로써, 솔직하게 말하면, 적어도 그 과정을 시작할 수 있습니다. 15:15 HW : 읽기 쉬움과 디지털 문맹 퇴치에 관해 이야기 할 때 디지털 리터러시에 대한 부담을 사용자에게만 부여해야한다고 생각하기 어렵습니다. 그러나 이 새로운 세상에서의 교육은 누구의 책임입니까? 15:29 JB : 다시 말하지만, 저는 이 책임이 우리 모두에게 달려 있다고 생각합니다. 우리가 하는 모든 것, 우리가 만드는 모든 것, 우리가 하는 모든 것, 그것을 피하는 모든 사람들과 합의하는 토론이 필요합니다. 우리는 사람들을 속이려는 의도로 시스템을 구축하지 않고 있지만, 실제로는 교육의 모든 단계에 참여하고 있습니다. 왜냐하면 이러한 시스템 각각은 교육적이기 때문입니다. 그것이 내가 바라는 것입니다. 이 매우 냉혹한 것조차도, 당신이 그것을 가지고 그것을 올바르게 볼 수 있다면 실제로 그것은 복잡한 시스템이 어떻게 결합되어 작동하는지를 볼 수있는 교육 그 자체입니다. 그 지식을 세계 다른 곳에 적용 할 수 있어야합니다. 16:08 HW : 제임스, 중요한 토론입니다. 이곳의 많은 사람들이 정말로 열리고 준비가 되어 있으므로 아침에 시작해 주셔서 감사합니다. 16:15 JB : 대단히 감사합니다. 건배. 16:17 (박수 갈채)

00:00 I'm James. I'm a writer and artist, and I make work about technology. I do things like draw life-size outlines of military drones in city streets around the world, so that people can start to think and get their heads around these really quite hard-to-see and hard-to-think-about technologies. I make things like neural networks that predict the results of elections based on weather reports, because I'm intrigued about what the actual possibilities of these weird new technologies are. Last year, I built my own self-driving car. But because I don't really trust technology, I also designed a trap for it. 00:38 (Laughter) 00:39 And I do these things mostly because I find them completely fascinating, but also because I think when we talk about technology, we're largely talking about ourselves and the way that we understand the world. So here's a story about technology. 00:55 This is a "surprise egg" video. It's basically a video of someone opening up loads of chocolate eggs and showing the toys inside to the viewer. That's it. That's all it does for seven long minutes. And I want you to notice two things about this. First of all, this video has 30 million views. 01:14 (Laughter) 01:16 And the other thing is, it comes from a channel that has 6.3 million subscribers, that has a total of eight billion views, and it's all just more videos like this -- 30 million people watching a guy opening up these eggs. It sounds pretty weird, but if you search for "surprise eggs" on YouTube, it'll tell you there's 10 million of these videos, and I think that's an undercount. I think there's way, way more of these. If you keep searching, they're endless. There's millions and millions of these videos in increasingly baroque combinations of brands and materials, and there's more and more of them being uploaded every single day. Like, this is a strange world. Right? 01:59 But the thing is, it's not adults who are watching these videos. It's kids, small children. These videos are like crack for little kids. There's something about the repetition, the constant little dopamine hit of the reveal, that completely hooks them in. And little kids watch these videos over and over and over again, and they do it for hours and hours and hours. And if you try and take the screen away from them, they'll scream and scream and scream. If you don't believe me -- and I've already seen people in the audience nodding -- if you don't believe me, find someone with small children and ask them, and they'll know about the surprise egg videos. So this is where we start. It's 2018, and someone, or lots of people, are using the same mechanism that, like, Facebook and Instagram are using to get you to keep checking that app, and they're using it on YouTube to hack the brains of very small children in return for advertising revenue. 02:54 At least, I hope that's what they're doing. I hope that's what they're doing it for, because there's easier ways of making ad revenue on YouTube. You can just make stuff up or steal stuff. So if you search for really popular kids' cartoons like "Peppa Pig" or "Paw Patrol," you'll find there's millions and millions of these online as well. Of course, most of them aren't posted by the original content creators. They come from loads and loads of different random accounts, and it's impossible to know who's posting them or what their motives might be. Does that sound kind of familiar? Because it's exactly the same mechanism that's happening across most of our digital services, where it's impossible to know where this information is coming from. It's basically fake news for kids, and we're training them from birth to click on the very first link that comes along, regardless of what the source is. That's doesn't seem like a terribly good idea. 03:46 Here's another thing that's really big on kids' YouTube. This is called the "Finger Family Song." I just heard someone groan in the audience. This is the "Finger Family Song." This is the very first one I could find. It's from 2007, and it only has 200,000 views, which is, like, nothing in this game. But it has this insanely earwormy tune, which I'm not going to play to you, because it will sear itself into your brain in the same way that it seared itself into mine, and I'm not going to do that to you. But like the surprise eggs, it's got inside kids' heads and addicted them to it. So within a few years, these finger family videos start appearing everywhere, and you get versions in different languages with popular kids' cartoons using food or, frankly, using whatever kind of animation elements you seem to have lying around. And once again, there are millions and millions and millions of these videos available online in all of these kind of insane combinations. And the more time you start to spend with them, the crazier and crazier you start to feel that you might be. 04:45 And that's where I kind of launched into this, that feeling of deep strangeness and deep lack of understanding of how this thing was constructed that seems to be presented around me. Because it's impossible to know where these things are coming from. Like, who is making them? Some of them appear to be made of teams of professional animators. Some of them are just randomly assembled by software. Some of them are quite wholesome-looking young kids' entertainers. And some of them are from people who really clearly shouldn't be around children at all. 05:16 (Laughter) 05:18 And once again, this impossibility of figuring out who's making this stuff -- like, this is a bot? Is this a person? Is this a troll? What does it mean that we can't tell the difference between these things anymore? And again, doesn't that uncertainty feel kind of familiar right now? 05:38 So the main way people get views on their videos -- and remember, views mean money -- is that they stuff the titles of these videos with these popular terms. So you take, like, "surprise eggs" and then you add "Paw Patrol," "Easter egg," or whatever these things are, all of these words from other popular videos into your title, until you end up with this kind of meaningless mash of language that doesn't make sense to humans at all. Because of course it's only really tiny kids who are watching your video, and what the hell do they know? Your real audience for this stuff is software. It's the algorithms. It's the software that YouTube uses to select which videos are like other videos, to make them popular, to make them recommended. And that's why you end up with this kind of completely meaningless mash, both of title and of content. 06:23 But the thing is, you have to remember, there really are still people within this algorithmically optimized system, people who are kind of increasingly forced to act out these increasingly bizarre combinations of words, like a desperate improvisation artist responding to the combined screams of a million toddlers at once. There are real people trapped within these systems, and that's the other deeply strange thing about this algorithmically driven culture, because even if you're human, you have to end up behaving like a machine just to survive. 06:57 And also, on the other side of the screen, there still are these little kids watching this stuff, stuck, their full attention grabbed by these weird mechanisms. And most of these kids are too small to even use a website. They're just kind of hammering on the screen with their little hands. And so there's autoplay, where it just keeps playing these videos over and over and over in a loop, endlessly for hours and hours at a time. And there's so much weirdness in the system now that autoplay takes you to some pretty strange places. This is how, within a dozen steps, you can go from a cute video of a counting train to masturbating Mickey Mouse. Yeah. I'm sorry about that. This does get worse. This is what happens when all of these different keywords, all these different pieces of attention, this desperate generation of content, all comes together into a single place. This is where all those deeply weird keywords come home to roost. You cross-breed the finger family video with some live-action superhero stuff, you add in some weird, trollish in-jokes or something, and suddenly, you come to a very weird place indeed. 08:07 The stuff that tends to upset parents is the stuff that has kind of violent or sexual content, right? Children's cartoons getting assaulted, getting killed, weird pranks that actually genuinely terrify children. What you have is software pulling in all of these different influences to automatically generate kids' worst nightmares. And this stuff really, really does affect small children. Parents report their children being traumatized, becoming afraid of the dark, becoming afraid of their favorite cartoon characters. If you take one thing away from this, it's that if you have small children, keep them the hell away from YouTube. 08:44 (Applause) 08:50 But the other thing, the thing that really gets to me about this, is that I'm not sure we even really understand how we got to this point. We've taken all of this influence, all of these things, and munged them together in a way that no one really intended. And yet, this is also the way that we're building the entire world. We're taking all of this data, a lot of it bad data, a lot of historical data full of prejudice, full of all of our worst impulses of history, and we're building that into huge data sets and then we're automating it. And we're munging it together into things like credit reports, into insurance premiums, into things like predictive policing systems, into sentencing guidelines. This is the way we're actually constructing the world today out of this data. And I don't know what's worse, that we built a system that seems to be entirely optimized for the absolute worst aspects of human behavior, or that we seem to have done it by accident, without even realizing that we were doing it, because we didn't really understand the systems that we were building, and we didn't really understand how to do anything differently with it. 09:54 There's a couple of things I think that really seem to be driving this most fully on YouTube, and the first of those is advertising, which is the monetization of attention without any real other variables at work, any care for the people who are actually developing this content, the centralization of the power, the separation of those things. And I think however you feel about the use of advertising to kind of support stuff, the sight of grown men in diapers rolling around in the sand in the hope that an algorithm that they don't really understand will give them money for it suggests that this probably isn't the thing that we should be basing our society and culture upon, and the way in which we should be funding it. 10:33 And the other thing that's kind of the major driver of this is automation, which is the deployment of all of this technology as soon as it arrives, without any kind of oversight, and then once it's out there, kind of throwing up our hands and going, "Hey, it's not us, it's the technology." Like, "We're not involved in it." That's not really good enough, because this stuff isn't just algorithmically governed, it's also algorithmically policed. When YouTube first started to pay attention to this, the first thing they said they'd do about it was that they'd deploy better machine learning algorithms to moderate the content. Well, machine learning, as any expert in it will tell you, is basically what we've started to call software that we don't really understand how it works. And I think we have enough of that already. We shouldn't be leaving this stuff up to AI to decide what's appropriate or not, because we know what happens. It'll start censoring other things. It'll start censoring queer content. It'll start censoring legitimate public speech. What's allowed in these discourses, it shouldn't be something that's left up to unaccountable systems. It's part of a discussion all of us should be having. 11:36 But I'd leave a reminder that the alternative isn't very pleasant, either. YouTube also announced recently that they're going to release a version of their kids' app that would be entirely moderated by humans. Facebook -- Zuckerberg said much the same thing at Congress, when pressed about how they were going to moderate their stuff. He said they'd have humans doing it. And what that really means is, instead of having toddlers being the first person to see this stuff, you're going to have underpaid, precarious contract workers without proper mental health support being damaged by it as well. 12:07 (Laughter) 12:08 And I think we can all do quite a lot better than that. 12:10 (Applause) 12:14 The thought, I think, that brings those two things together, really, for me, is agency. It's like, how much do we really understand -- by agency, I mean: how we know how to act in our own best interests. Which -- it's almost impossible to do in these systems that we don't really fully understand. Inequality of power always leads to violence. And we can see inside these systems that inequality of understanding does the same thing. If there's one thing that we can do to start to improve these systems, it's to make them more legible to the people who use them, so that all of us have a common understanding of what's actually going on here. 12:51 The thing, though, I think most about these systems is that this isn't, as I hope I've explained, really about YouTube. It's about everything. These issues of accountability and agency, of opacity and complexity, of the violence and exploitation that inherently results from the concentration of power in a few hands -- these are much, much larger issues. And they're issues not just of YouTube and not just of technology in general, and they're not even new. They've been with us for ages. But we finally built this system, this global system, the internet, that's actually showing them to us in this extraordinary way, making them undeniable. Technology has this extraordinary capacity to both instantiate and continue all of our most extraordinary, often hidden desires and biases and encoding them into the world, but it also writes them down so that we can see them, so that we can't pretend they don't exist anymore. We need to stop thinking about technology as a solution to all of our problems, but think of it as a guide to what those problems actually are, so we can start thinking about them properly and start to address them. 14:01 Thank you very much. 14:03 (Applause) 14:09 Thank you. 14:10 (Applause) 14:16 Helen Walters: James, thank you for coming and giving us that talk. So it's interesting: when you think about the films where the robotic overlords take over, it's all a bit more glamorous than what you're describing. But I wonder -- in those films, you have the resistance mounting. Is there a resistance mounting towards this stuff? Do you see any positive signs, green shoots of resistance? 14:40 James Bridle: I don't know about direct resistance, because I think this stuff is super long-term. I think it's baked into culture in really deep ways. A friend of mine, Eleanor Saitta, always says that any technological problems of sufficient scale and scope are political problems first of all. So all of these things we're working to address within this are not going to be addressed just by building the technology better, but actually by changing the society that's producing these technologies. So no, right now, I think we've got a hell of a long way to go. But as I said, I think by unpacking them, by explaining them, by talking about them super honestly, we can actually start to at least begin that process. 15:15 HW: And so when you talk about legibility and digital literacy, I find it difficult to imagine that we need to place the burden of digital literacy on users themselves. But whose responsibility is education in this new world? 15:29 JB: Again, I think this responsibility is kind of up to all of us, that everything we do, everything we build, everything we make, needs to be made in a consensual discussion with everyone who's avoiding it; that we're not building systems intended to trick and surprise people into doing the right thing, but that they're actually involved in every step in educating them, because each of these systems is educational. That's what I'm hopeful about, about even this really grim stuff, that if you can take it and look at it properly, it's actually in itself a piece of education that allows you to start seeing how complex systems come together and work and maybe be able to apply that knowledge elsewhere in the world. 16:08 HW: James, it's such an important discussion, and I know many people here are really open and prepared to have it, so thanks for starting off our morning. 16:15 JB: Thanks very much. Cheers. 16:17 (Applause)