Lex Fridman Podcast - Vladimir Vapnik: Predicates, Invariants, and the Essence of Intelligence

Episode Date: February 14, 2020

Vladimir Vapnik is the co-inventor of support vector machines, support vector clustering, VC theory, and many foundational ideas in statistical learning. He was born in the Soviet Union, worked at the Institute of Control Sciences in Moscow, then in the US, worked at AT&T, NEC Labs, Facebook AI Research, and now is a professor at Columbia University. His work has been cited over 200,000 times. This conversation is part of the Artificial Intelligence podcast. If you would like to get more information about this podcast go to https://lexfridman.com/ai or connect with @lexfridman on Twitter, LinkedIn, Facebook, Medium, or YouTube where you can watch the video versions of these conversations. If you enjoy the podcast, please rate it 5 stars on Apple Podcasts, follow on Spotify, or support it on Patreon. This episode is presented by Cash App. Download it (App Store, Google Play), use code "LexPodcast".  Here's the outline of the episode. On some podcast players you should be able to click the timestamp to jump to that time. 00:00 - Introduction 02:55 - Alan Turing: science and engineering of intelligence 09:09 - What is a predicate? 14:22 - Plato's world of ideas and world of things 21:06 - Strong and weak convergence 28:37 - Deep learning and the essence of intelligence 50:36 - Symbolic AI and logic-based systems 54:31 - How hard is 2D image understanding? 1:00:23 - Data 1:06:39 - Language 1:14:54 - Beautiful idea in statistical theory of learning 1:19:28 - Intelligence and heuristics 1:22:23 - Reasoning 1:25:11 - Role of philosophy in learning theory 1:31:40 - Music (speaking in Russian) 1:35:08 - Mortality

The following is a conversation of Vladimir Vapnik, part two. The second time we spoke on the podcast. He's the co-inventor of support vector machines, support vector clustering, VC theory, and many foundational ideas in statistical learning. He was born in the Soviet Union, worked at the Institute of Control Sciences in Moscow, then in the US, worked at AT&T, and he sea labs, Facebook AI research, and now is a professor at Columbia University.

His work has been cited over 200,000 times. The first time we spoke on the podcast was just over a year ago, one of the early episodes. This time, we spoke after a lecture he gave titled Complete Statistical Theory of Learning, as part of the MIT series of lectures on deep learning and AI that I organized. I'll release the video of the lecture in the next few days. This podcast and lecture are independent from each other, so you don't need one to understand the other. The lecture is quite technical and math-heavy, so if you do watch both, I recommend listening to this

podcast first, since the podcast is probably a bit more accessible. This is the Artificial Intelligence Podcast. If you enjoy it, subscribe on YouTube, give it 5 stars on Apple Podcast, support it on Patreon, or simply connect with me on Twitter, and Lex Friedman spelled F-R-I-D-M-A-N. As usual, I'll do one or two minutes of ads now and never any ads in the middle that can break the flow of the conversation. I hope that works for you and doesn't hurt the listening experience. This show is presented by CashApp, the number one finance app in the App Store. When you get it,

use code Lex Podcast. CashApp lets you send money to friends by bitcoin and invest in the stock market with as little as $1. Broker services are provided by Cash App investing, a subsidiary of Square and member SIPC. Since Cash App allows you to send and receive money digitally, peer to peer, and security and all digital transactions is very important, let me mention the PCI data security standard, PCI DSS level one, a cash app is compliant with. I'm a big fan of standards for safety and security, and PCI DSS is a good example of that,

where a bunch of competitors got together and agreed that there needs to be a global standard around the security of transactions. Now we just need to do the same for autonomous vehicles and AI systems in general. So again, if you get cash out from the App Store, Google Play, and use the code Lex Podcast, you get $10 and cashable will also donate $10 to first. One of my favorite organizations that is helping to advance robotics and STEM education for young people around the world. And now here's my conversation with Vladimir Vapnik. You and I talked about Alan Turing yesterday, a little bit. And that he, as the father of artificial intelligence, may have instilled in our field and ethic

of engineering and that science, seeking more to build intelligence rather than to understand it. What do you think is the difference between these two paths of engineering intelligence and the science of intelligence? It's completely different story.имитации of human activity. Ты имеешь в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, в виду, виду, в виду, виду, в виду, в виду, в виду, в виду, в виду, в виду, виду, виду, в виду, в виду, виду, виду, в виду, в виду, виду видное, что это довольно много проблем. Я думаю, что это somehow влажно, чтобы предыкнуть, что я уже говорил.

Потому что, смотрите, Владимир Попс, идея. Адии. Он просто не встал, 31, он предыкает. Он – «Кол, это униц». Он может спрятать умер-биха в раше-нтель, в локон-раше-нтель, и сражать от этого. И люди понимают, что это более влезо-нтель. tales and write from that. And then people realize that it more writes than in Russian tales. It doesn't TV in movies, cereals and so on and so on. So you're talking about Vladimir prop, right? Who in 1928 published a book morphology of the folk tale

describing 31 predicates that have this kind of sequential structure that a lot of the stories narratives follow in Russian folklore and other content. We'll talk about it. I'd like to talk about predicates in a focused way, but let me if you allow me to stay zoomed out on our friend Alan Turing. And, you know, he inspired a generation with the imitation game. Yes. Do you think, if you can linger a little bit longer, do you think we can learn, do you think learning to imitate intelligence can get us closer to the science, to understanding intelligence? So why do you think imitation is so far from understanding? I think that it is different between you have different goals.

So your goal is to create something, something useful. And that is great. And you can see how much sense was done. And I believe that it will be done even more. И это очень хорошо. И вы можете видеть, что было в этом состоянии, и я думаю, что это будет более удобно. Но даже в древнем карте, и в этом бизнесе, это очень хорошо. И это было успеем по тюринге, но в этом состоянии очень сложно.

Это более-сфилосистический категории. Что значит, что это вверх? Я думаю, что в этом состоянии, что начинает в плату, что есть вольт в Адииз. Я думаю, что в Адииз it is вольт в Адииз. Но это вольт в пиур Адииз. И когда ты коглашився в реальной цели,

это креет, как в Майказе, в варианте, which is very specific. И это, я думаю, эта коглача для радио, в который, в том числе, может быть, это интеллигент. of ideas in way to constructing and variant is intelligence. But first of all, predicate. If you know predicate and hopefully then not too much predicate exists. For example, 31 predicate for human behaviors's not a lot. Vladimir Prop used 31, you can even call him predicate 31, predicate to describe stories,

narratives. So you think human behavior, how much of human behavior, how much of our world, our universe, all the things that matter in our existence can be summarized in predicates of the kind that prop was working with. I think that we have a lot of form of behavior, but I think the predicate is much less, because even in this example, which I gave you yesterday, you saw that predicate can be, в то время, что я говорил, что предык can constract many different variants, depending on your data, they are applying to different data and they give different variants.

So, but pure ideas may be not so much. Not so many. Well, let's- I don't know about that. But my guess, I hope, that's why challenge about digital recognition, how much you need. I think we'll talk about computer vision and 2D images a little bit in your challenge. That's exactly about intelligence. That's exactly- That's exactly about intelligence. That's exactly about,

you know, that hopes to be exactly about the spirit of intelligence in the simplest possible way. Absolutely. You should start this simplest way, as the vice-euroly not be able to do it. Well, there's an open question whether starting at the M-NIST digit recognition is a step towards intelligence or it's an entirely different thing. I think that to beat records using say, hundred, two hundred times, less examples, you need intelligence. You need intelligence. So let's, because you use this term and it would be nice. I'd like to ask simple, maybe even dumb questions. Let's

start with a predicate. In terms of terms and how you think about it, what is the predicate? I don't know. I have a feeling formally that it exists, but I believe that predicate photo-D images, one of them is symmetry. Hold on a second, sorry, sorry to interrupt and pull you back. At the simplest level, we're not being profound currently. A predicate is a statement of something that is true. Yes.

Do you think of predicate as somehow probabilistic in nature or is this binary, this is truly constraints of logical statements about the world? In my definitions, the simplest predicate is function. Function, and you can use this function to make inner product, that is predicate. Was the input and was the output of the function? Input is X, something which is input in reality. Say if you consider a digital recognition, it picks up space. Yes, input. But it is function which in pixel space, but it can be any function from pixel space,

and you choose, and I believe that there are several functions which is important to understand в том, что это не просто конструкция, но я не знаю, как это я не знаю, как это как ваше структируется, это пикция. Страктируется? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это?

Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Да, что это? Structurized. Yeah, what do you mean by structurized? It is formal definition say something happened heavy on the left corner

not so heavy in the middle and so on you describe In general concept of what what you see concepts some kind of universal concepts. Yeah But I don't know how to formalize this. Do you? So this is the thing. There's a million ways we can talk about this. I'll keep bringing it up.

But we humans have such concepts. When we look at digits. But it's hard to put them just like you're saying now. It's hard to put them into words. You know, это это example. Когда критиками в музыке, стараются украдить музыку, они предыдущаются.

И не очень много предыдущих, но в другом комбинации. Но они имеют специ special words for describing music. И... И это самое главное, что было для имя. Но, может быть, это критик, который об этом understand о том, что это имя. Вы думаете, что это критик, который может

подавать имя, то есть human beings. I hope so, yes. But that explicitly states them on paper. The fundamental question I'm asking is, do you think there exists a small set of predicates that will summarize images. It feels to our mind like it does, that the concept of what makes it two, and a three, and a four... No, no, no, it's not on this level.

What it should not describe, two, three, four. Это describe some construction, which allow you to create invariance. И виринствии, извините, что это стеканность, но терминологии, виринствии это

проторитие of your image. say I can say looking on my image, it is more or less symmetric Я могу сказать, что, вон, на моем, это более симетрии, и я могу дать вам волю в симметрии. Слышь, левую симметрии, используясь в this function which I gave yesterday. і може дискрайп, що ці інші у цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих цих specific data to specific music to something. I strongly believe in this plato ideas that there exists world of predicate and world of reality and predicate and reality is somehow connected and you have to.

Let's talk about Plato a little bit. So you draw a line from Plato to Hegel to Wigner to today. So Plato has forms, the the theory of forms. So there's a world of ideas, a world of things, as you thought I thought, and there's a connection. And presumably the world of ideas is very small. And the world of things is arbitrarily big. But they're all what Plato calls them like, it's a shadow, the real world is a shadow from the world of form.

Yeah, you have projection. Projection of world of ideas. Yeah, very important. In reality, you can realize this projection using a new, this invariance because it is projection for on specific examples, which create specific features of specific objects. So, and... So, the essence of intelligence is

while only being able to observe the world of things, try to come up with the world of ideas. Exactly. Like in this music story, intelligent musical critics knows this all this word, and they're never feeling about what. I feel like that's a contradiction, intelligent music critics. But I think music is to be enjoyed in all its forms. The notion of critic, like a food critic. No, I don't want that emotion. That's an interesting question.

There's a certain elements of the human psychology of the human experience, which seem to almost contradict intelligence and reason, like emotion, like fear, like love, all of those things are those not connected anyway to the space of ideas. Zasaya, I don't know. I just want to be concentrated on a very simple story, on digital recognition. So you don't think you have to love and fear death in order to recognize digits? очень просто, очень просто, в истории, в институте. Так, ты не думаешь, что ты любишь и дать деду, в ракхи, в институте?

Я не знаю, потому что это так complicated. Это не было много того, что я не видел, но я знаю о ин для джетрии, чтобы умерли рекорд, из-за больших обзоров, у нас есть предыдущие, но не спеша, предыдущие для этого проблема, но универсорный предыдущий, который But universal predicate, which understand the world of images. Of visual, individual.

But on the first step, they understand the world of handwritten digits or characters, or something, simple. So, like you said, symmetry is an interest. No. That's what I think one of the predicated to symmetry. But the level of symmetry. Okay, degree of symmetry. So you think symmetry at the bottom is a universal notion,

and there's degrees of a single kind of symmetry, or is there many kinds of symmetries? Many kinds of symmetries. There is a symmetry, anti-symmetry, say letter S. So it has vertical anti-symmetry. And it could be diagonal symmetry, vertical symmetry. when you cut vertically the letter S, yeah, then the upper part and lower part in different directions, it's inverted along the Y axis. But that's just like one example of symmetry, right?

Isn't there like a... Right, but there is a degree of symmetry. If you play all this literative stuff Если вы играете все эти древние штуки, чтобы древние штуки, то есть, что я дешкрай, что вы можете древние штуки, и это дешкрайный ризн of imagery. Это же, как вы дешкрали, the writing, the reason of image. It is the same as you will describe this image,

saying about the digital, it has anti-symmetry, digital asymmetric, more or less, look for symmetry. Do you think such concepts like symmetry, predicates, like symmetry, is it a hierarchical set of concepts? Or are these independent, distinct predicates that we want to discover, a subset of? Ну, это один из симметрии. И ты можешь это из симметрии, как в общем-то, очень генерал, как в симметрии. В симметрии не может быть 0,

но в симметрии. В симметрии, это, say, более-менее симметрик. Но, ты есть один из дискрептий. say, more or less symmetrical, but you have one of these descriptions. And symmetry can be different, as I told, horizontal, vertical, diagonal, and anti-symmetry is also a concept of symmetry. What about shape, in general?

I mean, symmetry is a fascinating notion, but... No, no, I'm talking about digit. Я думаю, симметрирует в сетях и наушенном. Но я не могу говорить о дидетах. Я бы хотел бы на концентрете, чтобы не предыказать в дидетах огнешения. Да, но симметриру не было для дидетных рекомендаций. Да. Это не специально для дидетных огнешения. Это помогает в виде варианта, Хэлпс, тукреетин вариант, each wheel, each wheel, 10 use,

when you will have examples for digital recognition. You have regular problem of digital recognition. You have examples of the first class, second class. Plus, you know that there exists concept of symmetry and you apply when you're looking for decision rule. это это консептов симитрии. И вы приема, когда вы понимаете, для десижения, вы приема консептов симитрии

из-за этого симитрии, который вы эстимает. Итак, давайте покоемся. Все это консобовые конвергенты. Что конвергенты? Что конвергенты? Что конвергенты? comes from big convergence. What is convergence? What is weak convergence? What is strong convergence?

I'm sorry, I'm going to do this to you. What are we converging from and to? You would like to have a function, the function which, say indicator function, which indicate your digit five, for example. A classification task. Let's talk only about classification. Classification means you will say whether this is a five or not or say which of the 10 digits it is. Right.

I would like to have some examples. Я могу подпишить про 30 examples, с цимитрием, и я могу уметь на every digit на level of symmetry. я може вирішити ливу в симпетріше всі діжити. І я може дякую речі, і я відмігаю до моїх тренів, і я може дякую за тільки фанкційність з кандіційні пробитів,

я може дякую за теж моей десиженции, которые, оплачут к диджиц, они дали мне в same аverage, как обзор о трениндеи. Так что, это в другом уровне о дескрептии, о том,

что ты не хочешь. Это в другом уровне of description of what you want. Не просто, не в том, что не в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, что в том, это дизид 3, и вы selected, как дизид 3, как дизид 3, и вы selected, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3,

как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, как дизид 3, по знаметрам, по знаметрам, в спуске. Это еще очень много. Для номера 3. Это очень много, но если вы have one predicate,

но, в том числе, есть струкные веточки. Струкные веточки, струкные веточки, и веточки, вы смотрите, что это веточки, вство и функции. Вы смотрите, что это функция, он будет функция, и вы смотрите, что это another функция, и в северной дизбор, из-за этого, это будет более-числен.

Если вы на дизборе, в любой момент, это будет более-числен. Это конвергенство и функции. an integral and it should be small. That is convergence in function. Suppose you have some function, any function. So I would say, I say that some function converges to this function if integral from square difference between them is small. That's the definition of strong convergence. That definition of strong convergence. Two functions, integral of the difference. Yes, small.

It is convergence in functions. But you have different convergence in functionals. You take any function, you take some function phi and take inner product, this function, this f function, f0 function, which you want to find. функция этой ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф-ф А якщо цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю ц то, что вы говорите, что это сфильм конвертии. Вы можете думать, что, когда вы берете интеграль, это протерпение, интеграль, протерпение от функции. Например, если вы берете сфильм, оказание,

это коэффициент, например, по-второму, если вы конвертите все коэффициенты, то, что под конвертой под конвертой, то есть, что вы подключите. Но конвертой есть неопространение. Конвертой не будет точ out, но integral property of function. So, big convergence means integral property of functions. When I talking about predicate, I would like to formulate, which integral property I would like to have for convergence.

я would like to have for convergence. И если я предыклить 1 предыклить its function, я имею правительность. Если я предыклить 1 предыклить, я предыклить only function, which gives me the same value as with this predicate, I selecting set of functions from functions which is admissible in the sense that function,

which I looking for, in this set of functions, because I checking in training data, it gives the same... Yes, so it always has to be connected to the training data, it gives the same. Yes, it's always has to be connected to the training data in terms of... Yeah, but, but property, you can know independent on training data. And this guy, prop, says that there is formal property, 31 property. You're fairytale, Russian fairytale. But Russian fairytale is not so interesting. More interesting is that people apply these to movies, to theater, to different things.

The same works, the universal. Well, so I would argue that there's a little bit of a difference between the kinds of things that were applied to which are essentially stories and digit recognition. It is the same story. You're saying digits, there's a story within the digit. Yeah. So, but my point is, I hope that it's possible to beat a record using not 60,000, but say Я надеюсь, что это может быть рекордом, зато не 60 000,

но, say, 100-100% потому что, instead, ты придикаешь, и ты selector your decision не из чего-то из чего-то но из чего-то из чего-то из чего-то, который придется но придикает не только для дикатрикотней, functions, but from set of functions which keep us predicate, but predicate is not related

just to digital techniques. Right. So, like in Plato's case, do you think it's possible to automatically discover the predicates? So, you basically said that the essence of intelligence is the discovery of good predicates. Yeah. Now, the natural question is, you know, that's what Einstein was good at doing in physics. Can we make machines do these kinds of discovery of good predicates, or is this ultimately a human endeavor? Zaz, I don't know. I don't think that machine can do, because according to theory about

weak convergence, any function from Hilbert space can be predicate. So you have infinite Так что, у нас есть инфинитный номер, предыкating, и, и, и, before, вы не знаете, which predicate, which is good, but whatever prop, show, and why people call it, breaks through, that there is not too many predicate, which cover most of situation happen in the world. So there is a sea of predicates. And most of the only small amount are useful for the kinds of things that happen in the world. I think that I would say only a small part of predicate very useful, useful all of them. Only very few are what we should, let's call them good predicates.

Very good predicates. Very good predicates. So, can we linger on it? What's your intuition? Why is it hard for a machine to discover good predicates? I, even in my talk, describe how to do predicate, how to find new predicate. Харр Когда ми маємо пересеки, то зробимо з сервітами, якщо я зараз приймаю, не можна дякують ті варіант.

Так, якщо дякують ті варіант, я приймаю до дитя, я експерно експерною, я неозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно дозно do it using machine, but I'm not sure that we will construct the smartest predicate. Well, this is the allow me linger on it because that's the essence, that's the challenge, that is artificial, that's the human level intelligence that we seek is to discover if these good predicates. You've talked about deep learning as a way to the predicates, you've talked about deep learning as a way to the predicates they use and the functions are mediocre. We can find better ones. Let's talk about deep learning. Sure, let's do it. I know only Jans Le Koon, convolutional network. And what else? I don't know, and it's a very simple convolution.

There's not much else to know. It's a left and right. I can do it like that. This one predicate. It is. Convolution is a single predicate. It's single predicate. Yes, but you know exactly. You take the derivative for translation and predicate it, it should be kept. So that's a single predicate, but humans discovered that one, or at least.

Not that, that is a risk, not too many predicate this, and that is big story, because Jan did it 25 years ago, and nothing so clear was added to deep network. And then I don't understand why we should talk about deep network instead of talking about piecewise linear functions, which keeps this predicate. What the, you know, a counter argument is that maybe the amount of predicates necessary to solve general intelligence, say in space of images, doing efficient recognition of handwritten digits is very small. And so we shouldn't be so obsessed about finding. We'll find other good predicates like convolution, for example. There has been other advancements like, if you look at the work with attention, there's

attention mechanisms, especially used in natural language, focusing the network's ability to learn at which part of the input to look at. The thing is, there's other things besides predicates that are important for the actual engineering mechanism of showing how much you can really do given such these predicates. I mean, that's essentially the work of deep learning is constructing architectures that are able to be given the training data to be able to converge towards a function that can approximate, can, can, can generalize well. That's an engineering problem. No, yeah, I understand. But let's talk Это инженеральный прорубник. Я understand, но давайте поговорим на нему на нему, но на нему

мотиматический левер. Ты have set of piecewise linear functions. It is all possible neural networks. It's just piecewise linear functions. There is many, many pieces. Large, large number of piecewise linear. Okay, exactly. But very large. Very large. линер-фанкшин, есть много-мене писов. Ларж-набор писов, в Азоне. В Азоне. В Азоне.

В Азоне. Но это все ларж. Это все, чем, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том числе, в том чис coordinates, a function for expansion, something like that. So it's much richer. And when I talking about closed form solution, I'm talking about this set of function,

not piecewise linear set, which is particular case. I have a small part of the... The neural networks is a small part of the space your talk of functions you saw. Small set of functions. Let me take it. But it is fine. I don't want to discuss the small or big, you take advantage. So you have some set of functions. не wanting to discuss the small or big take advantage. So you have some set of functions.

So now when you're trying to create architecture, you would like to create admissible set of functions, which all your tricks to use, not all functions, but some subset of this set of functions. Say, when you're introducing convolutional net, it is a way to make this subset useful for you. But from my point of view, convolutional, it is something you want to keep some invariants,

say, translation invariants. But now, if вы understand this, и вы не не можете explenять, что на уровне идея, что неравидно, то он should agree that it is much better to have a set of functions, and they say, this set of functions should be Это очень лучше, чтобы ухать сетов функций. И они говорят, что сетов функций может быть мисобельным, это может быть в течение сезинваря,

это не в течение сезинваря, и в течение сезинваря. Вы знаете, что soon, как вы украли сетов функций, потому что, в этом, в этом, в этом, в этом. Но все инварины спецназорами, по-английски, у нас,

да, но, что я надеюсь, найти для Дигитрии. Если мы начинаем, это уже новое, что это интеллигентное, что мы начинаем с плаками, что это в области. И вот, и вот, что мы делаем, что это, что мы делаем, что это, что мы делаем, что мы делаем, что это, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем,

что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делаем, что мы делент, что в основном начали из плакаса, что в области. И я думаю, что это не очень много. Но, знаете, это я использую, что митиматичный, что это делает, что это нервный метр, в инженерал-фанкшене, но люди из литерации,

из арта, они используют все время. Да, да. function, but people from literature, from art, they use this all the time. That's right. In variants saying, it is great how people describe music, we should learn from that. And something on this level, but so why Vladimir Probe, who was just a theoretical, who studied theoretical literature, he found that. You know what, let me throw that right back at you, because there's a little bit of a, that's less mathematical and more emotional, philosophical, Vladimir Probe. I mean, he wasn't doing math.

No. And you just said another emotional statement, which is you believe that this Plato world of ideas is small. I hope. I hope. Do you, do you, what's your intuition though? If we can linger on it. You know, because not just small or big, I know exactly. Я не знаю, что это просто просто большой.

Я знаю, что это, когда я поделал, я предыдущую, я предыдущую, но мой гал, предыдущую, по-моему, по-моему, как можно. Доброщую, Боя смача способа. Гуд предыкает, ведь даст здесь.

Заней что-то чувствует, не предыкает, ведь даст, ведь декрисит Азма сейчас способа. Сетов Гуд предыкает, И это сэш, даст, декрис Эмалотов, адмисабл фанк. This amount of admissible function. So if each good predicate significantly reduces the set of admissible functions, that there naturally should not be that many predicate. No, but if you reduce very well the VC dimension of the function of admissible set of function is small, and you need not too much training data to do well.

And VC dimension, by the way, is some major capacity of this set of function? Right. How roughly speaking how many function in this set? So you're decreasing, decreasing, and it makes it easier for you to find function you're looking for. The most important part to create good admissible set of functions, and it probably there are many ways, but the good predicated search it can do that. So for this duck, you should know a little bit about duck because what are the three fundamental laws of ducks?

Looks like a duck, seems like a duck, and quack. You should know something about ducks to be able to do. Not necessarily. Looks like the horse. It's also good. It generalizes from the duck. And make sound like horse, something, and run like horse and moves like horse. It is generally, it is generally predicate that this но для того, что вы можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не можете сказать, что вы не сказать, что вы не можете сказать, что вы не можете сказать, что вы не сказать, что вы не The story is formal story, mathematical story, is that you can use any function you want, as a predicate.

But some of them are good, some of them are not, because some of them reduce a lot of functions. The admissible set of some of them are not. But the question is, I'll probably keep asking this question, but how do we find such, what's your intuition? Handwritten recognition. How do we find the, what's your intuition? Handwritten recognition. How do we find the answer to your challenge? Yeah, I understand it like that.

I understand what it means. What it means, I knew predicate. Yeah. Like guy who understands music can say this word which he describes when he listens to music. He understands music. He uses not too many different, you can do like prop, you can make a collection of what he is talking about, the music, about this, about that.

It's not too many different situations he describes. Because we mentioned Vladimir Prabhabhav bunch, let me just mention there's a so this is a sequence of of 31 structural notions that are common in stories and I think you call it units units and I think they resonate I mean it starts just to give an example of ascension a member of the heroes community a family leaves the security of the home environment, then it goes to the interdiction of forbidding edict or command is passed upon the hero. Don't go there. Don't do this. The hero is worn against some action. Then step three, violation of interdiction, break the rules, break out in your own, then reconnaissance, the villain makes an effort to attain knowledge, needing to fulfill their plot.

So on, it goes on like this, ends in a wedding, number 31, happily ever after. No, he just gave description of all situations. He understands this world of hotels. Да, но не в stories, но в stories. И в этой stories, не в в tales, в тектифах, в сериалах, и в нашей жизни мы живем. of, and then they they they they're all that the this predicate is good for different situation from movie from the photo movie for theater. By the way, there's also criticism, I know it's the theoretical literature,

but it's looking at paradise. It's always the discussion. Yeah, but at least there is a unit. It's not too many units that can describe, but that's probably gives another unit or another way. Exactly. Это не то, что не у меня, но это не у меня, но это не у меня. Это не у меня, это не у меня, но это у меня. Это не у меня, это не у меня, но это у меня. Это не у меня, это не у меня, но это у меня. Это не у меня, это не у меня, но это у меня. Это не у меня, это не у меня, но это у меня. Это не у меня, это не у меня, но это у меня.

Это не у меня, это не у меня, но это our human brains to interpret these units, they would still hold as much power as they have, meaning are those units enough when we give them to the alien species? Let me ask you, do you understand digital images? No, I don't understand. No, no, no, when you can recognize this digit images, it means that you understand. Yes, sir. You understand? Caraters, you understand? No, no, no, no, I, it's the imitation versus understanding question, because I don't understand the mechanism by which I am.

No, no, I'm not talking about predicate. You understand that it involves symmetry, maybe structure, maybe something. God, I cannot formulate. I just was able to find symmetries, so a billion symmetries. That's really good. So this is a good line. I feel like I understand the basic elements of what makes a good hand recognition system my own like symmetry Connects with me. It seems like that's a very powerful predicate

My question is is there a lot more going on that we're not able to introspect? Maybe I need to be able to understand a huge amount in the world of ideas, thousands of predicates, millions of predicates, in order to do hand recognition. I don't think so. So you're both your hope and your intuition and such that very interesting enough. You're using digits, you're using examples as well. Theori says that if you will use all possible functions from Hilbert space, all possible predicate, you don't need training data.

You just will have an admissible set of functions, which contain one function. Yes. So the trade-off is when you're not using all predicates, you're only using a few good predicates, you need to have some training data. Yes, exactly. The more good predicates you have, the less training data you need to have some training data. Yes, exactly. The more the more good predicates you have, the less training data. Exactly.

That is intelligent. No, still, okay. I'm going to keep asking the same down question, handwritten recognition to solve the challenge. You kind of propose a challenge that says we should be able to get state of the art, amnest, error rates by using very few 60, maybe fewer examples, predictor. What kind of predicates do you think you'll... That is the challenge. So people who will solve this problem... They will answer.

They will answer. Do you think they'll be able to answer it in a human explainable way? They just need the right function, that's it. But so can that function be written, I guess, by an automated reasoning system? Whether we're talking about a neural network learning a particular function or another mechanism? No, I'm not against neural network. I'm against admissible set of function which create neural network. You do it by hand.

You don't do it by invariance, by predicate, by reason. But you'll know us can then reverse do the reverse step of helping you find a function. Just the task of a Neol network is to find a disentangled representation, for example, what they call is to find that one predicate function that's really captures some kind of essence. One, not the entire essence, but one very useful essence of this particular visual space. Do you think that's possible? Listen, I'm grasping, hoping there's an automated way to find good predicates. Right. So the question is, what are the mechanisms of finding good predicates?

Ideas, you think we should pursue? A young grad student listening right now. I gave example. So find situation where predicate, which you are suggesting, don't create invariant. It's like in physics, find situation where existing theory Не создать вариант. Это как в физике.

В данном случае, где в этом случае не можно explenять. В данном случае, где в этом случае не explenять. Ты не знал, что это в задней части. В задней части. И тогда нужно это задней части. Но, в мой взглядс, это means contradiction, вы find function,

which, if you will use this function, you are not keeping conveyance. So, really, the process of discovering contradictions? Yeah. It is like in physics, find a situation которой вы have contradiction для того, чтобы в первом проторте, для того, чтобы в предыклить. То есть, это предыклить, в предыклить, в предыклить,

и, again, это проблема, не вы не have contradiction. Но это не But it is not the best way, probably, I don't know, to looking for predicate. That's just one way. Okay. No, no, it is brute force way. The brute force way. What about the ideas of what big umbrella term of symbolic AI? There's what in 80s with expert systems, sort of logic, reasoning-based

systems. Is there hope there to find some, sort of, deductive reasoning to find good predicates? predicates. I don't think so. I think the just logic is not enough. It's kind of a compelling notion though, you know, that when smart people sit in a room and reason through things, it seems compelling and making our machines do the same is also compelling. So everything В этом течении, что вы не понимаете, что это очень простой. Когда вы have infinite number of predicate, вы можете чувствовать, что вы не хотите, вы have invariance, вы можете чувствовать, что вы не хотите. Ти маєте, що не в мене вирігувається, щоб зробитися. Так, і якщо відвінняти на ньому функцію, щоб збережити вийшу ньому,

і якщо збережити на ньому функцію, and hopefully small functions, which is good enough to extract small set of admissible functions. So they will be admissible, it's for sure, because every function just decrees set of function and leaving it admissible. But it will be small. But why do you think logic-based systems don't, I can't help, intuition, not? Because you should know reality. You should know life. This guy, like, prop, he knows something, and he tried to put in invariant his understanding. That's the human. Yeah, if you see, you're putting too much value into Vladimir prop,

knowing something. No, it is my understanding. What means you know life? What it means? You know common sense. No, no, no? You know common sense. You know something. Common sense is some rules.

You think so? Common sense is simply rules. Common sense is every, it's mortality. It's fear of death. It's love, it's spirituality, it's happiness and sadness. All of it is tied up into understanding gravity, which is what we think of as common sense. I don't read it, though. Discuss so wide.

I want to discuss, understand, digital, I understand, digital recognition. Anytime I bring up love and death, you bring it back to digital recognition. No, you know, it is durable because there is a challenge which I see how to solve it. If I will have a student, concentrations of work, I will suggest something to solve. You mean handwritten recognition? Yeah, it's a beautifully-то. Ты же, как я говорю, это очень красиво, просто элген.

Я думаю, что я не знаю, что это будет. Ты же. Я думаю, что это. Но это не... Я не знаю, что это будет. Я не знаю, что это будет, что это будет, что это будет, но это не для дизиды, для дизиды, для дизиды, для дизиды. in variants which are good not only for digital recognition, for image understanding. So, let me ask, how hard do you think is 2D image understanding?

So, if we can kind of intuit handwritten recognition, how big of джерни, это из-за этого? Если я дарил тебе, если я знал тебе your challenge для хранения и репрессии, как бы с моим джерними быть, то, что в этом, в том, что в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, этом, в этом, этом, в этом, в этом, в этом, этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, в этом, этом, в этом, этом, в этом будет мне рекорд. Потому что это не для чего. Моя сзади, как вы, будет создать

several вариантов, которые помогут сделать все same формулы, что бесснеролна был в 100-м,

может быть, больше 100-м, более example вы должны have something smart to do that. And you're saying that that is a invariant, it is predicate because you should put some idea how to do that. But, okay, let me just pause.

Maybe it's a trivial point, maybe not, but handwritten recognition feels like a 2D, 2D dimensional problem. And it seems like how much complicated it is the fact that most images are projection of a 3D world onto 2D plane. It feels like for a 3D world we need to start understanding common sense in order to understand an image. It's no longer visual, shape, and symmetry. It's having to start to understand concepts of, understand life. Yeah. You're talking about a different environment.

Different. And potentially a much larger number. Вы понимаете, что есть разные варианты, разные фредики. И потенцией в большом дни. Вы знаете, что это может быть, но давайте начнем с этим. Ну, я не могу сказать, что я не понимаю, что я не понимаю, что я не понимаю, но я думаю, что я не понимаю, что все это.

Это как раз, This I understand but I'm sure that I don't understand everything there. Yeah, that's a different state. Say, do as simple as possible, but not simpler and that is exact case with handwritten written. Yeah, but never that's the difference between you and I I welcome and enjoy thinking about things I completely don't understand. Because to me, it's a natural extension without having solved handwritten recognition to wonder how difficult is the next step of understanding 2D-3D images. Because ultimately, while the science of intelligence

is fascinating, it's also fascinating to see how that maps to the engineering of intelligence. And recognizing handwritten digits is not, it may not help you with the problem of general intelligence. We don't know. It'll help you a little bit. It's unclear. It's unclear. Yeah. с тем, что я не знаю, я могу немного, я не знаю. Это очень важно. Но я бы хотелось бы помочь Мэкаре Марк. Я начну, не из очень примитивной проблемам,

как это, это очень много проблем. Я начну, это очень много проблем, это плата. I start with a very general problem, with Plato. So you understand, and it comes from Plato to digital cognition. So you basically took Plato and the world of forms and ideas and mapped and projected into the clearest, simplest formulation of that big world. You know, I would say that I did not understand Plata until recently.

And until I consider Vick Convergence and then predicate and then no, this is what Plata told. So, how do you think about this world of ideas and world of things in Plato? No, it is metaphor. It is. It's a metaphor, for sure. It's a compelling, it's a poetic and a beautiful one.

But what can you... But it is a way how you should try to understand how to attack a death since the Lord. Так, от моего вопроса, это очень хорошо, но это сзади, все время люди, who look at that, say, Plato, Zen, Hegel, whatever, reasonable exist, whatever exists, it is reasonable. Я не знаю, что здесь есть, но это неизвестное. Вот эти флосвы, again, это все. Нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, нет, 31-1, 1-1, 1-1, Units and Disconnect everything.

There are abstractions, ideas that represent our world. And we should always try to reach into that. Yeah, but you should make a projection in reality. But understanding is, it is abstract ideas. You have in your mind several abstract ideas which you can apply to reality. And reality in this case, sort of if you look at machine learning as data, data. Okay, let me put this on you because I'm an emotional creature.

I'm not a mathematical creature like you. I find compelling the idea, forget the space, the sea of functions. There's also sea of data in the world. And I find compelling that there might be, like you said, teacher, small examples of data that are most useful for discovering good, whether it's predicates or good functions, that the selection of data may be a powerful journey, a useful mechanism. You know, coming up with a mechanism for selecting good data might be useful too. Do you find this idea of finding the right data set? Interesting at all? Or do you kind of take the data set as a given?

I think that it is, you know, my scheme is very simple. You have a huge set of functions. у нас есть много сетов функций. Если вы опытаете, и вы не have many data, если вы пикопы, которые влезут в этот дат, вы не очень хорошо пикопы. Как приятно. Да, вы пикопы.

Это будет на фито. Так, вы должны подвести этот функцию, из which you picking up one, так что вы должны подвести, что-то, что-то, что-то,

что-то, что-то, что-то, что-то, что-то, что-то, что-то, что-то,

что-то, что-то, что-то, что-то, по-моему, это нужно сделать это из-за функции. Вы не только делаете, но только функции, которые вы получили в инерпроеденте, которые вы вымыжаете в пространстве of your function. И это это, как это работает. прооперти of your function. И...

... ... ... ... ... ... ... ... ... ... ... ...

... ... ... ... ... ... ... ... ... ... examples. If you just trying to keep a take function which satisfies these examples, you still will overfeed, you need decrease, you need admissible set of function. No, absolutely. But what say you have more data than functions? So sort of consider the, I mean, maybe not more data than functions. So sort of consider the, I mean, maybe not more data than functions, because that's impossible, but what I was trying to be poetic for a second, I mean, you have a huge amount of data, a huge amount of examples. But the amount of function can even be bigger. I understand.

There's always a bigger boat. Full-heeledbered space. Okay. But you don't find the world of data to be an interesting optimization space. Like the optimization should be in the space of functions. Creating admissible set of functions. Not even from the classical piece of theory. From structure-risk minimization, you should organize function in the way that they will be useful for you. And that is...

Yeah, but the way you're thinking about useful is you're given a small set of function, which contain function by looking for. Yeah, but as looking for based on the empirical set of small examples. Yeah, but that is another story. I don't touch it because I believe that this small example is not too small. So, it's a 60-per-class law of large numbers works. I don't need uniform law. The story is that in statistics there are two laws. Law of large numbers are uniform law of large numbers. So I want to be in situation where I use law of large numbers, but not uniform law of large numbers. So 60 is law of large numbers. It's not enough.

I hope, no, it still needs some evaluation, some bonds, but idea is following that. If you trust that, say, this average gives you something close to expectations, so you can talk about that, about this predicate. And that is basis of human intelligence. Good predicates is the discovery of good predicates is the basis of human intelligence.

No, no, it is discover of your understanding world, of your methodology, of understanding world. Because you have several functions which you will apply to reality. Вероний, что-то, что-то, в том, что вы делаете, что вы делаете. А вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что вы делаете, что и ты will create in this way predicate, which is useful for your task. But predicate, not related specifically to your task, to this yet task, it is abstract functions, which being applied to... Many tasks that you might be interested in. It might be many tasks, I don't know.

Or different tasks. Well, they should be many tasks that you might be interested in. It might be many tasks, I don't know. Or different tasks. Well, they should be many tasks, right? Yeah, I believe like in prop case, it was for free details, but it's a scrap and everybody. Okay, so we talked about images a little bit, but can we talk about known chalmsky for a second? During. No, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, I, second? No, I, I, I, I verify it. I don't know him personally.

Well, not personally, I don't know his ideas. Well, let me just say, do you think language, human language is essential to expressing ideas as Nome Chomsky, I believe. So, like, language is at the core of our formation of predicates. The human language. For the language and all the story of language is very complicated. I don't understand this, and I'm not, I thought about. Nobody does.

I'm not ready to work on that because it's so huge. It is not for me and I believe not for our century. That's 21st century. Not for 21st century. So you should learn something, a lot of stuff from simple tasks, like digital recognition. So you think, okay, you think digital recognition 2d image. What how would you more abstractly define it digit recognition? It's 2d image,

symbol recognition essentially. I mean, I like I'm trying to get a sense sort of thinking about it now, having worked with MNIST forever, how small of a subset is this of the general vision recognition problem and the general intelligence problem? Is it, yeah, is it a giant subset? Is it not? And how far away is language? Да, это джайан, что сказать, что это не и как-то в любом случае. Вы знаете, давайте мне верно, что имя, это просто проблема, как-то не было, но не просто, и это challenge, это просто проблема. Но это просто, по идее, но не просто, боя ди, но не просто то, то это не будет, если ты не делаешь это,

ты не делаешь в чем-то предыдущий. Это не что-то. Ну, да, я думаю, что ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, ты не делаешь, relativity, but that doesn't help you with quantum mechanics. That's another story you don't have any universal instrument. Yes. So I'm trying to wonder if which space we're in, whether the,

whether the handwritten recognition is like general relativity. And then languages like quantum mechanics, you're still going to have to do a lot of mess to universalize it, but I'm trying to see one. So what's your intuition and why handwritten recognition is easier than language? Just I think a lot of people would agree with that, but if you could elucidate sort of the intuition of why? I don't know, I don't think in this direction. I just think in the direction that this is a problem, which if you will solve it well, So it will create some abstract understanding of images, maybe not all images. I would like to talk to guys who are doing real images in Columbia University.

What kind of images? Unreal? Unreal images. Real images. Yeah. What they are ready is they are predicate, what can be predicate. I still see me, you play a role in real life images, in any real life images, to the images. Let's talk about two images. Because that's what we know. In neural networks created for two-digit images. So the people I know in vision science, for example, the people study human vision. Yeah.

That they usually go to the world of symbols and like handwritten recognition, but not really it's other kinds of symbols to study our visual perception system. As far as I know, not much predicate type of thinking is understood about our vision system. They did not think in this direction. They don't, yeah, they, but how do you even begin to think in that direction? That's a, there's so much going on. I would like to discuss with them. Yeah. Because if we will be able to show that it is what working, and theoretical scheme, it's not so bad.

So, the unfortunate, so if we compare to language, language has like letters, finite set of letters, and a finite set of ways you can put together those letters. So it feels more amenable to kind of analysis. With natural images, there is so many pixels. No, no, no, no, letter language is much, much more complicated. It's involved a lot of different stuff. It's not just understanding of very simple class of tasks. I would like to see lists of tasks where language involved. Yes, so there's a lot of nice benchmarks now in natural language processing from the

very trivial, like understanding the elements of a sentence, to question answering, to much more complicated where you talk about open domain dialogue, the natural question is with handwritten recognition is really the first step of understanding visual visual information. But even our records show that we go in wrong direction because we need 60,000 digits. So even this first step, so forget about talking about the full journey, this first step should be taking in the right direction. No, no, wrong direction because 60,000 is unacceptable. No, I'm saying it should be taken in the right direction. The 60,000 is not acceptable. If you can talk, it's greatly half percent of error.

And hopefully the step from doing hand recognition using very few examples, the step towards what babies do when they crawl and understand their physical environment. Я знаю, что babies не имеют. Я знаю, что babies не имеют. Если ты что-то делаешь, то из очень много examples, ты будет понимать принципов,

что это было по-другому. Это было по-другому. То есть, что мы используем сейчас. И, так, речье, это более более And so, it's more or less clear. That means that you will use weak converges, not just strong converges. Do you think these principles will naturally be human-interpretable? Oh, yeah. So, like, we'll be able to explain them and have a nice presentation to show what those principles are, or are they going to be very abstract kinds of functions?

For example, I talk yesterday about symmetry. Yes. And they gave very simple examples. The same will be. You gave a predicate of a basic for symmetries. Yes, for different symmetries. And you have for... A degree for symmetries. Yes, for different symmetries and you have for degree of symmetries. That is important, not just symmetry. Existant does not exist, degree of symmetry.

Yeah, for handwritten recognition. No, it's not for handwritten, it's for every images, but I would like apply to handwritten. Right. It's in theory. It's more general. Okay. Okay. So a lot of the things we've been talking about, falls, we've been talking about philosophy a little bit, but also about mathematics and statistics. A lot of it falls into this idea, a universal idea of statistical theory of learning. What is the most beautiful and sort of powerful or essential idea you've come across, even just for yourself personally, in the world of statistics or statistical theory of learning? or a statistic theory of learning? Probably, uniform convergence, which we did with Alexei Chilvaniakis.

Can you describe the universal convergence? You have a lot of large numbers. So for any function, expectation of function, average of function, conversion, expectation. But if you have set of functions, for any function it is true, but it should converge simultaneously for all set of functions. And for learning, you need uniform convergence.

Just convergence is not enough. Нініфорний конверджів, просто конверджів, це не існував. Тобто, коли ви підкопає, що зі мінімі, то може підкопати, що воно функцієнт, що не підкопає, і це дивив за безданць. Тобто, за цей функцієнт. и это будет детьми на душе. Для этого это функция. Так что у нас есть униформа конверджин Тогаринтии Лорник. Лорник не может в Лау, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛАГ, ЛА, ЛАГ, ЛА, ЛАГ, ЛАГ, Но идея of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence of the existence Я не ввігла у 50 років, я не ввігла у вігла, я ввігла у вігла, але я думаю, що ввігла у вігла,

бо це можна відбиратися кілька фанкції, і в цих вігла, коли люди try і ввігла, в якій чай, як вігла, People try to understand recognition about dog law, looks like a dog and so on, they use weak conversions. People in language, they understand this. But when we try to create artificial intelligence, we want to invent in a different way.

We just consider strong conversions, arguments. So, reducing a set of admissible functions, you think there should be effort put into understanding the properties of weak convergence? You know, in classical mathematics, in Gilder's place, В классике математик, в пироге, есть только два влажа, два форма конвертий, с сильным и веком. Теперь мы можем использовать все. Это значит, что мы делаем все.

И это так happened, и когда мы используем пироге, Это так happened, when we use Hilbert space, which is very rich space, space of continuous functions, which has an integral and square. So we can apply, we can strong convergence for learning and have closed form solution. So for computationally simple, for me, it is signed that it is right way, для того, чтобы это было вовремя. Так, для петита, для меня это было вовремя.

Это было в правильном случае. Потому что ты не не ничем не в ристики, как, ну, что ты не хочешь. Но сейчас, что ли, что у вас в ристики, это концепт, что это предыдует. Это предыдует. Но это не статистики. concept of what is predicate of predicate, but it is not statistics. By the way, I like the fact that you think that heuristics are a mess that should be removed from the system.

So, closed form solution is the ultimate. No, it's so happen. Then when you're using right instrument, you have closed for solution. Do you think intelligence, human level intelligence, when we create it, will, will have something like a closed form solution? You know, I now I'm looking on bonds, which I gave bonds for convergence. Я зараз я висклюваю на бонз, який гав бонз для ангелджів. А коли я висклюваю на бонз, я думаю, що це найбільше керно, бо це бонз.

Такі, якщо висклюваються, у нас є бонз, який був радіалу безисфанкTION. Він збився на цьому цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю цю to work better for this bounce. So I'm again trying to understand what type of kernel have best approximation, no, no, approximation, best fit to this ball. Sure, so there's a lot of interesting work that could be done in discovering better function and radio basis functions for better bounds, but it still comes from you're looking to Mars and trying to understand what from your own mind, looking at the, I don't know,

the night trying to understand what'll be good for that. Yeah, but to me, there's still a beauty, again, maybe I'm a descendant of volunteering to heuristics. To me, ultimately, intelligence will be a mess of heuristics. And that's the engineering answer, I guess. No, absolutely. When you're doing, say, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то, что это не то Но, кстати, это same storyboard predicate, потому что не может быть труп для ситуации,

как больше, чем у тебя есть труп для этого. Но, может быть, у тебя может быть более структовый, то это будет lesser труп. abstract rule, then it will be less the rule. It is the same story about the deas and a deas applied to specific cases. But still you should be sure. You cannot avoid this. Yes, of course, but you should still reach for the ideas to understand science. Let me kind of ask, Let me kind of ask, do you think neural networks or functions can be made to reason? What do you think? We've been talking about intelligence, but this idea of reasoning, there's an element of sequentially disassembling, interpreting the images. So when you think of handwritten recognition, we kind

of think that there will be a single, there's an input and output. There's not a recurrence. What do you think about sort of the idea of recurrence of going back to memory and thinking through this sequentially mangling the different representations over and over until you arrive at a conclusion. Or is ultimately all that can be wrapped up into a function? No, you're suggesting that let us use this type of algorithm. When I start thinking, Не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, I have to solve this problem. And, till now, I did not see a situation where you need… You need the current. Very current.

But do you observe human beings? Yeah. Do you try to it's the imitation question, right? It seems that human beings reason this kind of sequentially. Sort of, does that inspire in your thought that we need to add that into our we need to add that into our intelligence systems? You're saying, okay, you've kind of answered, saying, until now I haven't seen a need for it. And so, because of that, you don't see a reason to think about it. You know, most of things that you don't understand,

in reasoning, human, it is for me too complicated. For me, the most difficult part is to ask questions, good questions, how it works, how people are asking questions. I don't know this. You said that machine learning is not only about technical things, speaking of questions, but it's also about philosophy. So what role does philosophy play in machine learning? We talked about Plato, but generally thinking in this philosophical way, how does philosophy and math fit together in your mind?

First, the D's and then their implementation. что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал.

Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что я делал. Это все, что это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть,

это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть,

это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, это не может быть, You was not able to make admissible set of function, God. Now, when suddenly realize that we did not use another idea of convergence, which we can. Everything comes together. But those are mathematical notions.

Philosophy plays a role of simply saying that we should be swimming in the space of ideas. Let's talk what this philosophy. Philosophy means understanding of life. So understanding of life, say people live plata, then understand on very high obstacle level of life. So, in whatever I do, it's just implementation of my understanding of life. But every new step, it is very difficult, for example, to find the idea that we need big convergence. It was not simple for me. So that required thinking about life a little bit, hard to trace, but there was some thought process. You know, I've worked in, I was thinking about the same problem for 50 years somehow.

Again and again and again. I try to be honest and that is a very important, not to be very enthusiastic, but concentrate on whatever we was not able to achieve or to understand why. And now I understand that because I believe in mass, I believe that there are only two ways of convergence, and we're using boss, that means that we must do as well as people doing. But now exactly in philosophy and what we know about predicate, how we understand life, can we describe as a predicate. I thought about that and that is more or less obvious level of symmetry.

But next, I have a feeling it's something about structures, Я имею в виду, что это что-то про структиру. Но я не знаю, как это формулы, как это межа, межа структиру и все это. И если кто-то не создал этот шеллендж, то, когда вы увидите, как он делал, то просто не сметоизм неизвестно. Но что-то симметризм будет, это просто симметризм. С симметризм, и симметризм, антисимметридиога,

но теперь, лертикал. Я даже не знаю, как вы использовать в разных декорах, в видеосимитрии, это очень general. Но это не будет. Я думаю, что люди очень сенсивные в видеосимитрии. Но за раздавлено идея с симметрии. Я бы хотел быть очень.

Но ты не можешь просто I would like to learn, but you cannot learn just thinking about that. You should do challenging problems and then analyzing why it was able to solve them and then you will see. Very simple things, it's not easy to find. Even we're talking about this every time, about I was surprised, I tried to understand, is people describe in language strong conversions, mechanism for learning. I did not see, I don't know. But Vickon versions, this doc story, and story like that, when you will explain to Tid, you will use Vickon versions argument. It looks like it does like it is it?

But when you try to formalize, you're just ignoring this. Why? Why 50 years? From start of machine learning? And that's the role of the last. I think that maybe, I don't know, maybe this is serious. We should blame for that because empirical risk minimization, all this stuff, and if you read now textbooks, they just about, bound about empirical risk minimization, they don't looking for another problem, like admissible set. But on the topic of life, perhaps we, you could talk

in Russian for a little bit, what's your favorite memory from childhood? Какая ваша любимая память здесь-то? О, музыка. Хабар, can you try to answer in Russian? Музыка. Было очень здорово, когда… Такая музыка. Классическая музыка. Какой мимо.

Был в разной композиторе. Сначала это был вевальдия, в общем, было удивлен. Что так можно. А потом я, когда понял баха, я все ж совершенно потерю все. Кстати, вот из него я и думаю, что А потом я, когда понял баха, я совершенно поты Они думают, что разные элементы жизни сильно разделены, в смысле преддекатов. Все, которые в живу, письо, структура, в человеческих отношениях, структура.

Вот как-то найти вот эти высокого уровня преддеката. Это. Бага и в жизни. Все сойдено. Бахе и в жизни. Сейчас, когда мы говорим о Бахе, мы сошли к английскому, потому что я, как Бейд Ховин, в шоу-пен, в шоу-пен,

это нажай милый день, в истории, я и в восстану. Но Бах, если мы говорим о предыказах, Баха, это, наверное, у нас, в первых, это, в общем, это, в общем, это, в общем, это, в общем, what predicates Bach probably has the most well-defined predicates in the lives. You know, it is very interesting to read what critics write about Bach, which words they use.

They try to describe predicates and then sharpen. И, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, и, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, не, They describe high level ideas of, of plat of the ideas. What behind this music. That's brilliant. So art is not self-explanatory in some sense. So you have to try to convert it into ideas. It is ill-spicy. It's possible. When you go from ideas to the representation, it is easy way. But when you're trying to go back, it is,

you'll post problems, but nevertheless, I believe that when you're looking from that, even from art, you will be able to find predicate for digital recognition. That's such a fascinating and powerful notion. Do you ponder your own mortality? Do you think about it? Do you fear it? Do you draw insight from it? It would be a portal, I think.

Oh, yeah. Are you afraid of death? Not too much. не так much. Это пить, что я не могу делать, чтобы сделать что-то, я думаю, я имею в виду, чтобы делать это. Например, я очень рада, чтобы встать эти to work this guy's tradition from music, to write this collection of descriptions of what have they described music,

how they use it predicate. And from art as well, then take what is in common and try to understand predicate which is absolute for everything. And then you use that for visual recognition. It's used for visual recognition. Yeah, exactly. Ah, there's still time. We've got time.

You've got time. It's take years and years and years. You think so? Yeah, it's a long way. Well, see, you've got the patient, mathematicians' mind. I think it could be done very quickly and very beautifully. I think it's a really elegant idea. Yeah, but also some of many.

You know, the most time, it is not to make this collection, to understand what is the common to think about that once again and again and again and again. Again and again and again, but I think sometimes especially just when you say this idea now, even just putting together the collection and looking at the different sets of data, language, trying to interpret music, criticize music, and images. I think there will be sparks of ideas that will come. Of course, again and again you'll come up with better ideas, but even just that notion is a beautiful notion. I even have some example. So I have a friend who was Он был специалистом в Рашен-Поетре. Он из профессора в Рашен-Поетре.

Он не тратил в Плэмс, но он, но, но, в том, что он, в моих books, в своем из-, в первых буквах, есть коллекция по литрике, это имя, это имя, это имя, это имя, и я скажу, на следующий раз,

вы имеете дибс дегитарный комплекс. И мы сходим на 100 дегитарных, или, может быть, на 100 дегитарных, я не понимаю, или 50 дегитарных. И сходим на поетику, подскрепим каждый имя, который вы видите. И это только в том,

из-за понимания, из-за спрашивания. и мы же сезонидом, но только сезонидом, сезонидом, сезонидом, и мы же сезонидом, и мы же сезонидом, я кладу, я кладу, я кладу, я кладу, я кладу, я кладу, я кладу, information. I call it privilege information. You have on two languages. One language is just image of digit and another language poetic description of this image. And this is privileged information.

And there is an algorithm when you're working using privileged information, you're doing better. algorithm when you're working using privileged information, you're doing better. Much better. So there's something there. Something there. And there is a in any C, she unfortunately died. The collection of digits in poetic descriptions of these digits. There is something there in that poetic description. But I think that there is an abstract idea on the plateau level of a myth. Yeah, that they're there, that could be discovered. And music seems to be a good entry point. But as soon as we start this, is this challenge problem?

The challenge problem. Listen, I immediately connected to all this stuff. Especially with your talk and this podcast and I'll do whatever I can to advertise. It's such a clean, beautiful, Einstein-like formulation of the challenge before us. Right. Let me ask another absurd question.

We talked about mortality. We talked about philosophy of life. What do you think is the meaning of life? What's the predicate for mysterious existence here on Earth? I don't know. It's very interesting, have, we have in Russia, I don't know, you know, the guy Strugatsky, they are writing, he is just thinking about, Они, по-моему, пишут о хикке, о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о о common people and very smart people, they just started. And these two branches of people will go in different direction very soon. So that's what they're thinking about now. So the purpose of life is to create two paths, two paths.

Human societies, yes. Simple people and more complicated. Which do you like best? The simple people are the complicated ones. I don't know, he's just his fantasy, but you know, every week we have a guy who is just just writer and also Saratikov Literature and he explained half he understand literature and human relationship

half he see life and I understood that I'm just small kids comparing to him He is very smart guy in understanding life. He knows this predicate, he knows big blocks of life. I am used every time when I listen to him. And he just talking about it rich. And I think that I was surprised. So the managers in big companies, most of them are guys who study English language and English literature. Многие, которые в студии, в Ингеличном, в Ингеличном Литричном.

Так что, почему? Потому что они understand life, they understand models, и among them, maybe many talented critics Just analyzing this. And this is big science like prop did. This is this blocks. That's the end. It amazes me that you are and continue to be humbled by the brilliance of others. I'm very modest about myself. I see so smart small grace around. Well, let me be im modest for you.

You're one of the greatest mathematicians, the editions of our time. It's truly an honor. Thank you for talking again. OK, OK. And let's talk. I mean, it is not. Yeah.

I know my limits. Let's talk again when your challenge is taken on and solved by grad student, especially that's the good thing. When they use it, maybe musical be involved. Vladimir, thank you so much. It's been a long time. Thank you very much. Thanks for listening to this conversation with Vladimir Vapnik.

And thank you to our presenting sponsor, CashApp. Download it, use code Lex Podcast, you'll get $10 and $10 will go to first, an organization that inspires and educates young minds to become science and technology innovators of tomorrow. If you enjoy this podcast, subscribe on YouTube, give us five stars and apple podcasts, support it on Patreon, or simply connect with me on Twitter, at Lex Friedman. And now let me leave you with some words from Vladimir Vapnik, when solving a problem of interest, do not solve a more general problem as an intermediate step. Thank you for listening, and hope to see you next time. you