### Session 개요 - 이 세션의 발표자는 Shailendra Matuhur로 AVID의 부사장이자 수석 아키텍처임 - AVID는 미디어 제작을 위한 협업 툴을 비롯해 Asset Management System을 개발해왔는데, 본 세션에서는 AI를 활용해 Assets을 워크플로우에 있는 모든 창작자가 함께 사용하는 방법으로서 Knowledge Management System을 선보였음 ### Asset Management System의 문제 - 메타데이터 한계 - 기존의 Asset Management System(이하 AMS)은 메타데이터를 중심으로 정보를 관리했음. 메타데이터는 Key-Value 구조로 구성되어, 하나의 Key 값에 다양한 Value를 포함시켜 관리할 수 있었음. 가령, 파일의 생성일자, 크기, 태그 등 다양한 Value를 메타데이터로 저장하여 통합 및 활용될 수 있도록 운영하였음 - 그러나 영화, 다큐멘터리, 뉴스, 포스트 프로덕션, 예산 관리 등 다양한 분야에서 일을 할 때, 이러한 메타데이터는 크게 의미가 없었음. 한 부서에서 근무하는 사람은 데이터로부터 정보를 이해 위해 다른 사람에게 전화를 하는 등 커뮤니케이션 비용이 필수적으로 발생할 수 밖에 없었음 - AMS 자체에서 Information(정보)란 결국 메타데이터일 뿐이고, 이 데이터는 카메라로부터 생성된 정보이거나 로그 기록일 뿐이어서 다양한 협업이 발생하는 상황에서 실제 필요한 정보를 제공하지 못했음. 가령, 장면에서 무엇이 촬영되었는지, 캐릭터가 누구인지와 같은 정보를 확인하기 위해서는 타부서에서 관련 부서로 연락을 해야 함 - 이처럼, 메타데이터 중심의 AMS은 창작자들이 필요로 하는 데이터를 포함하지 못하고 있음 ### Knowledge Managemet System - 발표자는 AMS의 한계를 극복하고 창작자들에게 도움이 되는 지식 체계를 구축하기 위해서 AMS에서 Knowledge Managemet System(이하 KMS)로 패러다임 전환이 필요하다고 설명함. KMS은 DIKW 계층 모델을 기반으로 구조화되었음 - KMS은 DIKW(Data, Information, Knowledge, Wisdom) 그래프는 다음과 같음 ![[Dikw knowledge graph.jpg]] - DIKW 계층 모델에서 보여주는 각각의 개념이 중요함 - Data: 감각, 관찰, 측정으로 얻어진 값으로 미디어에서는 콘텐츠 자체를 Data로 볼 수 있음(binary로 표현되는 값 자체임). - Information: 데이터를 구조화한 것으로 Who, What, Where, How Many, When과 같은 질문에 대답하는 과정에서 추론되는 정보를 뜻함 - Knowledge: 지식은 정보를 해석하여 도출되는 것으로 의미를 바탕으로 맥락을 부여하면 지식으로 발전하게 됨 - Wisdom: 지혜는 지식을 상황에 맞게 활용하게 될 때, 지혜가 됨. 인사이트나 판단 등을 포함하고 있음. ### KMS 구축 과정 - 데이터 단계 - AMS에서는 데이터를 수집하고 이에 대한 메타데이터를 저장함. KMS의 구축을 위해서 마찬가지로 데이터가 필요함. 이때 데이터는 다양한 형식의 Raw Data를 포함하며, 여러 메타데이터, 가령 생성일, 소유자, 파일형식 등이 필요함 - 정보 단계 - AMS에서는 앞선 데이터 단계에서 종료되고, 이로 인해 메타데이터를 사용자가 검색해서 활용하는 제한적인 역할 밖에 없었음. 이를 정보 단계로 발전시키기 위해 KMS에서는 데이터를 구조화하여 정보로 변환시킴. Asset을 카테고리별로 분류하고, 프로젝트와 연결하여 그룹화하는 등의 작업을 하게 됨 - 이러한 단계는 콘텐츠 자체의 메타데이터에 대한 값을 정보화하는 과정인데, 스크립트라는 콘텐츠를 마찬가지로 KMS로 구축하는 과정도 생각해볼 수 있음. 이때, 데이터는 "Mona Lisa", "Bob"과 같은 이름이지만 정보 단계에서는 "Mona Lisa는 루브르 박물관에 전시되어 있다", "Bob의 나이는 42살이다."와 같은 값을 갖게 된다. - 지식 단계 - 지식 단계에서는 지식 그래프(Knowledge Graph)를 활용하여 정보 사이에 관계를 특정한다. - 아래 예에서처럼 Bob에 대한 설명이 한 노드를 차지하는 정보 단계에서, 이 정보가 다른 노드와 연결이 됨으로써 지식이 된다. 가령, "Bob은 1990년 7월 14일에 태어났고, Mona Lisa에 관심이 많은데 이 작품은 레오나르도 다빈치가 만들었다."와 같은 지식을 형성하게 됨 ![[Knowledge graph example.jpg]] - 지혜 단계 - 이 단계는 인간이 지식을 활용하는 과정에서 발생하게 됨. 축적된 지식을 바탕으로 창작자 인사이트를 얻고 의사결정을 하는 과정에서 지혜로 발전하게 됨 - KMS 시스템은 Data, Information, Knowledge를 Semantic, Ontology 등을 통해 구조화하고 이를 창작자가 KMS 시스템을 통해 활용하는 과정에서 지혜로 활용할 수 있게 됨 ![[role of Knowledge system and wisdom.jpg]] - KMS 기반 기술 - Semantic Embeddings, Knowledge Graphs, LLM, 자연어처리 활용해 콘텐츠로부터 지식을 만들어낼 수 있음 - 기존의 AMS가 데이터를 저장하고 검색하는 수준에 그쳤다면, KMS는 데이터를 정보, 지식으로 변환하여 최종적으로 사용자에 의해 지혜로 발전될 수 있도록 지원함 ![[Three way to capture knowledge from content.jpg]] ### Knowledgement Silos - 지식 사일로의 문제점 - 지식 사일로는 조직 내에서 팀, 부서 별로 독립적으로 보유하여 사용하는 정보를 뜻함. 하나의 기업 또는 프로젝트에서 각각의 부서, 팀이 가진 정보가 독립 및 고립되어 있어 협업을 하는 과정에서 커뮤니케이션을 발생시킴 - 발표자는 강연에서 Broken Calls을 언급하는데, 이는 단절된 지식 체계로 인해 간단한 정보 조차도 확인이 어려운 비효율적인 상황을 뜻함. 이는 중복작업, 의사결정 지연, 혁신 저해 등 다양한 문제로 이어짐 - KMS를 통한 사일로 연결 - 지식그래프, 온톨로지, 자연어 처리, LLM 등을 활용해 만든 KMS가 이러한 사일로를 연결해줄 수 있음 - 가령 프로듀서가 VFX와 관련된 궁금한 점을 KMS에 ChatGPT 형식으로 물어보고 답을 얻을 수 있음 - 여기서 각각의 팀, 부서가 모든 정보를 공유할 필요는 없으며, 선택적으로 정보를 제공할 수 있음 - 이를 통해 정보가 사일로에 갇히지 않고 모든 조직에 자유롭게 흘러가며 혁신을 이뤄낼 수 있음 ![[Connecting Silos.jpg]] --- Our next presenter is Vice President and chief architect at Avid technology, making your assets mean something involving asset management systems using semantic technologies. This uh thank you. Um So my job today is to make sure that I don't um EIS to uh what we're after here is the transformation of asset management and love into something that is called knowledge management. Let's see how that, ==what's the problem today?== Um Whether you're in the movie making business, uh documentary production, um news production, post production planning, budget delivery master. These are all well, we have to the crossing point, you know what's due there information and not going well, I think people are always calling back and saying, hey, what was this shot? And who was this character over here? ==Not all the information is available to you==. So when we just solve it, because of course, ==that's where the traditional asset management systems come in where you keep track of what's you incentivize some of your information and you keep track of what's going on there.== Of course, other people try to pass the information along files, the content and sometimes meta data gets lost, information gets lost. So that's where a lot of broken telephone for information happens. But ==when you look at the asset management systems, what's information in the asset management system? It's metadata==, metadata that may be captured from cameras, it could be logged information. So ==this is an example of our media center from you as to why where a large can save the players and these are all this metadata is, is key values.== Um And once that's because your logging is done, then somebody can search for that information as they're telling, the story storytelling is all about finding the right thing for the right mindset that you have. And so what the problem is that, you know, up front what somebody is going to be looking for to long that me or what if you don't have it. Um For example, in this search, I can put in some of my filter queries. And that's another aspect which is the find the story. It's basically putting converse moves between them, sifting, sorting. So curation right now of content that you need for the storytelling can be a bit, you know, it's not the best right now. And as I mentioned, what if the meta is not there? Well, you can use a story cognitive services to generate meta data that was missing and add that. What about all the rest of the information there? Short list, their production notes, their scripts, their talent information everywhere. ==That's not me. Those are documents that are running around in different place. So you got to bridge the gap somehow and that's where knowledge management systems come in.== But before we talk about what it is, ==why do we need it?== Um we doing productions today, you know that there are some reasons, ==there are some business reasons when you look at content==. Um content is increasing, especially with screening information. And by the way, I have references for where I got all this data, all the surveys that's in the paper that's been published alongside this conference. Um There's also the increase in shooting ratio. There were, there were times when doing basically 4 to 15 to 1 shooting ratio from input to the output program was good enough. Goes up to 10 to 121. There's no hard number 1500. That's crazy. Does anybody know with that trans? Yeah, it's reality TV. Yeah, exactly. That's where and this is uh yeah, so basically, I have a reference of where I'm getting that. Um And because of the increase of content, archives are increasing as well as Tom C in one of his reports, I I quote, it shows that ==how that archives are going up and since COVID people are getting used to working in a distributed environment then on top of that, there's pressure on the creator.== So there's no content increasing, you're gonna produce more but the creators and the creatives they are under pressure as well. Um ==A lot of folks are saying it's very difficult to hire people finding the right creative. So finding the technical talent==. So that puts the pressure on them. And uh this is also happening while some of the margins for some because one is also going up again, all all the preferences for that. This is the paper. So that means that we need to be more efficient. All these broadcasters creators have to be more efficient. ==And the first way to do this is by removing the inefficiencies that I talked about==. Um and the whole process of the information chain and the way we do that and I can come back to that meaning it's by extracting the value of assets, by giving, give it more meaning. ==And secondly, reduce the pressure on the creatives by understanding their meaning better==. ==What did they want to achieve?== That's not just searching. It's like even in the last talk, we talked about expressing it through natural language, that's really what it comes down to. ==**So you have to bridge that and the system that's doing that is basically what we're calling a knowledge management system instead of an asset management system knowledge**==. Where does the word come from? Let's take a, it comes from the information sciences area and there's something called the ==Dikw knowledge graph==. Let's step to that and we start with ==data==. It's ==what you hear, what you see that sensory stimuli.== Um And in the content and storytelling world, that's the content. That's what you see in here. Good. Then you have ==information== ==about that content==. Uh the one where all the labels that I showed you and that's me. Can we understand that the ==knowledge== is ==when you can add context to that information and the metadata, that's where the knowledge management systems come in.== What about that thing? On top ==wisdom==? ==This is when you know how to use the knowledge that you have right now==. I can do that with machines. Let's keep that humans, please. Let's promise that. Thank you. But let's let's see this in action detail again in the storytelling world. Take a look at that picture, that sensory stimuli, right? I know what you're thinking. It's Milton and Rita. That's what you thought, right? That's great. That's the information, that's the metadata. What's knowledge? Knowledge is information that connects at all context Mary and is actually known as Mary. That's true. And the fact that this image comes from a production of the office boy. Office boy was released in 1930 by British Burn and Burn was sued by Walt Disney. Now, you can see how that metadata was connected, but you added relationships in between that gives you a lot more knowledge. So when I look at this image, that's the knowledge that's in my head. That that's what comes to my eye. OK? That's, that's the image. Where's the wisdom? OK. I was a bit. How many of you thought that it was mm mode and this was actually for picking that particular image to tell my story. Thank you. Thank you. That's why I won't give up my day job. Um So what that shows is that we need to marry the wisdom that creators have with knowledge that we can extract from the from all the data that we have. That's what the knowledge system will do. The technology unsurprisingly, just like the last talk and probably the next talk with all these very similar principles. It's a semantic embeddings, large language models and knowledge craft. But what we'll do is it's some other technology about the use of it. So I'm going to talk a little bit about what the use is. Everybody is familiar with knowledge, knowledge, sorry, large language model, um GT style typing, but large language models have two functions. Here. One is as a natural language processing engine which understands what you're tying and translated in Hindi and English in any language. The other part is as a knowledge system itself, but it's trained on a content that's out on the internet depending on which element you use, but it doesn't know what and that's where we talked about the pattern before, which basically says that we collect some of the information that's there and make it part of the prompt engineering. And here what we're showing on our side is basically something in our system where, which is an A um where you can ask that that natural language processing system, you know, how do I create a track? Uh Give me some information in which case it picks up the user documentation. But then you can also ask it to trigger actions because it's learned how to do API S or rather how to generate a PS which creates actions in creating the tracks and programs. So that's good. That's large language models. Um semantic embedding we talked about and fundamentally, this is about the fact that you, this is in late vector space. Uh If you look at the text of a yellow and blue ice D or B or B but not for those folks who speak in the apologies. Um Arabic I will say, but the point is semantically, they're all the same and hence the are the same and they match each other. And in multimodal systems, you can have the meaning of video also extracted in the same way and audio and clustered together. And that's how you can use the magic and you'll see how all of this comes together. But I show you the last last slides, knowledge graph other thing. It's actually an old thing and it's a new thing. It's really coming up knowledge graphs. ==What's it doing? It's basically what, what you do as metadata, just key value pairs. What you're doing is not adding context to it, you're adding relationships. So rather than just saying this is an image of Bob, this is an image of one of you can add relationships. So instead of two values, key value, now you're adding triples including an edge that says Bob is interested in Mona Lisa.== But you go back to the uh the, the image that I showed you where basically you can now trace the knowledge of Van Buren sued by Disney. All of this. ==This is the perfect use of a knowledge graph.== Let's apply this now. ==So all those silos that I talked about before the different production silos all the information that we have.== Um I mentioned the fact that while an asset management system get connected, but again, you can't build an asset management system that knows full into pipelines of everything you need. The budgets And fundamentally part of what you need to do is you can leave some of the databases and asset management systems alone in their own side. But the value is in extracting enough information to create the common knowledge graph. ==So when you create knowledge knowledge graph, how much information do you need that's defined by a. So uh movie labs as an example has come up with or for media creation that defines labels terms that are common in media creation. So you know, you can extract just enough information to populate that. Um And once you, once you do that, you can actually augment the ontology as well to create other things that you may be interested in. But at least it gives you a target of it's not just a hard pulling metadata logging system, schema that you're talking about in one silo, you're actually talking about a whole apology that you can populate, you can parse documents to extract the information, all the scripts that I showed you.== It can all populate that graph. But that's not where because that is solve that left hand side problem. I talked about of OK, extract the knowledge. And I also mentioned that the L have some knowledge as well and you can do semantic indexing of video content and other content to extract knowledge. But how do you connect it together? And there's another part which is the right hand piece of the creator, that's where the element is coming too. So what we did was work with added and universal pictures actually work together. We've been working together for a while on this whole area of knowledge graphs. And since a is about editorial and digital audio workstation in the editorial context, we were working together just to see how can, how can we change editorial processes to be much more efficient with the editors, assistant editors can find information, get the right information as part of the storytelling much easier. And then recently, then we we started working with the Entertainment Technology Center uh E DC from the University of Southern California. They are producing something called Europa. Europa is in production right now. Um And uh but Euro is a short film which basically is friendly use a lot of new techniques of virtual production. But one of the techniques is actually operating a knowledge graph. So we benefited from that knowledge graph. Um When a lot of the information side was bridge was actually done by the rebel fleet. Um they have a product called console. And again, we were all inspired by the movie labs, anology for media creation. Have it all come together? We uh with an Aven basically provided this app on this little app, which is, which is calling a cation app. It can be, we don't know how to it. It's more doesn't give everything an editor needs, assistant editor needs to extract all the information um from all the different information sources. And that's what we have to use a combination of knowledge graphs. Um as well as direct ep I calls, we want to remove that burden from the creative to determine which database to go to. We determined that we make the right EP I calls to extract the information and present it to them in natural form. And I'll show you hopefully you can actually see this. It's an animated. Yes. But um here you the editors asking who are the same characters in this movie fing that from one particular database, then you can ask it, well, who plays this character? And you can find the reverse of this is the actor, which character you know, you can go back and forth, you can ask it for script information, state information. ==This is all extracted into the knowledge graph. And once you get script information, you can have it summarized um just so you can get through it faster.== This is all part of the curation process. So once it's summarized and then you want to say, look, I want to find out where Gus picks up a rock because that's part of your storytelling as well as search, that's a natural language query that you're making. And it says, yeah, I found something and create a pen for me in media composer so that I can visualize it. And there you go. That's basically Gus whose real name is Augustus, but it recognizes Gus is the same as Augustus and picks that up. ==So that is the application that we built together with the knowledge job. And hopefully what you saw was, you saw it in action that how asset management systems, you know, they can have their own cycles. But knowledge management is what is basically we are changing asset management to a knowledge management paradigm. And the knowledge graphs are the best thing to link all the different silos that you have. You don't want to bring in every single thing, but you want to bring in enough information from the silos so that every department can work together.== And then we use a combination of semantic graphs, knowledge graph, semantic large language model to put, make the decision for the um the creator of where to get that information just by looking at the natural language query. ==And finally, you can see that the world of search won't exist in the real world because it will all be semantically done. It will be in the in the natural language. In fact, the same app two days ago, I switched from typing from in English to Hindi and gave me the same result, actually gave me the results and that made me really happy.== Thank you very much. OK, thank you. Our last session or this session is creating and implementing A I Power conversational services. Drive your engagement. Our figure today is you see in record product innovations and strategy to clinic. Yes. Oh, what I? --- 다음 발표자는 Avid Technology의 부사장 겸 수석 설계자로, 시맨틱 기술을 사용하는 자산 관리 시스템과 관련된 것으로 자산을 만드는 것을 의미합니다. 어, 고마워요.음, 그래서 오늘 제가 할 일은 EIS에 집중하지 않도록 하는 것입니다. 여기서 우리가 추구하는 것은 자산 관리와 사랑을 지식 관리라고 부르는 것으로 바꾸는 것입니다. 어떻게 되는지 봅시다. 오늘날 어떤 문제가 있는 걸까요?음, 영화 제작 사업을 하든, 다큐멘터리 제작을 하든, 뉴스 프로덕션이든, 포스트 프로덕션 기획이든, 예산 전달의 달인이든 상관 없습니다. 이 모든 것이 괜찮고, 우리는 교차점에 다다랐고, 필요한 정보가 무엇이고 잘 진행되지 않는지 알잖아요. 사람들은 항상 전화를 걸어 “야, 이 사진이 뭐야?” 라고 말하는 것 같아요.그리고 여기 있는 이 캐릭터는 누구죠?모든 정보를 확인할 수 있는 것은 아닙니다. 그래서 문제를 그냥 해결하면 당연히 기존의 자산 관리 시스템이 등장합니다. 즉, 어떤 정보가 있는지 추적하고, 일부 정보에 인센티브를 주고, 거기서 무슨 일이 벌어지고 있는지 추적할 수 있기 때문이죠.물론 다른 사람들이 정보를 파일과 함께 전달하려고 하면 콘텐츠와 메타데이터가 손실되고 정보가 손실될 수 있습니다. 그래서 정보를 위한 전화가 고장나는 일이 많이 발생합니다. 하지만 ==자산 관리 시스템을 보면 자산 관리 시스템의 정보는 무엇일까요?메타데이터, 즉 카메라에서 캡처할 수 있는 메타데이터이고 기록된 정보일 수도 있습니다.== 이것이 저희 미디어 센터의 예시입니다. 왜 대규모로 플레이어를 구할 수 있는지, 이 메타데이터가 바로 핵심 가치인 이유에 대해 말씀드린 것입니다. 음, 일단 로깅이 완료되고 나면 누군가가 말하는 대로 그 정보를 검색할 수 있습니다. 스토리텔링은 당신의 사고방식에 맞는 올바른 것을 찾는 것이 전부입니다. 그래서 문제가 뭐냐면, 알다시피, 누군가 저보다 오래 찾고 있는 게 뭔지, 아니면 그걸 가지고 있지 않으면 어쩌라는 거죠.음, 예를 들어, 이 검색에서는 필자의 필터 쿼리를 몇 개 입력할 수 있습니다. 이것이 바로 '파인드 더 스토리'라는 또 다른 측면이죠.기본적으로 이 두 사람 사이에 방향을 바꿔서 선별하고 분류하는 거죠.따라서 스토리텔링에 필요한 콘텐츠를 지금 당장 큐레이션하는 것은 조금 어려울 수 있습니다. 아시다시피 현재로서는 최선이 아닙니다. 앞서 말씀드렸듯이 ==메타가 없다면 어떻게 될까요?아쉽게도 코그너티브 서비스를 이용해서 누락된 메가 데이터를 생성하고 추가==할 수 있습니다. 거기 있는 나머지 정보들은 다 어때요?==짧은 목록, 제작 노트, 스크립트, 어디에나 있는 탤런트 정보.그건 제가 아니에요.저건 다른 곳에서 돌아다니는 문서들이에요.그래서 어떻게든 그 격차를 메워야 합니다. 바로 지식 관리 시스템이 필요한 이유죠.== 하지만 그것이 무엇인지에 대해 이야기하기 전에 왜 필요할까요?음, 우리가 지금 제작을 하고 있잖아요. 콘텐츠를 보면 몇 가지 이유가 있고 사업적인 이유도 있잖아요.음, 콘텐츠, 특히 상영 정보가 증가하고 있습니다. 참고로 저는 이 모든 데이터를 어디서 얻었는지, 이 컨퍼런스와 함께 발표된 논문에 실린 모든 설문조사에 대한 참고 자료를 가지고 있습니다. 음 촬영 비율도 높아졌어요.어떤 때는 기본적으로 입력에서 출력 프로그램까지의 촬영 비율을 4~15:1 로 하는 것만으로도 충분할 때도 있었습니다. 최대 10에서 121까지 올라갑니다. 어려운 숫자 1500은 없어요.말도 안 돼요.그 트랜스젠더 아시는 분 있나요?네, 리얼리티 TV예요.네, 맞아요.여기가 바로 그곳이고 여기가 어, 그래, 그러니까 기본적으로 어디서 구할 수 있는지 참고할 게 있어. 음, 콘텐츠의 증가로 인해 Tom C와 마찬가지로 그의 보고서 중 하나에 있는 Tom C와 마찬가지로 아카이브도 증가하고 있습니다. 이 내용은 아카이브가 어떻게 올라가고 있는지를 보여줍니다. 그리고 COVID 사람들이 분산 환경에서 일하는 데 익숙해지고 있기 때문에 무엇보다도 제작자에게 압박이 가해지고 있습니다. 따라서 콘텐츠가 늘어나지는 않습니다. 더 많이 제작하게 되겠지만 제작자와 크리에이티브도 압박을 받고 있습니다. 음, 많은 사람들이 적합한 크리에이티브를 찾는 사람들을 고용하는 것이 매우 어렵다고 말하고 있습니다. 그래서 기술 인재를 찾는 거죠.그래서 그들에게는 압박이 가해집니다. 그리고 어, 이런 일도 일어나고 있는데, 어떤 사람들은 마진을 보이는데, 그 중 하나도 다시 올라가고 있기 때문이죠. 모든 선호도가 올라가고 있기 때문이죠.바로 이 논문입니다. 그러니까 좀 더 효율적이어야 한다는 뜻이죠.모든 방송사 제작자들은 더 효율적이어야 합니다. 이를 위한 ==첫 번째 방법은 앞서 말씀드린 비효율성을 제거하는 것==입니다. 음, 그리고 정보 사슬의 전체 과정과 우리가 이를 수행하는 방식을 다시 말씀드리자면, 자산의 가치를 추출하고, 더 많은 의미를 부여함으로써 자산의 가치를 추출하는 것입니다. ==둘째, 창작자들의 의미를 더 잘 이해해서 창작자들에게 가해지는 부담을 줄이세요==.이들이 이루고 싶었던 것은 무엇이었을까요?그==냥 검색만 하는 게 아니에요.지난 강연에서도 자연어를 통해 표현하는 것에 대해 이야기했던 것 같아요. 그게 요점이죠.따라서 이를 이어주는 역할을 하는 시스템이 바로 자산 관리 시스템 지식 대신 지식 관리 시스템이라고 부르는 것입니다==. ==이 단어의 출처는 어디==일까요?자, 정보 과학 분야에서 유래한 것으로 보죠. ==Dikw 지식 그래프==라는 것이 있습니다. 한 걸음 더 나아가 데이터부터 시작해 보겠습니다. 여러분이 듣는 것과 보는 것이 바로 감각 자극입니다. 음, 콘텐츠와 스토리텔링의 세계에서는 그게 전부입니다. 여기 보시는 게 바로 그거예요.좋아요.그러면 해당 콘텐츠에 대한 정보를 얻을 수 있습니다. 어, 제가 보여드린 라벨이 전부 있는 게 저예요.정보와 메타데이터에 컨텍스트를 추가할 수 있는 것이 지식이라는 것을 이해할 수 있을까요? 바로 지식 관리 시스템이 필요한 이유죠.그런 건 어때요?최고의 지혜로움이요?바로 지금 가지고 있는 지식을 어떻게 활용할 수 있는지 알 때입니다. 기계로도 할 수 있어요.저 인간을 살려주세요, 제발약속해 주세요.고마워요. 하지만 스토리텔링 세계에서 다시 한 번 자세히 살펴보도록 하겠습니다. 저 사진 좀 보세요, 감각 자극 맞죠?무슨 생각을 하는지 알아요.밀턴과 미터예요.그렇게 생각하셨죠?멋지네요.그게 정보고, 메타데이터예요.지식이란 무엇일까요?지식은 모든 상황에서 연결되는 정보이며, 실제로 Mary라고 알려져 있습니다. 맞는 말이에요.그리고 이 이미지가 오피스 보이의 작품에서 따왔다는 사실은요.오피스 보이는 1930년 브리티시 번 (Burn) 에 의해 개봉되었고 번은 월트 디즈니에 의해 고소당했습니다. 이제 메타데이터가 어떻게 연결되었는지 알 수 있지만 그 사이에 관계를 추가하면 훨씬 더 많은 지식을 얻을 수 있습니다. 이 이미지를 볼 때 제 머릿속에는 그 지식이 떠오릅니다. 그게 제 눈에 떠오릅니다. 알겠어요?그게, 이미지입니다. 지혜는 어디에 있나요?좋아요.제가 좀 그랬어요.얼마나 많은 분들이 이게 mm 모드라고 생각하셨는지 모르겠어요. 사실 이건 제 이야기를 들려줄 특정 이미지를 고르기 위한 거였어요.감사합니다. 고맙습니다. 그래서 저는 일상 업무를 포기하지 않을 거예요.음, 그게 보여주는 건 우리가 가진 모든 데이터에서 창조할 수 있는 지식과 창작자들이 가지고 있는 지혜를 결합시켜야 한다는 거예요.이것이 바로 지식 시스템이 할 일입니다. 이 기술은 놀랍지 않습니다. 지난 강연, 아마도 다음 강연과 마찬가지로 매우 유사한 원칙을 가지고 있는 것처럼요.이는 시맨틱 임베딩, 대규모 언어 모델, 지식 체계입니다. 하지만 우리가 할 일은 그것을 사용하는 것에 관한 다른 기술에 관한 것입니다. 그래서 용도가 무엇인지에 대해 조금 이야기해 볼게요.지식, 지식, 죄송합니다. 대형 언어 모델, 음 GT 스타일 타이핑은 누구나 익숙하지만 대형 언어 모델에는 두 가지 기능이 있습니다. 여기.하나는 자연어 처리 엔진으로, 어떤 언어로든 힌디어와 영어로 묶고 번역한 내용을 이해합니다. 또 다른 부분은 지식 시스템 그 자체인데, 어떤 요소를 사용하느냐에 따라 인터넷에 올라오는 내용을 바탕으로 학습이 되는데, 무엇을 사용하느냐에 따라 그 패턴은 무엇인지 모른다는 거죠. 기본적으로 우리가 그 패턴에 대해 이야기한 내용인데, 기본적으로 우리가 거기에 있는 정보의 일부를 수집해서 프롬프트 엔지니어링의 일부로 만든다는 거죠.여기서 우리가 보여주고 있는 것은 기본적으로 우리 시스템의 무언가입니다. 자연어 처리 시스템에 트랙을 어떻게 만들 수 있는지 물어볼 수 있습니다. 어, 정보를 좀 알려주세요. 어떤 경우에는 사용자 문서를 가져와요.하지만 API S를 수행하는 방법이나 트랙과 프로그램을 만들 때 액션을 생성하는 PS를 생성하는 방법을 배웠기 때문에 액션을 트리거하도록 요청할 수도 있습니다. 그거 좋네요.이는 대규모 언어 모델입니다. 시맨틱 임베딩에 대해 말씀드렸는데 근본적으로 이것은 여러분이 후기 벡터 공간에 있다는 사실에 관한 것입니다. 어, 노란색과 파란색의 얼음 D, B, B의 텍스트를 보시면 아시겠지만 사과하는 사람들을 위한 것은 아닙니다. 음 아랍어로 말할게요. 하지만 요점은 의미상 모두 똑같고 따라서 똑같고 서로 일치한다는 거예요.멀티모달 시스템에서는 비디오도 같은 방식으로 추출되고 오디오가 함께 클러스터링된다는 의미도 가질 수 있습니다. 이것이 바로 마법을 사용할 수 있는 방법이고 이 모든 것이 어떻게 합쳐지는지 알게 될 것입니다. 하지만 마지막 슬라이드를 보여드릴게요. 지식 그래프 말이에요.사실 이것은 오래된 것이기도 하고 새로운 것이기도 합니다. 지식 그래프가 정말 떠오르고 있어요.뭐하는 거지?기본적으로 메타데이터로서 무엇을 하는지, 단지 키 값 쌍일 뿐입니다. 지금 하고 있는 일은 컨텍스트를 추가하는 것이 아니라 관계를 추가하는 것입니다. 따라서 이것은 단순히 밥의 이미지라고 말하는 것이 아니라 관계를 추가할 수 있는 한 사람의 이미지입니다. 이제 키 값이라는 두 개의 값 대신 밥이 모나리자에 관심이 있다는 에지를 포함하여 세 개의 값을 추가한 셈입니다. 하지만 제가 보여드린 이미지로 돌아가면 디즈니가 제기한 밴 뷰렌에 대한 지식을 추적할 수 있습니다. 이 모든 것들이요.이것이 지식 그래프의 완벽한 활용입니다. 이제 이걸 적용해 봅시다. 그래서 앞서 말씀드렸던 다양한 생산 사일로들은 우리가 가진 모든 정보를 담고 있습니다. 음, 앞서 말씀드린 것처럼 자산 관리 시스템이 연결되어 있는 동안에는 필요한 모든 것을 파이프라인으로 완벽하게 파악하는 자산 관리 시스템을 구축할 수 없습니다. 예산 그리고 근본적으로 해야 할 일 중 하나는 일부 데이터베이스와 자산 관리 시스템을 제멋대로 놔둘 수 있다는 것입니다. 하지만 중요한 것은 상식 그래프를 만들 수 있을 만큼 충분한 정보를 추출하는 데 있습니다. 지식 그래프를 만들 때 필요한 정보의 양은 a로 정의됩니다. 그래서 어 무비 랩스 (Movie Labs) 는 미디어 제작에서 흔히 사용되는 레이블 용어를 정의하는 미디어 제작을 위해 고안한 것입니다. 알다시피, 그 정보를 채울 수 있을 만큼의 정보만 추출할 수 있습니다. 음, 일단 그렇게 하고 나면 실제로 온톨로지를 보강해서 관심을 가질만한 다른 것들을 만들 수 있겠죠.하지만 적어도 이것은 단지 어려운 메타데이터 로깅 시스템, 스키마를 하나의 사일로 안에서 다루고 있는 것이 아니라, 실제로 사과에 대한 내용을 채우고 문서를 분석하여 정보를 추출할 수 있는, 제가 보여드린 모든 스크립트의 대상을 제공합니다. 그래프를 모두 채울 수 있습니다. 하지만 여기서는 안 돼요. 그래야 왼쪽 문제를 해결할 수 있으니까요.오케이, 지식을 추출하자는 이야기를 했었죠.그리고 L에도 어느 정도 지식이 있고 비디오 콘텐츠 및 기타 콘텐츠의 시맨틱 인덱싱을 통해 지식을 추출할 수 있다고 말씀드렸습니다. 그런데 이걸 어떻게 연결시킬 수 있을까요?그리고 제작자의 오른손 부분인 또 다른 부분이 있습니다. 바로 이 부분이 바로 이 요소들이 등장하는 부분이기도 하죠.그래서 우리가 한 것은 추가된 그림들과 보편적인 그림들이 실제로 함께 작동하는 것이었죠.우리는 지식 그래프의 전체 영역에 대해 한동안 함께 작업해 왔습니다. 편집의 맥락에서 보면 에디토리얼과 디지털 오디오 워크스테이션에 관한 것이기 때문에, 편집자와 함께 편집 프로세스를 훨씬 더 효율적으로 바꿀 수 있는 방법, 보조 편집자가 정보를 찾고 스토리텔링의 일부로 올바른 정보를 얻는 것을 훨씬 쉽게 할 수 있는 방법을 찾기 위해 함께 작업했습니다. 그리고 최근에 우리는 서던 캘리포니아 대학교의 엔터테인먼트 기술 센터 uh E DC와 함께 일하기 시작했습니다. 그들은 유로파 (Europa) 라는 것을 생산하고 있습니다. 유로파는 지금 생산 중입니다. 음, 어, 하지만 유로는 버추얼 프로덕션의 새로운 기법을 많이 사용한 친근한 단편 영화예요.하지만 그 기법 중 하나는 사실 지식 그래프를 조작하는 것입니다. 그래서 우리는 그 지식 그래프를 유용하게 활용할 수 있었습니다. 음, 정보 측면의 대부분이 교량이었을 때는 사실 반란군 함대에 의해 만들어졌었죠.음, 콘솔이라는 제품이 있네요.다시 말씀드리지만, 우리는 모두 미디어 창작의 비유인 영화 연구실에서 영감을 받았습니다. 이 모든 것이 하나로 합쳐졌나요?우린 에이븐과 함께 이 작은 앱에 기본적으로 이 앱을 제공했는데, 이 앱은 케이션 앱이라고 부릅니다. 그럴 수도 있는데, 어떻게 하는지 모르겠어요.더 많은 정보가 편집자에게 필요한 모든 것을 제공하는 것은 아닙니다. 보조 편집자는 다양한 정보 출처에서 모든 정보를 추출해야 합니다. 지식 그래프를 조합해서 사용해야 하는 것이 바로 이것입니다. 음, 직접 ep를 호출할 뿐만 아니라, 어떤 데이터베이스를 사용할지 결정하는 데 따른 크리에이티브 팀의 부담을 덜어주고 싶습니다. 적절한 EPI 콜을 만들어서 정보를 추출해 자연스러운 형태로 보여드리기로 했죠.이걸 실제로 볼 수 있길 바라며 보여드릴게요.애니메이션이에요.네.음 음, 여기 편집자들이 영화 속 같은 캐릭터가 누구냐고 물어보셨을 텐데요, 그럼, 누가 이 캐릭터를 연기했냐고 물어볼 수 있겠네요.반대로 배우가 어떤 캐릭터를 아는지 알 수 있습니다. 앞뒤로 돌아다니며 대본 정보, 상태 정보를 물어볼 수 있습니다. 이 모든 것이 지식 그래프에 추출되어 있습니다. 일단 스크립트 정보를 얻으면 요약해서 정리해서 더 빠르게 처리할 수 있겠죠.이 모든 것이 큐레이션 프로세스의 일부입니다. 요약하고 나면, 거스가 어디서 좋은 것을 찾아내는지 알아보고 싶다는 생각이 드실 겁니다. 검색뿐만 아니라 스토리텔링의 일부이기 때문이죠. 자연어 쿼리를 만들게 되죠.그래요. 뭔가 찾았어요. 미디어 컴포저에서 펜을 만들어서 시각화할 수 있도록 말이죠.이제 끝났어요.저건 기본적으로 거스인데 진짜 이름은 아우구스투스인데 거스가 아우구스투스와 동일하다는 걸 인식하고 그걸 집어 올립니다. 이것이 우리가 지식 직업과 함께 만든 어플리케이션입니다. 그리고 바라건대, 여러분이 보신 것처럼 자산 관리 시스템이 어떻게 고유의 사이클을 가질 수 있는지를 보셨기를 바랍니다. 하지만 지식 관리는 기본적으로 자산 관리를 지식 관리 패러다임으로 바꾸고 있다는 것입니다. 지식 그래프는 존재하는 다양한 사일로를 모두 연결하는 데 가장 좋은 수단입니다. 모든 것을 다 가져오고 싶지는 않지만 모든 부서가 협력할 수 있도록 사일로에서 충분한 정보를 가져오는 것이 좋습니다. 그런 다음 시맨틱 그래프, 지식 그래프, 대규모 시맨틱 언어 모델을 조합해서 사용하죠. 자연어 쿼리를 보고 어디서 그런 정보를 얻을 수 있을지를 결정하는 거죠.마지막으로, 검색의 세계는 현실 세계에서는 존재하지 않을 것임을 알 수 있습니다. 모든 것이 의미론적으로 이루어지기 때문입니다. 자연어로 표현될 거예요.사실, 이틀 전에 같은 앱을 사용해 영어 입력에서 힌디어로 입력하던 것을 힌디어로 바꿔서 같은 결과를 얻었는데 실제로 결과가 나왔고 정말 기뻤습니다. 정말 고마워요.알겠어요, 고마워요.마지막 세션 또는 이번 세션은 A I Power 대화형 서비스를 만들고 구현하는 것입니다. 참여를 유도하세요.오늘날 우리의 수치는 제품 혁신 및 임상 전략 기록에서 볼 수 있는 것과 같습니다. 네.오, 제가 뭐예요?