12/31 : SNN Visualization(without MagicLeap)
Working hour : 9~ 12 / 16~22 Works to do 1. marking arrow on the window a. extract plane and find center point b. place arrow on the center of plane 2. Make SNN file(without magic leap)
글
12/29 : placing Gameobject on plane
Request : put GameObject on the middle of the pink foam in Real world working time : 9 a.m. ~ 12a.m. / 2 p.m. ~ 4 p.m. / 8p.m. ~ To easily find where the GameObject is, I added a function to draw a line between the center of the object and controller. It took a long time as I learned how to run two C# scripts at once. First script : PlanesDemo This script use the MLPlane function to find the plane. We can get center point, rotation, width and height. Using those information, it is able to put our model in the center of the plane which was recognized. *code*
12/13: Campus Model Project(2)
*작업 시간 16:00- 18:00: Unity ZeroIteration 연결 확인하기, 오류 잡기 저번에 만든 프로젝트가 시뮬레이터 상에서 전혀 보이지 않았다. 아마 프로젝트 세팅에 문제가 있는 듯 하여, 세팅부터 다시 해보기로 했다. => edit-> project settinngs-> XR Plugin Management-> Lumin-> +-> Magic Leap Loader 이 단계에서 Computer의 Zero Iteration도 플러그인에 추가해 보았다. ==> 이게 문제였던 것 같다. 새로운 오류 : Assertion failed on expression: '!camera.GetOrthographic()' UnityEngine.GUIUtility:ProcessEvent(Int32, IntPtr) => 위 오류는 Unity에 Import 된 rhino 모델에 들어있는 perspective view, front view, right view 등의 파일이 Unity의 Main Camera와 충돌하여 발생한 문제. 재부팅은 되었는데 책상을 실측사이즈로 입력한 것이 문제이다. 실측 사이즈를 입력해 책상을 모델링하여도 실제 시야에서 책상이 얼마나 떨어져있는지에 따라 그 크기가 다르게 보이는 것처럼 Unity 상에서도 동일한 문제 발생. 그래서 실측 사이즈의 0.005*0.005*0.005배 된 모델을 Import 하여 시뮬레이팅 하였다. 20:00 - 23:30 : 테이블+건물+히트맵 파일과 히트맵만 있는 파일을 각각 만들어서 시뮬레이팅 후 Magic leap로 연결해 테스트하였다. 크기를 줄여서 모델이 시야에는 들어오지만 파일의 크기가 워낙 커서 그런지 blinking 현상이 있었다. 사실 완전 심하다. 크기를 0.001*0.001*0.001 로 줄인 히트맵 파일로만 만들어도...
12/10: Campus Model Project(1)
11:00~12:00 : 3D model mapping 관련 업무 전달 자료조사 15:50~ 18:00 : 관련 자료 조사, ML Unity file 만들기(with 3d 도시모델) 20:00~ 21:30 : 카메라 및 모델 위치 조정 Magic Leap에서 사용할 수 있는 기능으로 2D Image tracking 이 있는데 그걸 사용할 수 있지 않을까. 우선 있는 모델 올려서 test 해보고 시도하는 것으로. *할일 1. 책상이 있는 모델 만들기 2. 책상이 없는 모델 만들기 모델 파일은 만들었는데 오늘 Unity 상에서 만든 모델이 Zero Iteration에 나타나지 않는 오류가 생김. 내일 프로젝트 세팅을 새롭게 해서 시도할 필요가 있어보임.
12/03 : CNN Visualization 프로젝트(6)
11:00~14:00 16:00~20:00 *오늘 할 일 1. convolution neural network visualization(non-ML) 파일 Magic Leap 로 변환해서 올리기 2. 좌표값 수정 Unity-> Magic leap 코드로 변환은 다 했는데 좌표값이 최적화 되어있지 않아 시야가 너무 불편하고 이상하게 line Renderer 가 일을 안한다. 빛을 안받아 안보였을 수도 있지만 내일 코드 검토할 필요가 있을 것 같음.
10/31 : CNN Visualization 프로젝트(2)
비트맵 이미지를 읽어와서 데이터를 배열로 만들어주는 C 프로그램을 작성했다. 코딩도장의 코드를 참고했으며, 완성한 코드는 아래와 같다.
10/30 : CNN Visualization 프로젝트(1)
지난 프로젝트에서 만든 모형은 가장 기초적인 neural network 모형인 multilayer perceptron 이었다. node 로 이루어진 여러 layer을 거쳐서 답을 얻는 방식이다. 이번 프로젝트에서는 Convolutional Neural Network를 구현한다. (영상의 세 번째 모델) 이는 이미지 처리에 주로 사용되는 알고리즘으로, convolution 과 pooling 과정을 거치며 이미지의 분포 특징을 추출하게 된다. 하지만 visualization이 목적이므로, 실제 계산은 아주 축약해서 진행한다. 1. 20*20 숫자 이미지 파일 2. 3*3 필터로 convolution (stride = 1) 3. pooling to 10*10 (평균값 사용) 4. node (1 layer) 5. Find Answer Workflow는 다음과 같다. 1 : 틀 만들기, 계획수립 -> 10/29 2 : 20*20 비트맵 이미지를 배열로 변환해주는 C프로그램 작성 및 데이터 생성 -> 10/31 3 : 순서도 작성 및 Unity 프로그램 작성 -> 11/2 ~ 11/4 4 : Unity에서 작성한 프로그램 Magic Leap로 변환하기 5 : 테스트 및 피드백