Dự án | Luận văn
Bao Wenbo, Lai Weisheng, Ma Chao, Zhang Xiaoyun, Gao Zhiyong, Yang Mingxuan
Hội nghị IEEE về Thị giác Máy tính và Nhận dạng Mẫu, Long Beach, cvpr 2019
Công việc này được phát triển dựa trên memc-net công việc tpami của chúng tôi, trong đó chúng tôi đề xuất các lớp sợi dọc thích ứng. Mời các bạn cũng tham khảo.
Thư mục
- Giới thiệu
- Trích dẫn
- Yêu cầu và sự phụ thuộc
- Cài đặt
- Kiểm tra mô hình được đào tạo trước
- Tải xuống kết quả
- Tạo chuyển động chậm
- Đào tạo một mô hình mới
- bản trình diễn của google colab
Giới thiệu
Chúng tôi đề xuất mô hình nội suy d epth- a g khung video in ( dain ) để phát hiện một cách rõ ràng vượt qua Khám phá sự tắc nghẽn của các tín hiệu độ sâu. Chúng tôi phát triển một lớp chiếu luồng nhận biết độ sâu để tổng hợp các luồng trung gian thích các đối tượng gần mẫu hơn các đối tượng ở xa hơn. Phương pháp của chúng tôi đạt được hiệu suất hiện đại trên tập dữ liệu middlebury. Chúng tôi cung cấp video tại đây.
Trích dẫn
Nếu bạn thấy mã và tập dữ liệu hữu ích cho nghiên cứu của mình, vui lòng trích dẫn:
Yêu cầu và phụ thuộc
- ubuntu (chúng tôi đã thử nghiệm với ubuntu = 164,5 lts)
- python (chúng tôi đã thử nghiệm với python = 3.6.8 trong anaconda3 = 4.1.1)
- cuda & amp; cudnn (chúng tôi đã thử nghiệm với cuda = 9.0 và cudnn = 7.0)
- pytorch (chiếu luồng nhận biết độ sâu tùy chỉnh và các lớp khác yêu cầu api aten trong pytorch = 1.0.0)
- gcc (biên dịch tệp mở rộng pytorch 1.0.0 (.c / .cu) yêu cầu trình biên dịch gcc = 4.9.1 và nvcc = 9.0)
- nvidia gpu (chúng tôi sử dụng titan x (pascal) với compute = 6.1, nhưng chúng tôi hỗ trợ các thiết bị compute_50 / 52/60/61, nếu bạn có khả năng tính toán cao hơn, vui lòng sửa đổi điều này)
- Tải xuống tệp colab_dain.ipynb (liên kết).
- Truy cập Phòng thí nghiệm cộng tác của Google (liên kết)
- Chọn tùy chọn “Tải lên” và tải tệp .ipynb lên
- Làm theo hướng dẫn để chạy từng ô.
Cài đặt
Tải xuống kho lưu trữ:
Trước khi tạo tiện ích mở rộng pytorch, hãy đảm bảo bạn có pytorch> = 1.0.0:
Tạo tiện ích mở rộng pytorch của chúng tôi:
Cần có các gói liên quan để tạo pwcnet:
Kiểm tra mô hình được đào tạo trước
Tạo thư mục trọng lượng mô hình và thư mục tập dữ liệu middlebury:
Tải xuống mô hình được đào tạo trước,
Và tập dữ liệu Middlebury:
Được cài đặt sẵn:
Chúng tôi rất vui vì:
Các kết quả được nội suy nằm trong middleburyset / other-result-author / [random number] /, trong đó các số ngẫu nhiên được sử dụng để phân biệt giữa các lần chạy.
Tải xuống kết quả
Mô hình dain của chúng tôi đạt được hiệu suất hiện đại nhất trên ucf101, vimeo90k và middlebury (eval và các loại khác). Tải xuống kết quả nội suy của chúng tôi:
Tạo chuyển động chậm
Mô hình của chúng tôi hoàn toàn có khả năng tạo hiệu ứng chuyển động chậm chỉ với những sửa đổi nhỏ đối với kiến trúc mạng. Chạy mã sau để tạo hiệu ứng chuyển động chậm x4 bằng cách chỉ định time_step = 0,25:
Hoặc đặt time_step thành 0,125 hoặc 0,1 như hình dưới đây
Tạo ra chuyển động chậm x8 và x10 tương ứng. Hoặc nếu bạn muốn chuyển động chậm x100 để giải trí một chút.
Bạn cũng có thể muốn tạo ảnh gif động bằng cách:
Chúc bạn vui vẻ và vui vẻ!
Đào tạo một mô hình mới
Tải xuống bộ dữ liệu bộ ba vimeo90k cho các tác vụ nội suy khung hình video, xem thêm xue và cộng sự tại đây, ijcv19.
Tải xuống các mô hình megadepth và pwcnet được đào tạo trước
Chạy tập lệnh đào tạo:
Mô hình được tối ưu hóa sẽ được lưu vào thư mục model_weights / [số ngẫu nhiên], nơi [số ngẫu nhiên] sẽ được tạo cho các lần chạy khác nhau.
Thay thế mô hình model_weights / best.pth được đào tạo trước bằng mô hình model_weights / [số ngẫu nhiên] /best.pth mới được đào tạo. Sau đó, kiểm tra mô hình mới bằng cách thực hiện:
google colab demo
Đây là một sửa đổi của dain cho phép sử dụng google colab và có khả năng nội suy demo đầy đủ từ video nguồn đến video đích.
Bạn có thể tìm thấy các tệp sổ tay gốc của Btahir tại đây.
Để sử dụng colab, hãy làm theo các bước sau:
tệp colab theo styler00dollar và alpha.
Liên hệ
Wenbobao; Hygiene (Jason) Biracial
Giấy phép
Xem giấy phép mit