Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

您好,这是篇很不错的工作,但是我运行./scripts/golden_fish.sh这个脚本,大约花了一个多小时才生成结果,这是重新训练了一个模型吗?请问可以直接测试或者推理的吗 #3

Open
lucker26 opened this issue Jul 25, 2024 · 12 comments

Comments

@lucker26
Copy link

No description provided.

@ty625911724
Copy link
Collaborator

是的,目前项目的是通过反向优化的方法生成,因此得到一个模型需要比较久的时间。暂时没有直接测试或者推理的checkpoint,后续可能提供一些。

@lucker26
Copy link
Author

是的,目前项目的是通过反向优化的方法生成,因此得到一个模型需要比较久的时间。暂时没有直接测试或者推理的checkpoint,后续可能提供一些。

谢谢您的答复,想请问您,您开源的代码中是否有脚本可以直接用草图生成2D图像,./scripts/golden_fish.sh生成的是3D模型的渲染图吧?并且要是想要直接从草图生成2D图像,是否一定需要对应的深度图,可以有端到端的方式直接从草图到2D图像or3D图像

@ty625911724
Copy link
Collaborator

这个项目主要是根据草图生成三维模型。如果希望生成2D图像,直接使用ControlNet即可完成?

@sfg-oss
Copy link

sfg-oss commented Aug 28, 2024

你好,我按照这个步骤配置虚拟环境一直报错,pip requrements文件的时候,想问下是怎么配置起来的啊呜呜呜

@ty625911724
Copy link
Collaborator

环境的要求基本和threestudio类似,在编辑的时候,需要个别额外的包例如trimesh, scipy, cubvh。可以尝试threestudio中的环境配置说明: https://github.com/threestudio-project/threestudio

@lucker26
Copy link
Author

lucker26 commented Sep 2, 2024

这个项目主要是根据草图生成三维模型。如果希望生成2D图像,直接使用ControlNet即可完成?

您说的ControlNet是https://github.com/lllyasviel/ControlNet?
用您的这个项目可以实现草图到2D图像吗?比如您论文中的第一阶段生成的多视角2D图像,是否提供脚本直接生成。
image

@lucker26
Copy link
Author

lucker26 commented Sep 2, 2024

你好,我按照这个步骤配置虚拟环境一直报错,pip requrements文件的时候,想问下是怎么配置起来的啊呜呜呜

您可以贴出具体的报错信息看下是安装哪个环节出现的问题

@ty625911724
Copy link
Collaborator

这个项目主要是根据草图生成三维模型。如果希望生成2D图像,直接使用ControlNet即可完成?

您说的ControlNet是https://github.com/lllyasviel/ControlNet? 用您的这个项目可以实现草图到2D图像吗?比如您论文中的第一阶段生成的多视角2D图像,是否提供脚本直接生成。 image

目前项目没有提供这部分代码,我们整理后发布一下

@Lanjiong-Li
Copy link

Lanjiong-Li commented Oct 1, 2024

你好,我按照这个步骤配置虚拟环境一直报错,pip requrements文件的时候,想问下是怎么配置起来的啊呜呜呜

use cuda version 11.8, and pip torch using this command follow https://pytorch.org/get-started/locally/
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
then pip requrements the same as before
the main problem here is torch version

@justdi123
Copy link

你好,我按照这个步骤配置虚拟环境一直报错,pip requrements文件的时候,想问下是怎么配置起来的啊呜呜呜

use cuda version 11.8, and pip torch using this command follow https://pytorch.org/get-started/locally/ pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 then pip requrements the same as before the main problem here is torch version

I use you method in colab , it don't work. With the latest version, it can be installed, but there is a problem with tinycuda, I submit a issue in this repository, and it would be grateful if you could help me take a look.

@justdi123
Copy link

你好,我按照这个步骤配置虚拟环境一直报错,pip requrements文件的时候,想问下是怎么配置起来的啊呜呜呜

您可以贴出具体的报错信息看下是安装哪个环节出现的问题

require已经安装好了,但是tinycuda这个包有点问题,我在这个仓库提交了一个issue,如果能帮我看看的话将感激不尽

@Eamon-0v0
Copy link

是的,目前项目的是通过反向优化的方法生成,因此得到一个模型需要比较久的时间。暂时没有直接测试或者推理的checkpoint,后续可能提供一些。

您好,请问现在有可以直接推理的checkpoint可用了吗?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

6 participants